Google Research เปิดตัว Lumiere โมเดล AI สำหรับสร้างวิดีโอขึ้นจาก Prompt ตัวหนังสือ หรือรูปภาพต้นแบบ มีจุดเด่นคือโมเดลทำงาน โดยดูองค์ประกอบในภาพข้อมูลตั้งต้น และสร้างวิดีโอต่อเนื่องขึ้นจากสิ่งเหล่านั้น ทำให้รักษาภาพรวมและสไตล์ไว้ได้มากกว่าโมเดลอื่น

ตัวอย่างวิดีโอที่สร้างขึ้นมาจาก Lumiere มีหลายรูปแบบทั้ง Text-to-Video สร้างคลิปสั้นตามข้อความอินพุท, Image-to-Video ให้รูปภาพตั้งต้นแล้วใส่อินพุทสิ่งที่ต้องการให้ภาพเคลื่อนไหว, Stylized Generation กำหนดภาพรูปแบบตั้งต้น แล้วสร้างผลลัพธ์ตามอินพุทที่ต้องการให้ได้โทนเดียวกัน

นอกจากนี้ยังมีเครื่องมืออื่นทั้ง การแก้ไขวิดีโอให้เป็นตามสไตล์ที่กำหนด, การแก้ไขวิดีโอตามตำแหน่งที่ระบุ, การกำหนดพื้นที่ให้ภาพเคลื่อนไหวเพียงบางจุดเท่านั้น, เติมพื้นที่ส่วนที่ขาดหายให้วิดีโอ

สถานะของ Lumiere ยังเป็นเอกสารงานวิจัย โดยเทรน Text-to-Video ด้วยชุดข้อมูลวิดีโอ 30 ล้านคลิป คลิปผลลัพธ์ความยาว 5 วินาที 80 เฟรม (16 fps) ขนาด 128x128

ที่มา: Lumiere ผ่าน PetaPixel