AI視頻新霸主誕生!Dream Machine官宣免費用,電影級大片全網玩瘋



  新智元報道  

編輯:喬楊 桃子
【新智元導讀】繼pika宣布上新2.0版本後,視頻生成領域又有新模型加入。成立於2021年的luma ai今天剛剛官宣了文生視頻/圖生視頻模型dream machine,而且提供免費使用api,高質量的生成效果獲得了很多網友的好評。

視頻生成領域,又添一員猛將!

就在今天,luma ai首發了自己的視頻生成模型dream machine,可以通過文字或圖片生成高質量的逼真視頻。

更重要的是,api對全球免費開放!進入官網後用谷歌賬號登錄即可馬上試用。

每個用戶每月有30次免費生成的額度,但比較遺憾的是,每條視頻時長只有5秒。

免費試用的消息一出,熱情的網友們紛紛擠入伺服器,結果發現luma ai囤的算力好像不夠,於是開始了一場漫長的等待。

剛發布後,有些人等了2個小時還沒生成出來,reddit社區中一片怨聲載道。

果不其然最後「真香」了,這個視頻質量是值得等一會兒的。

接下來,看看這個「造夢機」究竟有多瘋狂?

電影級畫質,逼真感拉滿

官方放出的demo涵蓋了各種不同風格和題材的視頻,能感覺到最突出的特點就是「電影感」拉滿。

不僅有比較好的連貫性,鏡頭的藝術感也非常不錯。

此外,demo還單獨強調了一些模型能力,比如生成各種動態以及具有表現力的人物。

不得不說,luma的審美真的在線,視頻中的小姐姐都有一種超模般的「高級美」。

下面這個黑白色調的仰拍鏡頭,人物動作自然絲滑、一氣呵成,裙擺飛起時的幅度雖然有些誇張,但還在可接受範圍內。

最重要的是動作符合自然規律,沒有出現「手臂融化」、「膝蓋外折」這種神奇情況

下面這個demo可以讓日漫迷們淺淺興奮一下,不僅風格對味兒,而且鏡頭很有意境,可以開始幻想「人均新海誠」了。

比官方demo更精彩的,是各路大神網友們的腦洞創意。

比如在人眼中嵌入一個手繪地球儀。

原本需要幾千個高斯點染圖的工作,一個dream machine就能瞬間完成了。

sora發布時,很多人驚嘆於模型對於光影效果的理解,dream machine在這方面的表現也很不錯。

這位網友用自己拍攝一張的照片作為提示,生成出來的視頻可以延續之前的光感,絲毫不會割裂。

將世界名畫《帶珍珠耳環的少女》輸入給dream machine,就可以讓藝術史上這位著名模特瞬間「復活」。

但是模型似乎有它自己的想法和審美,比如視頻後半段自行更改了模特的相貌和頭巾材質,感覺從17世紀的荷蘭少女無縫銜接到21世紀t台。

之前在視頻生成模型中很少見到的風格,luma也搞出來了。

比如下面這個demo,狠狠拿捏住了好萊塢老電影的感覺。

提示:義大利黑手黨家族站在桌子周圍,一邊抽雪茄一邊數黃金和金錢

但槽點也不是沒有,比如香煙的煙霧擴散似乎不夠自然,而且沒有遵守提示中的「站在桌子周圍」(可能是黑手黨老大只會坐著吧)。

專業創作者們放出的demo更加驚艷。

reddit上放出了一段時長10秒的4k視頻,作者用midjourney生成的圖片餵給dream machine。

https://www.reddit.com/r/singularity/comments/1decmby/maybe_this_thing_shines_with_an_input_image_here/

沒有經過換臉或變速處理,一條很有質感的預告片素材就生成出來了。

雖然主角的表情幾乎沒什麼變化,但環境和皮衣質感的渲染非常到位,五官和額頭的皺紋也比較自然。

這位創作者更是重量級,他藉助luma的工具生成了一條超過1分鐘的視頻,作為自己電影項目的宣傳片。

來欣賞大片級別的模型應用demo——

只看視頻,你能判斷出這裡面有ai模型的參與嗎?

作為勇敢擁抱ai浪潮的急先鋒,這位創作者不僅藉助dream machine生成視頻,還使用udio製作配樂,「沒有什麼是比ai視頻更顛覆性的時刻了」。

https://x.com/cfryant/status/1800923904439136267

親測史密斯吃面

看了這麼多demo,有比較嚴謹的reddit網友坐不住了。模型都放出來了,應該跑下基準測試吧——

哪個好心人幫忙生成下will smith吃麵條?

「唯一的真實基準測試。」

已經等不及的小編決定自己動手,成果如下——

沒想到dream machine雖然不太愛聽指令,但還挺有幽默感的。在其他模型中還沒見過因為吃不到麵條氣成這樣的will。

如果輸入更詳細的指令呢?

麵條的形態也很自然,但手指似乎不太對勁,但更明顯的問題是,will吃著吃著居然變臉了。

如果直接將這張圖片輸入給模型,能否解決變臉的問題呢?

很遺憾,似乎並沒有。

ai視頻三大王者pk

那麼相比pika、sora等同行競品,dream machine的性能究竟是個什麼水平?

有試用者大膽宣稱,luma是目前我們見到最好的模型!

畢竟sora還沒公開,沒有人能準確評價其實力。但大家似乎都認同,luma的表現要優於runway和pika。

甚至還有luma真愛粉在推特上直抒胸臆。通過輸入相同的提示對比pika、runway和dream machine三個模型,他認為最終還是luma贏了。

從完整視頻中可以看到,三個模型都可以生成和渲染很高質量的畫面。

但luma模型之所以「電影感」更強,一方面是似乎有更豐富的「想像力」,能腦補出更多表情和動作;

另一方面則是源於更自然的鏡頭節奏,人物的行動速度適中,既不過快,也不過慢。

剛剛發布半天,網上似乎就充斥著對dream machine的溢美之詞,但這並不代表模型生成的視頻已經完美無缺了。

luma官網上就非常坦誠地放出了很多有缺陷的demo,表明他們今後計劃的改進方向。

比如剛才will smith吃麵條的視頻中出現的「變形」,不僅人臉會有,跑車也會有。

更驚悚的是,在水中游泳的北極熊會突然從身後長出另一個頭。

此外,其他模型存在的問題,dream machine也沒能倖免,比如有時會生成錯誤的文字,或者沒能實現想要的動態效果。

而且小編在嘗試官方推薦的文本prompt時,還偶遇了模型的「精分」現場。

low-angle shot of a majestic tiger prowling through a snowy landscape, leaving paw prints on the white blanket

一隻雄壯的老虎在雪地中徘徊的低角度鏡頭,在白色的雪地上留下了爪印

但視頻後半段就突然畫風一轉,不僅虎爪的形態不自然了,變臉的程度甚至達到了「驚悚」級別。

雖然有諸多不足,但是luma能在官網上坦然放出缺陷demo,並放出了一系列「未完待續」的動圖,暗示著下一步的更新很可能就在不久之後。

背後團隊,5位華人

發布模型的同時,luma也公布了模型開發團隊的名單。從名字來看,14人中應該有5名華人成員。

其中,alex yu是公司聯創兼cto。他畢業於加州大學伯克利分校,曾在adobe工作,研究方向是神經渲染和實時圖形領域。

yu在2021年畢業後,就和另一位創始人amit jain創辦了luma公司。

jain在學校修讀的是物理和數學學位,曾在蘋果工作,在3d計算機視覺、機器學習、系統工程和深度技術產品方面有豐富經驗。

根據crunchbase的數據,luma ai已在 3 輪融資中籌集了6730 萬美元,最新一輪融資是今年1月9日通過的b輪融資,最新的投資方包括英偉達公司。

參考資料:

https://x.com/lumalabsai/status/1800921380034379951

https://www.reddit.com/r/singularity/comments/1decmby/maybe_this_thing_shines_with_an_input_image_here/

https://lumalabs.ai/dream-machine