當AI遇上影視業,首部AI科幻短劇是如何生成的?

近日,全國首部aigc生成式連續性敘事科幻短劇集《三星堆:未來啟示錄》在抖音上線,以每集3分鐘、每日一集的節奏播放。該劇基於四川省電影局2022年立項的同名電影,由博納影業(001330.sz)出品製作,抖音聯合出品,抖音旗下即夢ai提供首席技術支持。

截至目前,《三星堆:未來啟示錄》相關詞條在抖音的播放量2036.8萬。在接受第一財經記者專訪時,博納影業製作總監、博納aigms製作中心負責人曲吉小江表示,以最快速度推出該劇的目的之一,就是讓行業看到目前ai技術的極限是什麼,未來的可能性在哪裡。

aigms 製作中心是博納影業人工智慧影視製作基地,即夢ai是抖音旗下生成式人工智慧創作平台,支持通過自然語言及圖片輸入,生成圖像及視頻。平台提供智能畫布以及首尾幀、運鏡控制、速度控制等ai編輯能力。

談及雙方合作的起始,曲吉小江對記者表示,即夢ai需要一款視頻作品展現技術,博納需要一款產品提供ai技術支持。2023年博納確定通過ai技術來製作該劇集,2024年確定了與即夢ai的合作。

通過大模型創作視頻內容是2024年ai賽道發力重點,此前快手大模型可靈推出高清晰高畫質版,以及鏡頭控制等新功能,創作者單次生成的文生視頻時長增加至10秒,並對外釋放aigc星芒短劇《山海奇鏡之劈波斬浪》預告片。

2024年2月,openai推出文生視頻大模型sora,引發「ai顛覆傳統影視業」的討論。對於目前ai對影視行業的影響,曲吉小江表示自己認可「沒有ai就沒有生產力」的觀點,影視產業需要做好準備,翻天覆地的時代變化已經到來,如果不去面對,一定會被甩在後面。

據曲吉小江觀察,如今各影視公司創作者都開始使用ai了,只是用的程度不同,有的像博納一樣重投入,有的只是將ai作為軟體工具。「你如何看待ai,就會如何使用ai。」曲吉小江稱。

目前ai視頻行業普遍存在難以準確模擬複雜場景物理原理的問題,據記者觀察,《三星堆:未來啟示錄》也存在該問題,如人物口型與發音對不上、肢體動作不夠協調、人物面部表情僵化等。中科深智創始人兼ceo成維忠此前對記者表示,目前所有ai視頻模型均存在模型搞不清楚人與環境的關係,搞不清楚前後邏輯關係等情況,該問題會導致模型在實際應用的時候,達不到使用者設想的完美程度。

《三星堆:未來啟示錄》技術總監李康康對記者表示,目前團隊仍面臨幾大技術挑戰:高質量與高效結合的問題、人物角色一致性的控制問題、畫面一致性問題、動態可控性問題。另外,行業目前缺少一個工業級、專業的整合軟體,博納所有視頻生產的操作都是基於模型去完成的,但整個工作流程是被拆開的,流程非常長,中間大量工作需要人工進行推動,這中間的技術支撐處於空白狀態。

即夢ai相關負責人對記者表示,ai迭代很快,未來aigc的成熟度、穩定性都會提升。此次合作過程中,即夢ai改進了「視頻生成」的功能,包括支持24fps、30fps、60fps的補幀以及二倍超分的能力,新增鏡頭水平移動、上下移動,支持鏡頭移動的方向和幅度控制等。

博納堅持儘早推出視頻產品,博納影業行政總裁蔣德福對記者表示,在如今的技術發展狀態下,《三星堆:未來啟示錄》的效果可以說「不錯」,但技術發展永無止境,都有一個提升的過程,如果去等技術完全成熟,便會永遠處在「等待」狀態,因為技術永遠在更新迭代。所以博納技術團隊目前在超負荷工作,為的就是在行業內第一個推出aigc生成式短劇集,「你不能等到年底的時候再推,因為到時新技術又出現了,你的產品又落後了。」

對於ai給傳統影視行業帶來的改變,曲吉小江表示,過去有很多項目不敢「動」,一方面成本很高,另一方面目前的電影市場,觀眾也很挑剔,試錯成本太高,不像過去有一個大概的行業規律。但現在藉助ai,公司可以先用較低的成本「跑兩圈」,如果觀眾的反響不夠熱烈或對這個ip不感興趣,後面可以直接換項目再試。

目前博納aigms製作中心具體團隊人數暫未披露,但ai技術架構具體包括文生圖、文生視頻、圖生視頻、視頻增強、視頻剪輯,以及最後的整體補幀,即夢ai作為首席技術支持主要負責其中的圖生視頻,其他各有專業應用負責。

博納與即夢ai均未透露此次項目的成本規模,合作模式主要是即夢ai為博納提供tokens,團隊將其稱為「積分制」,以及新版內測等技術支持。對於未來的商業變現方式,曲吉小江表示,如果劇集能夠實現破億的播放量,就摸到商業化的門檻。第二季可能會走付費模式,未來ai技術足夠成熟之後,也有可能將aigc作品搬到大熒幕。

(本文來自第一財經)