快手抖音爭相上桌,AI短劇何以成為香餑餑?

編者按:短劇的熱風從去年吹到今年,新生產方式的出現將為這股熱風再添一把火。
在波濤洶湧的大海中,上古神靈悉數登場,漁村少年李行舟漂洋過海,打蠃魚、斗共工、搶水神戟、游深海、救人魚、戰九嬰,最後帶著母親與村民涉海回家。
這是一個以《山海經》為背景的少年曆險玄幻短劇——特別之處是,其中的主角、配角、異獸、奇景全部由ai生成,劇情也全部由文生圖、圖生視頻的方式完成,但其效果不輸電影cg特效,自7月13日在快手上映以來,播放量超600萬。
當短劇的熱風從去年吹到今年,新生產方式的出現將為這股熱風再添一把火。

藝恩數據則預測,2023年短劇用戶規模超5億,短劇市場規模近400億,接近電影市場體量70%,五年內市場規模有望突破千億元。藉助ai大模型視頻生成能力,短劇的生產速度在加快,以往三個月的製作時間現在只需要半個月,短劇的題材也在拓展,玄幻、科幻、穿越等主題的內容越來越多。

這背後來自ai視頻生成模型的快速發展。自從年初sora爆火,國內市場也出現了大量ai視頻生成模型:抖音的即夢ai、快手的可靈ai、愛詩科技的pixverse 、美圖的whee、清華大學聯合生數科技共同發布的vidu、智象未來推出的pixeling、右腦科技的vegaai……所有鏡頭均由ai生成的短劇正是大模型應用的核心場景。

大模型給短劇行業帶來哪些可能性?ai短劇能否成為獨立賽道?當下ai與短劇的結合還有哪些制約?億邦動力採訪了短劇導演、平台負責人、aigc創作者等,試圖回答這些問題。

ai短劇,

打開進入奇幻世界的新方法

不妨先來感受一下ai短劇的畫面效果。

「魚身而鳥翼,音如鴛鴦,見則其邑大水」的蠃魚:

借鑒了《紅樓夢》的風月寶鑒,也是《山海奇鏡之劈波斬浪》中的「鏡」:

大反派九嬰, 「其狀如牛而龍尾,九首,能噴水吐火,其音如嬰兒,見則其邑大水」:

《山海奇鏡之劈波斬浪》在影院播放時,大屏幕上的大特寫細緻逼真——大海時而波濤如怒,時而悠遠浩蕩,異獸動輒遮天蔽日,猙獰兇殘,上古神靈或動或靜,絲滑流暢,老者滄桑的眼神和少年掙扎的表情,在大屏幕上纖毫畢現。

儘管導演陳坤一再指出,ai在視頻生成過程中,長於奇景、異獸的生成,不善於人物表情、人物互動的生成,但《山海奇鏡之劈波斬浪》中的人物面部特寫依然扛得住大屏幕。

導演陳坤(aka閑人一坤)是一名從業二十餘年的傳統影視人,目前轉型ai影視,這是他推出的第一部ai短劇,所有鏡頭均由快手的可靈ai生成。

他介紹,《山海奇鏡之劈波斬浪》立項於2023年12月,第一版完成於2024年5月,但團隊對效果很不滿意,「要麼是ppt動畫,要麼是沒法跟背景完美融合。」為此,他們嘗試用comfyui去搭建工作流(一種基於節點的工作流程,將穩定擴散的流程分解成多個節點,實現精準定製和可靠復現),甚至考慮過綠幕動捕轉繪,但不論如何抽卡、剪輯,總是達不到理想的效果。

6月7日可靈ai上線後,陳坤成為第一批試用者。在可靈ai完成的第一批鏡頭中,有一幕是水神共工從山中站起來,僅通過圖片和提示詞,共工完成抬頭、挺胸、起身、站立的流暢畫面,其中肌肉緊繃、頭髮飛揚、山石崩裂,效果逼真。「這個鏡頭非常符合我們的提示詞要求,也非常符合物理定律的,不像以前的參數微調,看到這個效果,我就意識到這是顛覆性的。」陳坤回憶。

基於這一效果,陳坤決定所有鏡頭全部由可靈ai重新生成,然後再重新剪輯,重做音樂。「鏡頭重新生成加重新剪輯,我們團隊一共十幾個人,半個月做完。」陳坤介紹。

最近在抖音上線的科幻短劇《三星堆:未來啟示錄》則使用了抖音的即夢ai,由抖音聯合博納影業aigms製作。

這部科幻短劇,不僅有機甲鬥法、末世災難,主角團還穿越到中國古代,在竹海環繞的中式庭院中,與高冠博帶的古蜀國人,一起揭開青銅神樹的秘密,探索文明興亡的奧秘。

《三星堆:未來啟示錄》立項於2022年,籌備於2023年底。博納影業製作總監、博納aigms製作中心負責人曲吉小江表示,以最快速度推出該劇的目的之一,就是讓行業看到目前ai技術的極限是什麼,未來的可能性在哪裡。

「當下的觀眾對ai影視內容其實是充滿了好奇和期待的。」曲吉小江發現,目前,一個由ai創作的短視頻片段,一經發布就能獲得百萬流量的加持。觀眾還是期待看到更震撼的視覺效果和更智能的觀影體驗。

截止目前,《山海奇鏡之劈波斬浪》更新4集,在快手播放量677.3萬,《三星堆:未來啟示錄》更新9集,在抖音播放量1942.1萬。

除了抖音、快手的積極布局,6月底,由中央廣播電視總台影視劇紀錄片中心製作的三部ai微短劇《英雄》、《愛永無終止》、《奇幻專賣店》在央視頻上線。
《英雄》:講述一個普通人「大胖子」跨越時空界限,與西漢名將霍去病並肩戰鬥的成長故事。
《愛永無終止》:通過ai+真人,講述了一名年輕人使用ai技術創造出意外去世的父親影像,藉此來撫慰奶奶心靈的溫馨故事。
《奇幻專賣店》:科幻萌寵主題,通過ai生成的虛擬人物和動物,講述了一個尋找與被尋找、愛與被愛的故事。
此外待播短劇還有:
《西西里的美麗傳說》:懸疑+愛情,主角穿梭古今,逆風翻盤。
《如果ai》:科幻+文旅,提出了關於人工智慧發展、現實與虛擬的邊界、人類情感複雜性以及希望與絕望之間對峙的故事。
《大宋喵喵志》:奇幻+搞笑,圍繞擁有遠大抱負的現代貓咪與宋代書生的搞笑生活展開,以寵物的生活視角結合宋朝的社會風貌。

可以看出,ai短劇傾向於科幻、玄幻等內容題材。「因為這兩條賽道在傳統影視製作中,受制於cg特效的高成本和長周期,觀眾需求強,但供給較弱。ai短劇在該領域最容易發揮優勢並受到觀眾認可。」陳坤指出。

同時,「中國文化」也成為ai短劇關鍵詞——深厚的歷史積澱,悠久的志怪傳奇,自帶的文化號召力,豐富的文化母題和神秘元素,也給短劇行業帶來高質量的內容增量。

視頻模型群雄逐鹿,

ai短劇等來臨界點

ai短劇背後,是今年能力突飛猛進的視頻生成模型。

據博納影業aigms公眾號,《三星堆:未來啟示錄》定製化的工作流程為:
ai創意與文本創作:大語言模型(llm)
視覺概念及分鏡設計:變化模(transformer model)、文本到圖像生成(text-to-image generation)
鏡頭畫面生成:擴散模型(diffusion models)、生成對抗網路(gans)、風格遷移(style transfer)、深度學習(deep learning)
圖像質量增強:超解析度技術 (super-resolution)
圖像到視頻轉換:時序生成模型 (sequential generative models)
視頻編輯和媒體內容增強:自動視頻編輯演算法 (automated video editing algorithms)
文本到語音合成:語音合成技術 (text-to-speech synthesis, tts)
文本到音樂創作:音樂生成ai (music generation ai)

在《三星堆:未來啟示錄》看片會上,即夢ai相關負責人表示,此次合作過程中,即夢ai改進了「視頻生成」的功能,包括支持24fps、30fps、60fps的補幀以及二倍超分的能力,新增鏡頭水平移動、上下移動,支持鏡頭移動的方向和幅度控制等。

2024年被視為「視頻模型元年」,年初sora炸場(點擊閱讀《sora爆火,ai電商打開新世界的大門》),引發全球ai視頻風暴,海外runway、pika、luma鬥法,國內互聯網大廠和獨角獸公司齊上陣,學習sora的dit架構,增加首尾幀控制、鏡頭控制、運動控制等功能,提升視頻生成時長和質量。

「去年8月份,runway帶火了diffusion +unet架構,全球上百家視頻生成公司開始用這個架構。今年sora帶火了diffusion+transformer架構,現在國內dit架構大概六七家,年底估計能跑出二十多家。」運營aigc創作者社區的宋東桓觀察到。

「目前的視頻模型處於群雄逐鹿狀態。runway出了一個motion brush(運動筆刷,用於視頻內容控制),pixverse也上一個magic brush。一個模型率先推出高清功能,立馬會有其他同行跟進。每一個工具都在拚命往前追趕,想給創作者更多的一些工具。」陳坤指出。