即夢半斤，可靈八兩？字節、快手視頻AI正面交鋒

每經記者：王郁彪 楊昕怡    每經編輯：張海妮

字節、快手，兩位短視頻巨頭在ai領域裡迎來了正面交鋒。

11月8日，字節跳動旗下的ai內容平台即夢ai宣布，由字節跳動自研的視頻生成模型seaweed面向平台用戶正式開放。

據字節方面介紹，本次開放使用的豆包視頻生成模型seaweed是該款模型的標準版，僅需60秒即能生成時長5秒的高質量ai視頻，領先國內業界3至5分鐘的所需生成時間。

《每日經濟新聞》記者在對即夢、可靈的初代版本和最新版本進行實測時也發現，迭代後，兩款產品在視頻生成效果上均有多方面、不同程度的提升，可靈在空間布局和畫面細節呈現上更為準確，且對生成內容效果的調節更具靈活性、便捷性；而即夢在生成時長和視頻風格上有優勢。

一位大模型技術人員向《每日經濟新聞》記者表示，視頻生成模型要實現生產內容的不同“畫風”是很難做的，“技術之外，還主要看數據源的豐富程度”。

當短視頻進入ai時代，字節和快手兩員猛將下場，誰將拔得頭籌？

初代vs迭代：半年時間，即夢、可靈更新了什麼？

伴隨字節自研視頻生成模型seaweed開放使用，國內視頻生成模型大比拼里最具看點的一對——即夢、可靈終於正式交手。

它們都承載着理解物理世界，在衍生“真實”的同時儘可能放大想象的“ai造夢計劃”，但對於自身而言，即夢和可靈也都肩負字節和快手又一番商業化前景開拓的重任。

事實上，即夢與可靈都在短短不到一年的時間，完成了數次迭代。即夢3月底開啟視頻生成功能內測，半年後，字節發布了豆包模型家族的兩款視頻生成模型seaweed和pixeldance，並通過即夢ai、火山引擎小範圍邀測，至如今seaweed面向平台用戶正式開放。

工信部信息通信經濟專家委員會委員盤和林向《每日經濟新聞》記者表示，即夢使用的新模型生成速度有所提升，給用戶的生成體驗更好了，“即夢ai目前在國內生成領域，還是比較領先的”。

可靈在6月“出生”後一鳴驚人，發布至今經歷了十餘次更新，包括發布圖生視頻功能以及1.5模型的上線等重要更新。截至目前，可靈擁有超過360萬用戶，累計生成3700萬個視頻，並在近期正式上架獨立app（應用軟件）。

《每日經濟新聞》記者選取了openai官方公布的5條sora視頻提示詞（東京街頭的女士、太空人、無人機視角的海岸、3d動畫的小怪物、雲端讀書的年輕人）分別測試即夢和可靈的初代版本和最新版本，縱向對比兩個視頻生成模型的視頻效果。

對比即夢最初版本和最新版本生產的視頻效果後，我們發現，即夢有兩部分更新較為明顯：一個是在動態的“人事物”表現上，動作的捕捉和連貫性均有較為明顯的提升；另一個是畫面風格的差異化呈現也有比較大的進步。

以“東京街頭的女士”為例，初代即夢塑造的人物動作僵硬，特別是在腿部、腳部動作的捕捉上，整體呈現的效果是模糊和扭曲的。迭代後的新版即夢，人物動作自然流暢，腳部動態的細節處理更清晰、更符合真實世界的邏輯。

從畫面風格的差異化上看，版本更新後的即夢畫風區分度更高，無論對真實世界畫面，還是超現實畫面的描述上，都做出了不同風格呈現。

這一點在“雲端讀書的年輕人”視頻生成的效果上對比明顯。初代即夢將這一超現實畫面做了完全動畫風格的處理，而新版即夢對人物的呈現更傾向寫實風。

“太空人”的視頻生成效果也是如此，初代即夢生成的太空人“遊戲建模”感較重，而新版完全寫實。

初代可靈和數次迭代後1.5模型的可靈，視頻生成效果提升更加明顯。變化之一就是空間布局和畫面細節的呈現更精緻。在“無人機視角的海岸”生成效果上，能夠看到在空間布局上，畫面更具縱深感，空間布局更加複雜，房屋、馬路等細節設置也更豐富。

即夢pk可靈：理解、捕捉和想象都有差異

兩個模型在迭代後，生成效果都更加穩定，畫質也更優，流暢度和細節處理都更經得起推敲。不過，它們在語義理解、關鍵詞捕捉和放大，以及創意想象力和創意相關性的平衡上還是有明顯區別。

我們橫向對比，將最新版本的即夢與1.5模型可靈，對5條sora視頻提示詞（東京街頭的女士、太空人、無人機視角的海岸、3d動畫的小怪物、雲端讀書的年輕人）的呈現進行比拼。

語義的理解和關鍵詞的捕捉，讓即夢和可靈的視頻呈現有所不同。

在“無人機視角的海岸”視頻中，即夢對提示詞中“帶有燈塔的小島”進行了相對模糊化的處理，而無論是可靈還是sora，這一畫面的重點都是“小島”。而在對“海岸公路”的描述中，即夢的設置並不符合真實世界的邏輯。

而在“太空人”的視頻效果上，即夢對描述中的“冒險”並未進行描述，再次生成後，手拿咖啡騎着摩托的太空人也忽視了“冒險”的設定。可靈則通過人物的表情以及運鏡強調了“冒險”。不過，即夢和可靈都相對忽視了“電影預告片”這一設定，對比之下sora的“太空人”視頻更有電影感。

在“3d動畫的小怪物”視頻生成中，即夢的小怪物設定與動畫電影《怪物公司》里的角色“薩利”幾乎相同。而提示詞中有關小怪物的部分描述，即夢的呈現也相對不甚準確，比如“短毛”設定的執行。此外，在藝術風格的呈現上，提示詞着重強調了“光照和紋理”，即夢的執行弱於可靈。

而在“東京街頭的女士”視頻中，即夢在多主體複雜交互的呈現上，效果相對於可靈，表現不佳。無論是對畫面主體的“女士”還是空間描述上都相對準確，但畫面中的行人普遍進行了模糊處理，近景中的行人則出現扭曲變形。

不過，即夢ai官方透露，近期，seaweed和pixeldance兩款視頻生成模型的pro版也將開放使用。pro版模型會對多主體交互以及多拍動作連貫性上進行優化，同時攻克多鏡頭切換的一致性等難題。

在功能與體驗上，經過數輪迭代後的可靈，在生成視頻時，有“創意想象力和創意相關性”參數的調整，因此可以進行平衡調整。對於不希望呈現的內容，可靈也可以設置，比如模糊、拼貼、變形、動畫等。生成操作更靈活，效果可調整。

即夢生成視頻的操作更加便捷。此外，經測試，即夢視頻生成時間更短，sora的5條提示詞的視頻生成時間，每條都不超過半分鐘。而1.5模型的可靈生成10秒高質量視頻則需要耗時10分鐘以上。

不過，需要注意的是，上述即夢、可靈生成的視頻，均由記者測試生成，不同版本、描述的細節，都會造成視頻生成效果的差異。並且，目前sora仍未開放，所生成視頻均為官方發布版本，後續開放，用戶實際測試效果與官方視頻可能存在一定的差異。

ai視頻生成領域混戰，何為勝負手？

對於字節、快手這兩大短視頻巨頭而言，要在ai視頻生成領域中進行較量，對手還遠不只彼此。

例如，11月8日，“ai六小龍”之一的智譜對其視頻生成工具清影進行了新升級。值得關注的是，升級後的清影支持任意比例的圖像生成視頻，並且具備多通道生成能力，同一指令或圖片可以一次性生成4個視頻。此外，新清影可以生成與畫面匹配的音效，該音效功能將在本月上線公測。

其中已有初露鋒芒的玩家出現。

8月31日，minimax發布了其首款ai高清視頻生成模型技術abab-video-1，上線首月便捷報頻傳。minimax官方公眾號披露，在視頻模型上線海螺ai的首月，海螺ai網頁版訪問量增速超800%，用戶覆蓋全球超180個國家和地區，產品連奪ai產品榜（web）9月全球增速榜和國內增速榜兩榜榜首。

北京市社會科學院管理研究所副研究員王鵬向《每日經濟新聞》記者指出，目前國內外ai視頻產品都處於快速發展階段，國外meta、google等科技巨頭都在積極布局ai視頻領域；國內方面，快手可靈、即夢ai等產品也在不斷迭代升級，提升用戶體驗和商業化能力。

同時，東吳證券在今年8月發布的研報也指出了國產ai視頻大模型的迭代、落地發展之快、競爭之激烈——技術層面，新模型生成時長、分辨率、幀率上快速提升，縮小了與sora之間的差距；產品方面，許多新產品和模型升級面向全體用戶開放，部分已應用於微短劇創作，國內公司在用戶開放和商業化落地方面進展迅速。

在商業化可能性方面，該份研報中提到，在ai滲透率為15%的中性假設下，中國ai視頻生成的行業潛在空間為3178億元；在全ai模式下，電影、長劇、動畫片和短劇的製作成本，相較傳統模式將下降超95%。

龐大的潛在市場規模和降本增效的“超能力”也能從可靈的使用數據上窺見一二。

在10月舉行的“2024中國計算機大會”上，快手副總裁、大模型團隊負責人張迪透露，自今年6月發布以來，快手可靈ai已有超過360萬用戶，累計生成3700萬個視頻以及超過1億張圖片。

盤和林在接受《每日經濟新聞》記者採訪時表示，可靈背靠快手，擁有流量支持，所以商業化進程很快，“ai視頻產品還是要背靠互聯網平台，有流量才有商業潛力”。

相似的是，字節也將視頻模型的商業化放在了任務單前列。在今年9月推出兩款視頻生成模型時，火山引擎總裁譚待曾公開表示，新款豆包視頻生成模型“從一落地就開始考慮商業化”，使用領域包括電商營銷、動畫教育、城市文旅和微劇本。

“ai視頻將在b端和c端展現出不同的商業化潛力。”王鵬認為，面向b端，ai視頻可以為企業提供更加高效、低成本的視頻製作和分發解決方案；在c端，ai視頻可以滿足用戶對個性化、高質量視頻內容的需求，還能與電商、廣告等行業相結合，實現更加精準的營銷和變現。

不過對於商業化，也有如minimax創始人閆俊傑這般的想法：“在目前階段，最重要的東西還不是商業化，是技術能達到廣泛‘可用’的程度。”但毫無疑問的是，在兩位短視頻巨頭下場、初創獨角獸“另闢蹊徑”，以及不一樣的商業化節奏等因素的共同作用下，這場在ai視頻生成領域的賽跑已越發有看點了。

每日經濟新聞