人大盧志武：只要拿到更多算力，超過Sora也不是那麼難的事

編輯部 整理自 凹非寺

量子位 | 公眾號 qbitai

一支人大系大模型團隊，前後與openai進行了三次大撞車！

第一次是與clip，第二次是與gpt-4v，最新一次撞在了sora上：

去年5月，他們聯合併聯合伯克利、港大等單位於在arxiv上發表了關於vdt的論文。

那時候，該團隊就在在技術架構上提出並採用了diffusion transformer。並且，vdt還在模型中引入統一的時空掩碼建模。

這個團隊，正由中國人民大學高瓴人工智能學院教授盧志武帶隊。

sora問世已經兩個多月，現在這支國產團隊在視頻生成領域的進度怎麼樣了？什麼時候我們能迎來國產sora的驚艷時刻？

在本次中國aigc產業峰會上，盧志武對上述問題進行了毫無保留的分享。

為了完整體現盧志武的思考，在不改變原意的基礎上，量子位對演講內容進行了編輯整理，希望能給你帶來更多啟發。

中國aigc產業峰會是由量子位主辦的行業峰會，20位產業代表與會討論。線下參會觀眾近千人，線上直播觀眾300萬，獲得了主流媒體的廣泛關注與報道。

話題要點

vdt使用transformer作為基礎模型，能更好地捕捉長期或不規則的時間依賴性；

scaling law是視頻生成模型從基於diffusion model轉向基於transformer的重要原因；

vdt採用時空分離的注意力機制，而sora採用時空合一的注意力機制；

vdt採用token concat方式，實現快速收斂和良好效果；

消融實驗發現，模型效果與訓練消耗的計算資源正相關，計算資源越多，效果越好；

只要拿到更多算力，超過sora也不是那麼難的事。

……

以下為盧志武演講全文：

為什麼做視頻生成突然要轉到用transformer上？

今天的報告，我將重點介紹我們在視頻生成領域的工作，特別是vdt（video diffusion transformer）。

這項工作已於去年5月發佈在arxiv上，並已被機器學習頂級會議iclr接收。接下來，我將介紹我們在這一領域取得的進展。

眾所周知，sora非常出色，那麼它的優勢在哪裡呢？之前，所有的工作都是基於diffusion model，那為什麼我們在視頻生成中突然轉向使用transformer呢？

從diffusion到transformer的轉變，原因如下：

與基於u-net的diffusion模型不同，transformer具有許多優點，如token化處理和注意力機制，這兩個特點使其能夠更好地捕捉長期或不規則的時間依賴性。因此，在視頻領域，許多工作開始採用transformer作為基礎模型。

然而，這些都是表面現象，最根本的原因是什麼呢？使用transformer進行視頻生成，是因為其背後的scaling law發揮了作用。

diffusion model的模型參數量是有限的，而一旦將transformer作為基礎模型，參數量可以隨意增加，只要有足夠的計算能力，就可以訓練出更好的模型。實驗證明，只要增加計算量，效果就會得到提升。

當然，視頻生成涉及各種任務，使用transformer能夠將這些任務統一在一個架構下。

基於上面三個原因探索用transformer當視頻生成的底座，這是我們當時的考慮。

我們的創新點有兩個：

一是將transformer應用於視頻生成，並結合了diffusion的優點；二是在建模過程中，我們考慮了統一的時空掩碼建模，將時間和空間置於同等重要的位置。

無論是vdt還是sora，第一步都是對視頻進行壓縮和token化處理。

這與基於dm的方法最大的區別在於，基於dm的方法只能進行空間壓縮，無法進行時間壓縮；而現在，我們可以同時考慮時間和空間，實現更高的壓縮程度。

具體來說，我們需要訓練一個時空空間中的3d量化重構器，這可以作為tokenizer，得到三維空間中的patches。

總之，通過這種方式，我們可以得到transformer的輸入，輸入實際上是3d的tokens。

一旦我們將輸入的視頻進行token化處理，就可以像通常的transformer一樣，使用標準的transformer架構對3d的token序列進行建模，細節我就不贅述了。

vdt和sora有什麼差別？

vdt模型中最重要的部分是時空的transformer block。

我們與sora有一點不同，當時設計這個block時，我們將時空的attention分開了。高校團隊沒有openai那麼多的計算資源，這樣分開後，所需的計算資源會少很多——除此之外，其他所有設計都一模一樣。

現在，讓我們來看看我們與sora的區別。

剛才我說過，vdt採用了時空分離的注意力機制，空間和時間是分開的，這是在計算資源有限的情況下的折中方案。

sora採用的是時空統一的token化，注意力機制也是時空合一的，我們推測sora強大的物理世界模擬能力主要來自於這個設計。

至於輸入條件不同，這不是vdt與sora最大的區別，基本上圖生視頻能做好，文生視頻也能做好。

文生視頻的難度較大，但並非無法克服，沒有本質上的差別。

接下來，我將介紹我們當時探索的一些事項。架構設計完成後，我們特別關注輸入條件。這裡有c代表的condition frame，以及f代表的noisy frame。

這兩種輸入條件應該如何結合，我們探索了三種方式：

通過normalization的方式；

通過token concat的方式；

通過cross attention。

我們發現，這三種方式中，token concat的效果最佳，不僅收斂速度最快，而且效果最好，因此vdt採用了token concat方式。

我們還特別關注了通用時空掩碼機制。

不過，由於sora沒有公布細節，我們不清楚它是否也採用了這個機制，但在模型訓練過程中，我們特彆強調了設計這樣的掩碼機制，最終發現效果非常好，各種生成任務都能順利完成——我們發現sora也能達到類似的效果。

消融實驗特別有趣，無論是sora還是vdt，有一個非常重要的問題，就是模型中有大量的超參數，這些超參數與模型密切相關，不同的參數會對模型的效果產生很大影響。

然而，通過大量實驗驗證，我們發現超參數的選擇有一個規律，即如果超參數使得模型的訓練計算量增加，那麼對模型效果是有益的。

這意味着什麼？我們模型的性能只與其背後引入的計算量有關，模型訓練所需的計算資源越多，最終的生成效果就越好，就這麼簡單。

這個發現與dit類似，dit被稱為sora的基礎模型，它是用於圖片生成的。

總之，消融實驗是sora或我們工作中最重要的事情之一，我們模型的效果只與訓練消耗的計算資源有關，消耗的計算資源越大，效果越好。

有更多算力，超過sora不是太難

考慮到我們的計算資源確實有限，我們團隊在模型訓練規模上，肯定不能與openai相比。但是，我們也進行了一些深入的思考。

物理世界模擬本身就在我們的論文中，並不是說這是openai首先想到的，我們一年前就想到了。

當時有這個底座以後，很自然想到這樣模型到底能不能進行物理規律模擬。後來在物理數據集上訓練了一下vdt，發現它對簡單的物理規律模擬得特別好。

比如，這些例子有拋物線的運動，加速運動，還有碰撞的運動，模擬得都還可以。

所以我們當時做了兩個在思想上特別有前瞻性的事情，一個是當時我們想到diffusion transformer用到視頻生成裏面，第二個是我們得到了這樣模型以後，我們當時覺得這就是做物理世界模擬很好的模型，我們做實驗驗證了這個事情。

當然，如果我們有更多的算力，我們有更多的數據，我相信肯定可以模擬更複雜的物理規律。

我們這個模型也跟現在有模型做了對比，比如人像生成，給一張寫真的照片讓它動起來，我們只考慮做這個小的事情，因為我們算力特別有限。

這些結果表明vdt比stable video diffusion要好一些，你可以看看生成得人物眼睛眨的更明顯一些，更自然一點。另一個模型生成有點不太自然。

此外，如果人臉從側面轉成正臉，甚至用扇子把臉遮住了，要把人臉預測出來，還是挺難的。

關於這個寫真視頻是怎麼做的我簡單說一下。

先提供幾張寫真的照片，vdt把每一張寫真照片變成兩秒的鏡頭，通過剪輯的方式把鏡頭拼在一起。

結合我們團隊本身的特點，如果說我做通用的模型，我肯定做不過市面上的大部分，但是我當時挑了一個應用點，在這個點上vdt並不比sora差。

sora出來以後很多人要做視頻生成，我要考慮怎麼保證我的團隊在這個方向上，哪怕很小的一個點保持世界最前沿。

因此，我們做了寫真視頻生成，國外的pika、sora也研究了一下。vdt生成的超寫實人物，是超過pika和sora的。在通用的視頻生成我們很難超過sora，這裡的主要原因是我們算力很有限。

只要拿到更多算力，超過sora也不是那麼難的事。

我就講這麼多，謝謝大家。