人大盧志武:只要拿到更多算力,超過Sora也不是那麼難的事

編輯部 整理自 凹非寺

量子位 | 公眾號 qbitai

一支人大系大模型團隊,前後與openai進行了三次大撞車!

第一次是與clip,第二次是與gpt-4v,最新一次撞在了sora上:

去年5月,他們聯合併聯合伯克利、港大等單位於在arxiv上發表了關於vdt的論文。

那時候,該團隊就在在技術架構上提出並採用了diffusion transformer。並且,vdt還在模型中引入統一的時空掩碼建模。

這個團隊,正由中國人民大學高瓴人工智慧學院教授盧志武帶隊。

sora問世已經兩個多月,現在這支國產團隊在視頻生成領域的進度怎麼樣了?什麼時候我們能迎來國產sora的驚艷時刻?

在本次中國aigc產業峰會上,盧志武對上述問題進行了毫無保留的分享。

為了完整體現盧志武的思考,在不改變原意的基礎上,量子位對演講內容進行了編輯整理,希望能給你帶來更多啟發。

中國aigc產業峰會是由量子位主辦的行業峰會,20位產業代表與會討論。線下參會觀眾近千人,線上直播觀眾300萬,獲得了主流媒體的廣泛關注與報道。

話題要點

vdt使用transformer作為基礎模型,能更好地捕捉長期或不規則的時間依賴性;

scaling law是視頻生成模型從基於diffusion model轉向基於transformer的重要原因;

vdt採用時空分離的注意力機制,而sora採用時空合一的注意力機制;

vdt採用token concat方式,實現快速收斂和良好效果;

消融實驗發現,模型效果與訓練消耗的計算資源正相關,計算資源越多,效果越好;

只要拿到更多算力,超過sora也不是那麼難的事。

……

以下為盧志武演講全文:

為什麼做視頻生成突然要轉到用transformer上?

今天的報告,我將重點介紹我們在視頻生成領域的工作,特別是vdt(video diffusion transformer)。

這項工作已於去年5月發布在arxiv上,並已被機器學習頂級會議iclr接收。接下來,我將介紹我們在這一領域取得的進展。

眾所周知,sora非常出色,那麼它的優勢在哪裡呢?之前,所有的工作都是基於diffusion model,那為什麼我們在視頻生成中突然轉向使用transformer呢?

從diffusion到transformer的轉變,原因如下:

與基於u-net的diffusion模型不同,transformer具有許多優點,如token化處理和注意力機制,這兩個特點使其能夠更好地捕捉長期或不規則的時間依賴性。因此,在視頻領域,許多工作開始採用transformer作為基礎模型。

然而,這些都是表面現象,最根本的原因是什麼呢?使用transformer進行視頻生成,是因為其背後的scaling law發揮了作用。

diffusion model的模型參數量是有限的,而一旦將transformer作為基礎模型,參數量可以隨意增加,只要有足夠的計算能力,就可以訓練出更好的模型。實驗證明,只要增加計算量,效果就會得到提升。

當然,視頻生成涉及各種任務,使用transformer能夠將這些任務統一在一個架構下。

基於上面三個原因探索用transformer當視頻生成的底座,這是我們當時的考慮。

我們的創新點有兩個

一是將transformer應用於視頻生成,並結合了diffusion的優點;二是在建模過程中,我們考慮了統一的時空掩碼建模,將時間和空間置於同等重要的位置。

無論是vdt還是sora,第一步都是對視頻進行壓縮和token化處理。

這與基於dm的方法最大的區別在於,基於dm的方法只能進行空間壓縮,無法進行時間壓縮;而現在,我們可以同時考慮時間和空間,實現更高的壓縮程度。

具體來說,我們需要訓練一個時空空間中的3d量化重構器,這可以作為tokenizer,得到三維空間中的patches。

總之,通過這種方式,我們可以得到transformer的輸入,輸入實際上是3d的tokens。

一旦我們將輸入的視頻進行token化處理,就可以像通常的transformer一樣,使用標準的transformer架構對3d的token序列進行建模,細節我就不贅述了。

vdt和sora有什麼差別?

vdt模型中最重要的部分是時空的transformer block

我們與sora有一點不同,當時設計這個block時,我們將時空的attention分開了。高校團隊沒有openai那麼多的計算資源,這樣分開後,所需的計算資源會少很多——除此之外,其他所有設計都一模一樣。

現在,讓我們來看看我們與sora的區別。

剛才我說過,vdt採用了時空分離的注意力機制,空間和時間是分開的,這是在計算資源有限的情況下的折中方案。

sora採用的是時空統一的token化,注意力機制也是時空合一的,我們推測sora強大的物理世界模擬能力主要來自於這個設計。

至於輸入條件不同,這不是vdt與sora最大的區別,基本上圖生視頻能做好,文生視頻也能做好。

文生視頻的難度較大,但並非無法克服,沒有本質上的差別。

接下來,我將介紹我們當時探索的一些事項。架構設計完成後,我們特別關注輸入條件。這裡有c代表的condition frame,以及f代表的noisy frame。

這兩種輸入條件應該如何結合,我們探索了三種方式:

通過normalization的方式;

通過token concat的方式;

通過cross attention。

我們發現,這三種方式中,token concat的效果最佳,不僅收斂速度最快,而且效果最好,因此vdt採用了token concat方式。

我們還特別關注了通用時空掩碼機制

不過,由於sora沒有公布細節,我們不清楚它是否也採用了這個機制,但在模型訓練過程中,我們特彆強調了設計這樣的掩碼機制,最終發現效果非常好,各種生成任務都能順利完成——我們發現sora也能達到類似的效果。

消融實驗特別有趣,無論是sora還是vdt,有一個非常重要的問題,就是模型中有大量的超參數,這些超參數與模型密切相關,不同的參數會對模型的效果產生很大影響。

然而,通過大量實驗驗證,我們發現超參數的選擇有一個規律,即如果超參數使得模型的訓練計算量增加,那麼對模型效果是有益的

這意味著什麼?我們模型的性能只與其背後引入的計算量有關,模型訓練所需的計算資源越多,最終的生成效果就越好,就這麼簡單。

這個發現與dit類似,dit被稱為sora的基礎模型,它是用於圖片生成的。

總之,消融實驗是sora或我們工作中最重要的事情之一,我們模型的效果只與訓練消耗的計算資源有關,消耗的計算資源越大,效果越好。

有更多算力,超過sora不是太難

考慮到我們的計算資源確實有限,我們團隊在模型訓練規模上,肯定不能與openai相比。但是,我們也進行了一些深入的思考。

物理世界模擬本身就在我們的論文中,並不是說這是openai首先想到的,我們一年前就想到了。

當時有這個底座以後,很自然想到這樣模型到底能不能進行物理規律模擬。後來在物理數據集上訓練了一下vdt,發現它對簡單的物理規律模擬得特別好。

比如,這些例子有拋物線的運動,加速運動,還有碰撞的運動,模擬得都還可以。

所以我們當時做了兩個在思想上特別有前瞻性的事情,一個是當時我們想到diffusion transformer用到視頻生成裡面,第二個是我們得到了這樣模型以後,我們當時覺得這就是做物理世界模擬很好的模型,我們做實驗驗證了這個事情。

當然,如果我們有更多的算力,我們有更多的數據,我相信肯定可以模擬更複雜的物理規律。

我們這個模型也跟現在有模型做了對比,比如人像生成,給一張寫真的照片讓它動起來,我們只考慮做這個小的事情,因為我們算力特別有限。

這些結果表明vdt比stable video diffusion要好一些,你可以看看生成得人物眼睛眨的更明顯一些,更自然一點。另一個模型生成有點不太自然。

此外,如果人臉從側面轉成正臉,甚至用扇子把臉遮住了,要把人臉預測出來,還是挺難的。

關於這個寫真視頻是怎麼做的我簡單說一下。

先提供幾張寫真的照片,vdt把每一張寫真照片變成兩秒的鏡頭,通過剪輯的方式把鏡頭拼在一起。

結合我們團隊本身的特點,如果說我做通用的模型,我肯定做不過市面上的大部分,但是我當時挑了一個應用點,在這個點上vdt並不比sora差。

sora出來以後很多人要做視頻生成,我要考慮怎麼保證我的團隊在這個方向上,哪怕很小的一個點保持世界最前沿。

因此,我們做了寫真視頻生成,國外的pika、sora也研究了一下。vdt生成的超寫實人物,是超過pika和sora的。在通用的視頻生成我們很難超過sora,這裡的主要原因是我們算力很有限。

只要拿到更多算力,超過sora也不是那麼難的事。

我就講這麼多,謝謝大家。