對話《三體》電視劇視覺導演陸貝珂:GenAI與Vision Pro如何改變影視特效業

圖片來源@通義千問

文 | 硅谷101

你或許還記得《三體》電視劇中那場令人震撼的的「古箏行動」,製作團隊近乎完美地還原了原著中納米飛刃切割審判日巨輪的情節。那麼,這個場景是如何製作出來的呢?

近年來,國產影視作品特效水平大幅提升,數字特效技術的應用為豐富影視作品視覺效果、提升作品的表達空間打開了新的大門。而如今,隨着生成式ai技術的快速發展,影視特效行業的製作效率和製作能力正在得到大規模地提升,蘋果vision pro等具有空間計算的3d硬件產品,也在讓特效行業重新經歷一輪新的媒介的轉化。 

《三體》古箏行動片段,圖片取自於《三體電視劇》

本期節目中,我們邀請到了中國著名的視覺導演、影視製片人,也是《三體》的視覺導演陸貝珂來為我們揭秘《三體》電視劇特效製作背後的故事,以及深入探討生成式人工智能等前沿技術如今正在如何被應用於影視特效行業中。

以下是部分訪談精選

01「古箏行動」如何被震撼還原

 《硅谷101》:相信貝導的很多作品大家都看過。除了電視劇《三體》,貝導還在電影《鮫珠傳》、《白銀帝國》,電視劇《紅色》、《闖關東》《芸汐傳》等知名影視作品中擔任視覺導演,在節目的開頭能否跟我們簡單分享一下您進入到視覺導演行業中的一個職業經歷?

陸貝珂:我大概是在1999年就進入了這個行業。我的專業本身就是影視廣告,大概在96年左右開始接觸計算機做圖形,當時有用到如一些autodesk、3ds之類的工業設計方面的軟件,覺得很有意思。那時正好也是《玩具總動員》 等皮克斯動畫片比較火的時候,就開始對這方面產生興趣。

 因為我本身也是學這個專業,之後在具體的工作中也越來越多地接觸到這方面的內容。其中最大的一個轉變是在 2004 年的時候,我當時在北京跟一些朋友做一個後期特效和動畫片的工作室,接觸到了很多美國b級片項目,並開始給一個叫base的美國製片公司代工做動畫、特效,後來大家就一起在北京成立了一家專門的特效公司base fx,前幾年我主要做導演、編劇後來就轉向了專門做特效。

《硅谷101》:現在大家經常看到電影、電視劇裏面有很多很酷炫的特效,但是對於非從業者來說,很多人都不太清楚影視特效具體是什麼工作的。能不能用《三體》電視劇里特別震撼的「古箏行動」給我們舉個例子,聊聊它究竟是怎麼拍出來的,整個團隊由哪些人員組成、和劇組如何配合,以及後期都需要什麼樣的工作才能最終呈現這樣的效果?

陸貝珂:我的崗位是叫視覺導演,也就是要從視覺的角度去做很多畫面的設計以及一些概念設計,其中包括建築設計、工業設計、角色形象等很多種類,簡單來說就是只要是涉及到用後期計算機去完成的內容,它都歸視覺導演來做。這其中有一大部分內容叫 vfx 特效工作,具體到《三體》這個電視劇的話,它的特效工作可以大致分成兩大部分:一部分是傳統的實拍特效,另一部分則是純計算機生成的動畫片式的特效。在動畫片式的特效之下又分成兩大塊,一塊是模擬效果,即是用動畫片的方法模擬一個精度比較高的vr遊戲的畫面。另外一塊叫做藝術動畫,即基於一些科技原理所創作的動畫,比如bbc製作的《行星地球》里對星球和它的運轉原理做的藝術動畫,以及《三體》里火雞農場主射手假說等風格比較強烈的一些藝術動畫。

「古箏行動」就屬於非常傳統的vfx特效,它的特效特點是有大量的內容是需要前期進行拍攝,不光只是後期做計算機特效。vfx工作不純粹是由計算機完成的,實體特效、道具模型等很多東西是實拍完成的,比如說船、水稻、架子等可能需要使用實體置景道具,以及相關的那種用特殊道具的方法做出來的一些裝置,這個裝置是真的,而不是由計算機實現。「古箏行動」里有大量的河道、隱蔽的營地之類的都是實拍。但是隨着現在計算機圖形圖像學的發展,很多東西以前要用真實的模型做現在也可以用計算機來完成。

《硅谷101》:在《三體》里的巴拿馬運河你們實際上是在中國找了一個差不多的河道進行實拍,然後用後期再把它變得像巴拿馬運河對嗎?

陸貝珂:嚴格來說我們並沒有找到一個跟它一樣的河,但是我們找了一個地形,那個地形的特點是我們參照研究了小說中對巴拿馬運河的描寫找的。巴拿馬運河非常長,有一部分是一個湖、有一部分是水壩,它有一個地方非常窄,叫做蓋拉德水道。我們研究了這個蓋拉德水道真實的地貌環境,在國內找不到一個跟書中描繪的完全一樣的地方,但是我們可以找到不少看起來像的山勢,它一邊是比較高,一邊地勢比較低,河的兩邊不是都像懸崖一樣的地方,而且還有一部分是人工的環境。我們在浙江找了一個跟這個地貌很像的地方,但這個地方裏面並沒有一條河道,所以那個河道是純cg(特效)完成的。

 然後在一些局部的畫面裏面,我們又找了一個看起來有水,就是「古箏行動」中那個豎起來的兩根杆子的地方地方。我們拍的時候其實只拍了單邊的一根杆子,那個地方是天然的有水的地方,但是並不是一個真正的河道,是一個弧形的地形。但這個地方跟我們撞船的位置、營地的位置等畫面,其實是設計好之後分別找了六七個不同的地點單獨拍攝,之後再拼接起來的,但最後成片看起來會覺得它好像是在同一個地方拍攝的。

「古箏行動」的設計,圖片來自陸貝珂知乎

《硅谷101》:這個看起來真的非常自然,之前看電視劇,還以為劇組真的在巴拿馬運河那邊駐紮了好幾個月。

陸貝珂:原來確實有這個計劃,但我們2020年夏天拍的,因為疫情沒有辦法出去。

《硅谷101》:「古箏行動」里的那艘巨輪是真的嗎?

陸貝珂:船有一部分是真的,劇中在輪船上人的近景,那些在那個船甲板上的eto(earth-trisolaris organization,地球三體組織的簡稱) 人員大多數都是實拍。但船在河道上運行以及最後被切割的畫面大部分都是cg。關於切割的部分,我們最後導完了之後也搭了一個實景,但是那個實景只有整個大環境的 1/ 20 的局部,因為在拍完小說中所描述輪船整體像撲克牌一樣攤開之後,需要拍攝人進去輪船內部取硬盤的情節,那就必須用實景來完成。

圖片來自陸貝珂知乎

《硅谷101》:聽上去是一個挺巨大的工程,那麼完成這麼一個拍攝工作,需要多少人來完成呢?

陸貝珂:實拍部分有幾百個人,分成很多個不同的工種,有些人負責搭建實拍部分,有些人做道具,有人負責攝影、以及服化道之類的。從後期cg特效人員來說,首先你需要把畫面在腦海中設計出來,然後就要做分鏡,完成後還需要做一些拍前預覽。就是要把鏡頭先分好、做出動態,之後要看節奏和時長進行預剪輯。實際上在2023年最後剪輯播出之前,我們已經看過無數遍了,基本上在2020年的夏天的時候它就已經定稿了,這個部分的工作叫 previz或者layout。接下來就是實拍,整個設置組會以previz為藍本來拍攝各種各樣的鏡頭,每個鏡頭不一定是在同一個地方拍,再加上航拍等,前前後後有大概四五百人要參與進來。在前期的素材都拍完之後,還有一個工序叫掃描,就是要用航拍機器或者地面的如雷達掃描等一些設備去真實地拍攝環境作為資產拿回來,後期的cg公司根據資產來做還原、相關的動畫綁定、材質建模這些工作。

在三體的「古箏行動」部分,還有很大的一部分內容叫動力學模擬。對於鋼材碎片落地、船撞上泥土等這些效果,都需要做一些物理上的動力學模擬,這種模擬不是人用手工調出來的,船的動畫行動、我們叫關鍵幀動畫可以用手工調整,但這種物理學模擬是沒有辦法的。比如天上飛了上千萬片紙片,用手調是不可能的。在這個過程中我們就會運用到一些相關軟件,比如houdini這種結算、物理學模擬非常好的軟件,有時候還要自己做一些插件來處理一些東西。

我們在模擬的時候畫面看上去是灰色的,一般我們叫灰模,不一定有最終畫面中那麼好的光線和顏色。這是因為我們必須在早期就確定模擬是否成功,不能把光那些全部調好再去看,那可能就來不及,因為沒有足夠的算力可以讓一次一次地去渲染它。確認好畫面之後,接下來再做測試渲染。一般來說,電影的測試渲染可以做小分辨率的這種一個個動態的畫面,但電視劇一般沒有這個預算,所以就很靠導演經驗,需要通過很少量的幾張單幀的圖片就確定好這個畫面是不是能夠大批量地做渲染。

 等確定好了光線這些部分後,就開始下要求渲染。這個過程就是一個算力的過程,有的渲染要靠gpu,但「古箏行動」裏面可能70% 還是用的cpu運算,用的是一些渲染器來呈現出最終的光效。這些步驟都完成之後就要做合成,因為渲的時候並不是一次渲完的,而是一層一層地渲。比如有diffuse光線層,看上去沒有那麼強的光線,還有一些條件層,還有occ避光層等等,這些層最後要合併成一個完整畫面的時候,就要用到合成軟件,最後在合成軟件裏面把它合成一個最終的鏡頭就可以真序列膠片看了。

船體分割的模擬分鏡,圖片來自網絡

《硅谷101》:過程真的是非常複雜。那麼在一部電影或者是一部電視劇當中,一般有多少的預算會撥給後期特效呢?

陸貝珂:這個是一個非常非標準化的事情,很難有一個固定的數據。一般來說,要是類似於《復仇者聯盟》這種特別重特效的項目,很有可能佔到50%左右,因為特效量非常大,涉及到大量奇幻、科幻的畫面。但如果只是一個常規的都市劇、愛情片,那可能就只有10%、5%甚至5%以下,都看實際需求。

 對於《三體》來說,目前的第一季也就是小說的第一部分其實還好。我們的實際的製作預算是遠低於netflix版本的,大概只是它的1/10、或者1/20 這種級別。這其實也是我們國內的動畫特效製作的一個難點。它的難點不在於純粹的技術難點,而在於平衡,也就是如何用偏小的預算製作出精良的畫面。

02 ai改變影視特效

 《硅谷101》:你曾經在拍完《三體》之後接受採訪時說感謝數字科技的進步,如果放在 10 年前可能很難用現在的成本去做到現在的效果。很好奇具體是哪些數字科技的進步,讓《三體》這樣的一部作品能現在在中國被拍出來?

陸貝珂:其實整個進展是具有連續性的,倒並沒有一個類似於22年底23年初chatgpt那種顛覆性創新。

 在特效行業裏面,成本方面的變化體現在軟件的成熟,降低了使用這些軟件的成本。比如在10年前,很少會在工作流程中用到引擎式的工作,比如ue(unreal engine)的那個引擎,但在《三體》製作的時候,前期工作中間有大量的previz都是引擎做的,以前可能需要8到10人的團隊做工作現在就能縮減到2、3個人。此外,很多部門都會有渲染優化,就需要渲染算法的進步來節省cpu的算力,但這個進步是台階式的,沒有那麼顛覆性。

 還有一點就是技術的易用性大大提升。以前有大量的東西需要自己去寫去查,比如用 python去編很多東西,但近十幾年,很多問題都是已經技術上解決過了,有很多現成的方案,不需要我們去從圖形圖像學論文裡邊去找方法了。所以整體來說製作成本大幅下降,十幾年前這樣的效果可能可以做出來,但就是很貴,電視劇是做不起這個效果的。

《硅谷101》:芯片的發展是不是有助於預算優化呢?為什麼當時《三體》效果渲染的時候不用gpu?

陸貝珂:因為渲染主要涉及到渲染器,渲染器的算法決定了有些東西不是像那種分佈式渲染。gpu的算法決定了它更多的是在不同的通道上算一些簡單的東西,但它的光線追蹤的算法、或一些特定的occ算法本來就是在cpu運算上來編的,所以它這個渲染器就支持的就是cpu運算,並沒有把它進行那麼大的分佈式簡單運算。gpu有很大的一個特點是它的線程超級的多,但是它每個線程算的內容其實很簡單。但是有很多需要做大量運算的渲染器本身不是基於這種方法來編輯開發,所以我們也得繼承這個方案。但是現在也確實大量的gpu的運算的方式越來越多了,其實《三體》裏面大概有30%是gpu結算的,還有70%是傳統的cpu運算的渲染。

《硅谷101》:在當前特效行業當中,哪個公司的cpu、gpu大家覺得用起來比較好呢?

陸貝珂:目前來說cpu方面基本上都是英特爾的,amd也有一些,很少有其他家的。但是大家完全沒有以品牌作為判斷的標準,因為這種渲染的模式決定了只要你是用同一種基礎的算法分佈這些算力,那分到哪個上面都可以的。

《硅谷101》:這一輪生成式 ai技術浪潮的到來對整個特效行業有什麼樣的影響嗎?

陸貝珂:目前最大的影響是前期和合成部分,還有一些是在動力學特效上,因為動力學特效涉及到一些編程工作,這個工作要讓人工自己去完成的話還是很費勁的,這種既可以做好編程、又能夠理解畫面效果的這種特效師人才其實是很少的。但是現在chatgpt的編程的能力確實讓我們感覺有比較大的提高。

 關於前期部分的提高主要是在概念設計方面。概念設計需要很多發散性的想法,在以前這種發散性想法我們是以手繪為主,把一個簡單的構圖或者是白描的東西變成完成高,需要投入很多的資源和時間。但現在有ai加持之後,這個完稿過程就變得特別的快,特別是不屬於原創設定的概念設計和美術繪畫類人員,總的需要量大概只有原來的20%左右。但提出創意人員,就是給ai以目標、使用的提示詞的人倒不會減少,這一部分是ai也很難去直接替代的。

 還有就是在光線上做完稿效果測試圖的生產量,現在可能有上百倍的提高。以前一個科幻項目的圖量在前期可能有500-1000張,現在是完全有可能提高到1萬張圖這種級別。這樣一來你會看到特別多不同的東西,導演部門有更多選擇,但另外一個角度可能更難選,因為會出現很多圖。

《硅谷101》:那 ai 生成式視頻相關技術開始對這個產業產生影響了嗎?

陸貝珂:有的,最近做的片子裏面就用到過這個技術。gen-2、runway這些公司的產品其實我們都用過,目前它們有一個特點是做出畫面的速度很快,很適合用於沒有特別具體的目標、隨便放一個背景之類的情況中,比如我們拍一個片子中間有時候常常會出現電視里出現一個什麼畫面。以前出於版權的考慮,你還不能用別人的,我們還真得花時間去拍或者做一個,但現在有個ai的幫助之後,就節省了大量的這類型工作。

總體來說就是你需要的東西不在具體的情節、邏輯裏面就可以用ai來幫忙做。它目前特別不行的就是邏輯、概念上的連貫,這個並不是指畫面本身或者人臉是不是連貫對齊,而主要是前一個鏡頭跟後一個鏡頭的絕對邏輯比較差。我們往往看到它們做那個trailer(預告片)比較好看,那是因為trailer往往並不需要你有那麼強的那個邏輯,而且它的慢動作的效果會比正常動作要好,因為慢動作的特點其實是畫面中間是以pose為主的,有人就有pose,其實是一個競爭狀態下的一個微動態。但如果是一個常速,比如我在這說話這個手的動作它是帶有邏輯性的,這其實是很難讓它在3d的環境中間完全模擬出來的,這一點應該是生成式ai 的算法在短期內很難解決的一個問題。

此前由ai生成的手的圖片,圖片來自網絡 

我們現在主要解決的方案是,二維畫面用control net 的方案,就是你先用自己的構圖框死了畫面,這個構圖本身是你自己做的,一個3d文件,或者是一個3d做出來的一個帶有明確的輪廓線的文件,你讓它不斷地給你重新打光、重新做渲染就行了,ai可以完成得很快的。

我在2023年的年初的時候看過一本書講得很好,就是mathematica 軟件的作者斯蒂芬·沃爾夫勒姆寫gpt是如何運作的,裏面講到現在的ai生成式算法,它最擅長解決的就是那些可約化的部分。人的語言其實是一種規律性的東西,人的語言永遠不可能直接跟現象做對等關係,比如說一個礦泉水瓶子,其實你也沒有辦法靠語言去100%地描述它,你要想真正描述它,你必須把它一點點地測量出來,規定它具體的反射度、光線的折射度、反射度、還有它的透明度,這些東西才能把一個瓶子完整地說出來,那麼這個部分並不是現在的生成式 ai 所擅長的。因為這個部分是不可約化的,它的計算本身是算法很難解決的,它有點像一些程序性的計算方法跟蒙特卡洛式的算法的區別。蒙特卡洛式算法就是你得把這個東西測出來,不能用一個公式去簡單解決它,它是解決不了的。你在用ai做一張圖的時候,你可能會發現我們用ai去算那種記憶非常的規律性的東西的時候是很容易做的,比如說動態的雲或者非動態的雲,ai算起來是非常容易的它很容易處理這種東西,因為人對這個東西的印象是非常的模糊的,人對於天上的雲的印象是一種概念,並沒有一個我曾經有記憶過雲的一個一個的點是如何排布的,可能有一些氣象學家會感覺到ai算的很多雲有不合理的地方,但是一般人是絕對看不出來的。這就是你對這個東西的認識,你是概念化、很約化的。

但是如果這件事情是人本來就很擅長的,比如我們經常發現ai生成的手有問題,因為手的這個動作充滿了邏輯性,它處於什麼位置的時候是不容易約化的,它既有邏輯關係,又有三維方向上的排布的約束性,它並不是一個可以不管什麼方向都能動的東西,既有約束性又有邏輯性,就是沒有辦法絕對找到它的規律性,這種東西ai做出來就很困難。

 所以當我們越理解這個東西的時候,就越知道目前的這些生成式ai的圖形算法我們能用在什麼地方,什麼地方使用它就沒有太大的意義。比如說影子,陰影的生成現在來說就用傳統的方法更簡單的,用ai算法是很困難的,它會經常理解地不精確,只會看起來像個陰影,但你仔細一看就會發現這個陰影不對。因為現在都屬於平面階段,並沒有一種z方向也就是深度方向的信息,那樣一來會涉及到大量的算力,現在就是在一個平面的、可數的一個二維方向上去做出它的可約化的可能性。

《硅谷101》:你們現在用的比較多的是比如gen-2那種已經開發出來的軟件應用?還是有可能也會使用如 stable diffusion 這種模型自己去做一些開發?

陸貝珂:都用。sd 用的更多,midjourney 也常用。因為stable diffusion能很好地支持control net。只要有合適的模型,或者你自己煉了相關的合適模型,在很多開發裏面它都明顯會降低成本,比如我剛才提到以前需要10個人、現在可能只需要3個人就可以。sd會很明顯幫助到前期開發、概念設計,比如在畫草圖階段,你讓它生成一些星空或者某種風格的建築,只要你手裡的lora或者是checkpoint的模型是裏面有這個信息數據的,那還原它還是挺容易的。在這個基礎之上,再用設計師的能力去填補它做錯了的那些地方就可以,這就比你從頭開始做肯定是要快得多了。

《硅谷101》:所以目前生成式的ai已經是在幫影視特效行業起到降本增效的作用了嗎?如果量化的話,你覺得目前能夠幫你們加快多少的進度或者是降低多少的預算呢?

陸貝珂:概念設計方面可能有30%-40%以上,正常的特效工作目前大概在5%左右。目前來說有一個門檻,就是ai生成的3d模型現在並不可用,就是有這樣的東西,我看orio也開始有這樣的開發,但是離真正的影視劇應用距離還挺遠的。所以目前ai在前期階段降本增效的效果更強,在中間以及最後合成階段現在沒有產生特別大的影響。

《硅谷101》:中後期現在還差在哪,怎麼樣才能達到商業可用的狀態呢?

 陸貝珂:主要是準確度,邏輯上不夠準確。比如合成裏面用 ai 進行摳圖這個工作是大大提升了,但你要讓它正確地改動某些光線,目前來說還是基本不可用的。還有需要靠你的審美意識的東西做連貫性的處理的部分目前來說還無法教給它,比如說最簡單的調色,在大多數情況下電影的畫面都需要它的光具有一定主觀意圖,我們叫表現主義燈光,這種調整取決於你對這個故事和人物氛圍的理解,那這個東西你很難讓ai去解決,這得真的是由人一點點調才能調出來,就是它很難進行約化的,也沒有絕對的規律性。大家在意識上、在審美上是追求創新的,而不是追求你跟別人講一樣的話。

《硅谷101》:接下來你希望生成式ai還能在什麼方面發展,從而能夠更好地來幫助到特效的行業呢?

陸貝珂:我感覺現在的世界模型的開發應該接下來會是一個很好的方向,因為世界模型最大的一個核心特點其實就是讓ai真正的認識到那些不可約化的東西,還有以及認識到自身的邊界在哪裡。

 現在的ai有一種感覺,它缺乏實際的自我邊界,對人來說叫自我認識。你想想一個人,他不知道自己長處在哪、短處在哪,他不知道自己不知道什麼其實很可怕的ai其實現在就是這樣,你讓它幹什麼它都努着干,但其實當它對世界有個真實的認識的時候,它就會自己知道什麼東西自己並不一定擅長去處理。你跟一個正常的人打交道,他會告訴你我是什麼專業,我什麼東西比較擅長,對吧?所以沒有必要說去強求說 ai一定要什麼都知道。它目前只是基於算法就一定會往下編的模式,但如果這個模式中間加上了這種自我認識感元素的時候,它就會在真實的工作中感覺到邊界在哪裡的,因為我們做任何事情都是有框架性的,真實的世界就是這個樣子。

 真實世界的框架來自於大量的物理事實和人際關係的情緒事實,以及這個世界運轉時候的一種邏輯,如果你只是從語言的角度去理解世界,就無法發現這個世界真實的框架。我覺得在目前gpt 4仍然屬於語言模型,還沒有達到開放式的世界模型的這種級別。但這個其實也不是我的專業,我就是一個導演、應該來說是一個藝術創作類人員。是因為我在真實的工作中經歷着這些變化,才會有一個切身的感受。在這一部分上就不是從理論到理論了,是一個實踐反饋出來的狀態。

03 特效行業的進化和vision pro的影響 

《硅谷101》:影視行業從大約100 年前就開始慢慢地解鎖一些cg特效技術。貝導能不能幫我們稍微回溯一下影視特效行業發展的一些里程碑的影片或者事件?

陸貝珂:世界上從早期梅里愛那個時代,包括1927年德國拍的《大都會》開始那時候其實就已經有手工特效,那些科幻環境、奇幻環境當時都是畫在玻璃上的,然後再通過攝影機去拍攝它。後來一個里程碑式的作品就是《金剛》,出現了逐幀實體動畫。大家很多人印象很深的《星球大戰(一)》實際上並不是電腦圖形圖像學真正發展的里程碑式的電影,它的太空還原這些方面的技術跟 1968 年的《太空奧德賽》的製作方案是非常非常接近的。但當時 pixel 的一些動畫片做了很多跟實體生物結合的那種 cg 生物,是很有時代意義的。在卡梅隆拍的《深淵》裏面是後來還第一次用了動力學解算出來的透明物體,《終結者2》里又把這個東西發展為液體金屬人。為什麼這是標誌性的東西呢?它帶來了一種結果,就是有一種創作思維是必須植根於數字圖形圖像學的。

圖片來自《終結者2》

你拍飛船、光劍、怪物怪獸都有可能用實體特效來拍到,但如液體金屬人和那個深淵裏的用海水組成的臉是實體特效完全做不出來的,是不可能完成的,所以它就帶來了一種創作上的一個分水嶺,它這個分水嶺就是說計算機動畫產生了某種獨立性,在創作需求上開闢出了一個完全新、其他的特效方案無法完成的道路的道路。比如《三體》中,雷達、風就是完全可以用傳統特效做出來的,但是 3d的整個船的切割、碎成那麼多小條,傳統特效是不可能做出來的。

 因為它的出現了開闢了一個全新的道路,所以才叫里程碑式的作品。接下來還有一個大的里程碑,就是雖然畫面本身你知道這是假的,但是很難通過單看畫面去判斷是否是由cg 做的。比如我們現在再看《侏羅紀公園》,能夠很明顯能看到哪些恐龍是cg做的、哪些恐龍是2d模型,但到了 21 世紀初,有一些電影的特效已經越過了真實度的據顯現,讓觀眾難以分辨,比如《阿凡達》。在《阿凡達》之前,比如《指環王》里的咕嚕你還是能感覺到他是3d做的。但《阿凡達》裏面它有些地方是真實的人,純cg的樣子你已經看不出來了。再有一個著名的做人臉還原的非常高的《返老還童》,那個相當於是特效化妝的里程碑,觀眾觀影的時候他是一個真實的生活中的人,還不像指環王或者是阿凡達是一個在一個特殊的奇幻環境或者科技環境下自洽的一個東西。這個時候觀眾是非常敏感的,有一點點不像真人都你能辨別,所以難度非常高。

《硅谷101》:雖然現在的技術越來越成熟,但我們也發現目前特效製作涉及到了大量的步驟,三體的「古箏行動」的那20分鐘的呈現也是拍了很久。目前還是有非常多cg做不到的地方需要去實拍的,那麼你覺得接下來整個特效行業會有一個什麼樣的發展呢?會不會是我們需要實拍的東西越來越少?十年之後,會不會「古箏行動」用純cg就可以做出來了?

陸貝珂:完全有可能。走向純數字化製作的趨勢這是一定的、沒有什麼可爭議的。現在的整個媒介,比如說蘋果新出的vision pro它已經開始在進行媒介的轉換。所謂轉換媒介其實就是沉浸式的媒介會越來越普遍,這些媒介出來之後,傳統的二維拍攝式的採集影像的方案應該會漸漸地被純 3d 製作的影像方案替代。因為天然的沉浸式媒介,它更符合純數字化的製作的方法,有些東西是沒法拍的。

 比如說vision pro要做mr的環境,你現在眼鏡戴好了,然後做好了空間計算,現在來一個人在你的桌子上走來走去,他跟另外一個人在這唱歌,另外一邊還有一個人在舞蹈。這個畫面是怎麼用攝影機拍?是沒有辦法拍的,你要完成這個應用,你肯定只能是cg人物、cg 角色,還有cg環境,你得依據空間計算把環境給你把這桌子的透視給還原出來,這叫反向追蹤,這些技術都是cg技術,都沒有辦法在實拍的這個方案裏面完成。這是原理上的不同,沒有什麼其他可以的方案。

《硅谷101》:你覺得到那一天還有多長時間?

陸貝珂:這個挺快的,動畫片應該現在已經就可以做到了,真人還有一段距離。還有就是播放環境的問題,目前vision pro它可能可以完成,但是不代表你拿比較便宜的那種vr眼鏡也能做到。因為不同設備的算力不一樣,畫面的呈現是實時結算的,需要引擎支持,如果不是實時結算的,不需要你去還原這個空間計算的地方,相當於你坐在這裡只是看一個已經編製好的或者錄製好的一段內容而已,應該現在就可以達到了。

【相關補充信息】

cg:computer graphics (計算機圖形學)的英文縮寫,cg特效是用計算機製造出來的假象。當傳統特效手段無法滿足影片要求的時候,就需要cg特效來實現,cg特效幾乎可以實現所有人類能想像出來的效果。主要分為三維特效和合成特效兩種。史蒂芬·沃爾夫勒姆(stephen wolfram):計算機科學、數學、理論物理方面的著名英國科學家。作為程序開發員,他是 數學軟件 mathematica的發明者之一;他也以對計算型知識引擎 wolfram alpha上的工作而聞名;作為商人,他是 沃爾夫勒姆研究公司的創立者和首席執行官。他於2023年3月發表了《chatgpt在做什麼…以及它為什麼好使(what is chatgpt doing ... and why does it work? )》一書。蒙特卡洛式算法:也稱統計模擬方法,是1940年代中期由於科學技術的發展和電子計算機的發明,而提出的一種以概率統計理論為指導的數值計算方法。是指使用隨機數(或更常見的偽隨機數)來解決很多計算問題的方法。。主要工作原理是不斷抽樣、逐漸逼近。runway:一家美國圖片和視頻ai編輯軟件提供商,為設計師、藝術家和開發人員提供一系列的工具和平台,幫助他們利用人工智能技術創建作品。gen-2是其發佈的一款多模態人工智能系統,可以根據文字、圖片或視頻剪輯生成視頻。stable diffusion :是一種基於潛在擴散模型(latent diffusion models)的文本到圖像、圖像到圖像生成模型,能夠根據任意文本或圖像輸入,生成高質量、高分辨率、高逼真的圖像。