中央廣播電視總台首部採用ai與真人演出相結合的劇情式微短劇《愛永無終止》播出後，令人耳目一新。全劇運用ai技術生成意向場景，畫面唯美細膩，情節跌宕起伏，講述了一個家庭面對突如其來的變故，通過人工智慧手段製作數字人視頻撫慰心靈的故事。引人注目的是，天津美術學院實驗藝術學院學生團隊劉澤、劉奕伽、章一沁、章凌澤在劉姝銘教授的帶領下，全程參與了該劇ai生成的創意和製作工作。這項藝術實踐是天津美院科技藝術專業在ai生成藝術上的行業探索，在此次製作過程中這個師生團隊做出了怎樣的探索？在ai生成藝術方面又積累了哪些寶貴的實踐經驗？天津日報記者對天津美術學院實驗藝術學院科技藝術系劉姝銘教授進行了專訪。
從空間場景到表情細節，豐富ai生成視頻的枝丫
在微短劇《愛永無終止》中，男主人公寶華人過中年，是一位優秀的企業工程師，在去給老母親慶祝鑽石婚紀念日的途中為了救助他人不幸去世，寶華的兒子阿健和妻子桂英擔心老人家承受不了如此巨大的打擊，通過人工智慧手段製作數字人視頻撫慰親人心靈，展現了一家三代親情的堅韌和愛的無儘力量的故事。該劇由實力派演員葦青、陶慧敏、曹力、陳冠甯傾情加盟演出。
天津美術學院劉姝銘教授帶領學生團隊，在該劇中承擔了一部分創作任務，包括利用aigc（人工智慧生成內容）技術生成分鏡腳本、空間場景、真人合影、虛擬道具、主客觀空鏡、片名logo等。團隊使用aigc技術生成出意外去世的父親的影像，藉助科技彌補逝去的親情，讓愛在虛擬世界裡永續，為該劇增添了濃厚的科技屬性和人文內涵。
「創作伊始，我們先根據故事情節確定影片的視覺基調，故事發生在初春，那麼，我們考慮到北方的這個季節整體的色調偏清冷，而南方此時的環境色調更溫暖一些，我們把故事的環境設定為中國南方的某城市，隨後開始收集與之相匹配的視覺參考圖，最後與導演溝通確定下來整個短片的視覺調性。同時，這些圖片也為後續的aigc生成提供了基礎視覺依據。」劉姝銘教授介紹，「利用aigc生成空間場景，主要是匹配劇情中人物的故事線發展，根據劇情中人物的身份、年齡、職業、生活方式等生成相應的室內外場景和房間的傢具物件陳設，包括家中客廳、廚房、卧室和醫院走廊、病房，航拍的城市空間日夜景等，起到推動劇情發展，增加視覺表現力的作用。比如奶奶家的場景，我們經過反覆生成、調試確定為南方小城的老房子，裝修簡樸，屋裡會有一些老物件，符合老年人的生活場景。為後續的演員表演提供光線、構圖、景別、道具、運鏡等預演依託。」
為了滿足拍攝和演員表演分鏡與景別切換的需求，劉姝銘教授帶領團隊基於選定場景的正視圖，在保持場景一致性的基礎上進行不同景別、不同角度與不同時間的其他分鏡場景的生成。實現了同一個場景的多景別背景套系生成。現階段的aigc細節處理能力一般，為了追求細節一致性，同學們協同多個圖像處理軟體深加工，以達到精益求精的細節效果。
在創作過程中，需要為劇中的奶奶這個關鍵角色生成不同年齡段的照片，有年輕時的黑白照，還有在劇中為了慶祝奶奶的鑽石婚，使用ai還原的奶奶年輕時的婚紗照。現實問題在於演員的年齡是不可逆的，傳統劇組拍攝中都會請長相相近的不同年齡的演員，來飾演同一角色的不同人生階段，但在aigc技術的輔助下，團隊經過多次嘗試和調整，最終只採用了演員的一張寫真照，就生成了不同年代和年齡的照片。包括僅利用劇中男主人公寶華扮演者的肖像照和網路上的非洲工作照，生成出了寶華與非洲工人同框的工作照片。
ai輔助創作深入影視全流程，極大提高拍攝工作的容錯度
劉姝銘教授曾連續多年在央視多部紀錄片中參與虛擬影像的創意工作。然而，帶領學生參與央視的節目製作，這還是第一次。今年四月初，胡朝暉導演在籌備央視總台首部「ai+真人」的劇情式微短劇《愛永無終止》之際，恰好了解到劉姝銘帶領學生們進行有關aigc的教學實踐，於是經過深入溝通後，雙方最終達成了此次合作。劉姝銘教授介紹：「這個項目的工作流程不同於其他劇組，幾乎沒有可供參考的先例，其實驗與探索價值不言而喻。天津美院青年學生具備較高的美術修養和創新能力，尤其是勇於嘗試挑戰的綜合學習能力極強，這也是央視和導演組看中的，加之我與他們在多年合作中建立起來的專業度和默契度，多種機緣之下就促成了這次合作，我帶領四位學生參與這個非常有挑戰性的央視項目。」
在此次製作中，劉姝銘教授與學生團隊面臨了四點挑戰。
第一點在於如何把aigc生成的虛擬影像應用到實拍的影視劇中，如何將兩者有機地結合起來。對團隊來說，乃至於對整個影視行業來說，aigc技術與真人實拍相結合的方式在國內尚屬空白，央視更是首次探索，因此可以供團隊參考的資料、實操經驗相對欠缺。如何使aigc技術更好地介入影視行業的工作流程並進行融合與創新，團隊面臨著在過程中摸索、修正，甚至試錯的挑戰。
該團隊面臨的第二點挑戰是，區別於傳統拍攝的工作流程，以往攝像會有較大的創作發揮空間，現在攝像要高度配合ai生成場景的角度、景別、透視關係，以保證後期剪輯的流暢度。因此該團隊需要逐漸摸索出與劇組各個工種高度嵌套式配合的工作模式。
第三點是如何將aigc生成的虛擬場景與真人實拍的鏡頭無縫結合，並且生成的場景要足夠自然，符合人物本身的角色定位與整個劇本的背景設定。這就需要團隊在實際生成場景之前，將不同的人物特徵加以總結歸納，設計出不同人物出現場景的獨特元素與特點。有了場景的設計方向之後，學生們通過不斷調整aigc生成的參數，最終實現了人物實拍鏡頭和aigc生成鏡頭擁有較高匹配度的完美呈現。
第四點挑戰就是創作時間非常緊迫，從進組開始軟硬體準備，到與攝像、燈光、服裝、道具、化妝全流程配合，直到後期剪輯，只有十天的時間。
劉姝銘表示：「通過同學們夜以繼日的討論與實踐，我們最終摸索出了一套完善的工作流程，同時也引入了多種軟體協作的方式，解決單一aigc技術在圖像細節和畫面一致性方面的缺陷。這套完善的工作流程在同學們的合理分工與配合的過程中，也大大提高了項目的製作效率，按時完成了製作任務。」
這項藝術實踐在ai生成藝術方面積累了寶貴的實踐經驗，劉姝銘教授表示，「我們的工作，概括來說是探索在影視拍攝過程中全流程的ai輔助創作；積累了aigc技術在藝術表達之外的行業實踐經驗；探索了aigc技術與實拍相結合的多種可能性和工作流程；顛覆了傳統置景需要大量道具和空間的現實局限性，在aigc技術的助力下，任何場景都可以更加高效地進行產出和更換，在拍攝過程中也能夠實時看到最終的合成效果，極大提高了拍攝工作的容錯度。」
「團隊在aigc的藝術性和情感表達方面進行了積極探索，遵循更加細膩地呼應主人公心境的原則，充分發揮aigc技術天馬行空的表現力和創造力，創作了多個主觀空鏡，通過添加符合角色情緒和心情的背景或主觀空鏡，強化主人公心緒的渲染。」
例如，在表現奶奶等待兒子到來的喜悅心情時，為進一步烘托溫暖恬靜的氣氛，通過aigc技術，製作組在奶奶的床頭生成了一隻小貓並與奶奶互動，既符合人物的環境設定，又增加了鏡頭的靈動性。為了烘托阿建痛失父親的悲傷心情，最終畫面形成雨夜場景，雨夜的樹影映在阿健的窗前，既增加了窗的寂寥意境，又烘託了阿健的形單影隻，使觀眾與角色產生共鳴。而在奶奶漸漸釋然了兒子去世的消息後，這時用窗外怒放的杏花寓意希望。
「通過這些探索，我們積累了許多寶貴的實踐經驗，如何優化ai生成參數、如何處理生成結果中的細節問題、如何與實拍素材進行融合等，這次實踐經歷也為我們未來的創作和研究奠定了堅實的基礎。」劉姝銘教授說。
打破傳統創作局限，創造新的視覺效果
天津美院實驗藝術學院的科技藝術專業在為學生提供專業知識的同時，鼓勵並踐行將最新的科技手段與藝術創作理念有機結合，探索科技藝術更為多元的應用場域。在此次參與央視的製作實踐中，更是取得了多方面的創新與超越。
「此次實踐項目中，我們將aigc技術與傳統的影視製作相結合，以後期前置的方式，打破了傳統創作的局限，創造了新的視覺效果。在aigc技術的應用上，我們進行了多次優化和創新，嘗試使用不同的軟體技術，如圖生圖、圖生視頻、文生視頻、針對性訓練lora模型等手段，使得生成效果更加逼真和生動。同時，在藝術創作中，我們更加註重通過ai技術實現獨特的藝術表達，使作品既具備技術優勢，又富有藝術美感。」劉姝銘教授表示。
天津美術學院實驗藝術學院2021級研究生劉澤是此次項目的主創成員之一，劉澤同學感慨道：「作為一名在數字媒體藝術領域持續創作的藝術實踐者，時刻都在體會科技與藝術的關係，在這次aigc技術的實踐中，我更加深刻地認識到了這一點：aigc與影視微短劇的碰撞已經遠遠超出『1+1>2』的效應，甚至是對傳統影視行業的工作流程帶來幾何倍數的效率提升。我們只需要以既定的劇本設定進行場景生成，在短短一到兩天的時間內，就可以迭代出數十版方案，並且生成的圖像只需要進行局部細節的微調就可以投入實際的影視合成工作中。對於此類微短劇領域資金預算不夠充足的情況，aicg技術也將有著更大的發揮空間，這對我們傳統工作流程的影響無疑是巨大的。」
「除了對場景成本的優化，aigc甚至在提升拍攝技巧與演員表演方面也有著很大的潛力。比如，在一場夜景實拍的車禍戲中，一位臨時到位的群演老人要表演出被飛馳的汽車撞擊前的驚恐表情，這一特寫鏡頭需要通過演員的面部表情體現出當時狀況的突發性和危機感。然而，在拍攝結束後，群演老人的表情並沒有達到預想的表演感。由於時間等諸多原因，這段鏡頭也無法補拍。於是，團隊成員提出了使用aigc的圖生圖技術，在原來畫面的基礎上進行優化。我們將群演表情的單幀畫面提取出來，通過提示詞優化了演員的面部表情，並且使用了人物一致性的功能儘可能保留演員原有的面部特徵。最後，在幾個版本的迭代後，一個非常生動的驚訝表情的面部特寫就完成了。最終我們再通過圖生視頻的方式，將這一幀畫面導出為一段特寫鏡頭，完美解決了演員表情不到位的問題。」劉澤同學對此記憶猶新。
ai技術推動影視行業向智能化轉型，科技藝術作品需要堅守情感與溫度
如今ai技術與內容創作相結合的方式，打破了影像創作的傳統界限，呈現出一種全新的視覺風格與敘事方式。目前在影視中使用ai技術是否已經成為一種不可阻擋的趨勢？它未來的發展方向如何？
對此，劉姝銘教授認為，「在本次實踐過程中，我們團隊深切感受到aigc作為一股新的技術力量在賦能未來影視製作上的實力，它在特效製作、場景生成、實時預演等方面具有明顯優勢。而且節約了大量的人力、物力和時間成本，省去了輾轉多地拍攝的舟車勞頓，同時，也打破了拍攝季節、拍攝場地和設備的限制，即使在冬天也能生成春天裡燕子在枝頭呢喃的場景，實現了最大程度的降本增效。而且，ai模型具有不間斷地從海量數據中學習的能力，這為影視行業源源不斷地提供新的靈感和思路，有助於創作更具有創新性和市場競爭力的作品。ai技術在影視行業的應用正推動整個產業向智能化轉型。」
「當然，aigc賦能影視的技術局限性也是顯而易見的，例如aigc技術的廣泛應用可能會對部分從業人員造成就業壓力,導致相關崗位被替代。另外，其所生成內容的相關版權問題也是亟待解決的。更為重要的是ai生成的內容可能在情感表達、創意獨特性等方面存在不足。」
劉姝銘教授表示，影視創作自誕生以來歷經一百多年之所以魅力不減，在於它承載了人類的情感與夢想，它是一門充滿人文關懷和美學價值的藝術形式。aigc技術雖然能夠提升製作效率和效果，然而假如未來所有的影視創作過程中，演員都在摳像綠幕環境中進行無真情實感的表演，觀眾都帶著aigc虛擬生成的主觀預設去觀影，那麼，影像還是那個承載無數人夢幻與情感的不可或缺的精神紐帶嗎？「因此，我認為科技越發達，我們越要堅守住科技藝術作品的情感與溫度，深思科技人文，倡導科技向善，充滿節制地利用aigc技術，在科技的外衣下小心翼翼地保護好人類亘古彌新的道德與情感，方為科技進步造福人類的初衷之所在。」（天津日報記者：郭曉瑩）
