寫在前面
@閑人一坤 是aigc圈裡活躍又有人氣的創作者。他經常不眠不休地研究新工具、分享新“肝”出的作品，最重要的是，他喜歡分享自己體驗技術使用產品的經驗和方法，總是充滿激情地在社區中鼓勵大家創作。
當我們看到坤導跟可靈ai一起合作的“首部aigc短劇”推出，由衷為他和ai影視創作的進步開心。轉載他寫下的創作手記，希望能讓對ai創作好奇的朋友們有所啟發。
從1月4日到7月13日，半年時間，我們從“爭取呈現”到“已經呈現”，《山海奇鏡》的短劇系列的第一部《山海奇鏡之劈波斬浪》終於跟大家見面了，大家可以在快手星芒上免費看到。
△ 《山海奇鏡之劈波斬浪》前五集在@快手星芒已更完
這篇文章，我想跟大家聊聊這個項目幕後——可能您想了解也是我自己想要記錄下來的一些歷程，就當是為自己這半年來做個總結。
文章可能有點長，您不一定要看完，但我保證每一個字都是用肝細胞換來的。
首先來回答一個被大家問得最多的問題：
這半年來，我從一個從業二十餘年的傳統影視人轉行成為ai影視工作者，我創立的公司星賢文化也完成了從傳統影視公司到ai原生影視公司的轉變。為什麼做這個轉變？
我想說，因為我相信。
從去年12月pika的橫空出世，讓我意識到，ai影視已經成為一種可能，並且以我的直覺，未來ai影視技術將帶給影視行業的衝擊將是顛覆性的，這個直覺，時至今日，越來越堅定。
很多人看到的是不完美，而我恰恰看到的是無限的可能。
因為這些不完美都是可以未來通過技術手段解決的，只是時間問題。並且我知道，如果我從傳統影視轉行到ai影視的話，一定是個越來越容易的過程——每一天都會是最難的一天，因為明天的技術一定會比今天的更進一步，明天能用到的創作工具一定會比今天的更精準更先進；
那麼最難的一天就是我轉身的那一天，之後的每一天，我都將會帶着希望往前走。（自我pua邏輯完美成立）
我被問得第二多的問題是：為什麼會選擇做《山海奇鏡》這個原創ip？
ai影視在發展初期，一定要選擇傳統影視的痛點來進行創作。
傳統影視當中，玄幻和科幻兩大賽道，受制於cg特效的高成本和長周期，其實發展是受限的，而恰恰這兩個賽道又是觀眾需求相對強的。
我想起了多年前在做《跨界冰雪王》時，張藝謀導演是總導演，我是執行總導演。電影《長城》上映，正值節目錄製期間，我們有幸跟張導一起看了首映會，看完首映回基地的路上，我問張導：“為什麼不把饕餮做的更有智慧，類似異形？” 張導給我的回答我至今仍記得：
我們經過討論後，在現有的預算條件下不支持，每一個特效鏡頭都是精確到格的，如果饕餮更有智慧，勢必需要更多的特效鏡頭。
即便像張導這樣的導演，特效預算也是一個需要考慮的重要因素，更何況其他的影視工作者。
△ 張藝謀導演（左）與 @閑人一坤（右）
在科幻和玄幻當中，科幻相對門檻較高；而玄幻因為很多中國傳統文化當中本身就有這個基因，所以不會有任何的門檻。就像在中國不會有人問：為什麼孫悟空是從石頭裡蹦出來一樣；
在玄幻這個賽道當中，傳統經典中有三部是開發空間比較大的——《西遊記》《封神》《山海經》，前兩者都已經有了不可逾越的高山，而《山海經》又恰恰是比較適合用於新ip開發的。
《山海經》本身沒有大的故事邏輯線，更像是一本百科全書，記錄了很多的神獸，這些為我們提供了很多的創作素材。
此外，我又從《紅樓夢》當中借來了“風月寶鑒”：一面奇鏡，照見每個人心中的山海，照出每個人心中的那個小怪獸。我們每個人都需要跟這個小怪獸有一段奇妙的旅程，或和解，或吞噬，人人皆入鏡，出鏡看緣分。
這個ip的大邏輯就構建起來了。在這個之下，能做的開發就很多了，而短劇只是邁出的第一步。
ai的向前發展是一個必然，投身其中，並不是一時腦熱或者想迅速變現，而是希望能成為我人生的第二條增長曲線，對於這個行業的耐心，至少是十年。站在這個時間周期上來看，這個半年，甚至未來的兩年，都是一個嘗試和探索的過程。
我是湖南人，很喜歡曾國藩的那句：結硬寨，打呆仗。ai技術的發展日新月異，想趕上各種大大小小的浪潮很難，但在每一次大潮來臨的時候，至少我們是站在浪頭的那個“顯眼包”。
所以對於每次推出的作品，我都會有自己的一些“發心”，要麼是為了新的業務嘗試，要麼是為了抓住技術革新浪潮，而這次的《山海奇鏡之劈波斬浪》恰恰是結合這二者。
接下來，作為一個ai影視的創作者，跟大家彙報下這半年來的一些創作體會。
1怎樣選擇題材？如何建立創作框架？
劇本經過2個月打磨，甚至都換了編劇團隊在寫，最終確定了《劈波斬浪》這個本子——並不是因為之前的團隊寫的不好，沒有播出的故事我也很喜歡，但是《劈波斬浪》是最適合當下ai技術能力的。
在創作劇本之初，我就定下幾個原則：
1、熟悉的陌生感（為了讓觀眾在觀看的時候能有代入感）
2、簡單劇情但每集有看點（為了降低觀看門檻）
3、短小精悍，每集2-3分鐘，一共5集，不超過15分鐘一個單元（為了小步快跑）
4、傳遞正能量（ai技術本來就招黑）
這些原則是基於目前ai技術的幾大痛點：
1、人物一致性
2、場景一致性
3、人物表演
4、動作交互
5、運動幅度
在半年前，這幾乎是所有ai技術都無法逾越的瓶頸。在這些痛點的限制下，ai影視很難用生動的表演表現複雜敘事，很多的動作場面也需要通過蒙太奇的剪輯來實現。
在製作過程中，由於3-4秒的單個鏡頭時長限制（在當時就是這個時長），整個片子的節奏感會受到影響。
基於此，我們的故事選擇了每個人都能感同身受的母子親情，並把“劈海救母”定為故事主線。
圍繞故事劇情需要一些神獸配合“出演”，我們從《山海經》當中尋找到了跟水相關的神獸，九嬰、蠃魚、鯤鵬、水神共工這幾位主角陸續就被確定了下來。
△ 九嬰
△ 鯤鵬
△ 水神共工
少年李行舟為救母，跨山越海不畏艱險的故事，就這樣成型了。這裡要感謝快手星芒短劇和自然火的包容，劇本發過去，回來的回復是這樣的：
真的，就三條意見，從一個創作者的角度來說，我很感恩平台這樣的信任。
接下來就是製作了，文生圖，圖生視頻，這套基本的工作邏輯是肯定的。目前這個階段文字直接生成視頻基本上還只是個玩具，沒有辦法做商業化交付。
如何克服創作過程中的困難？
在文生圖階段，我們明確提出一個原則，不能帶任何一個藝人的提示詞或者任何一個真實的人的照片做墊圖，這種侵權風險是會危害到整個項目安全的。
我們經過很多輪的“選角”，最終確定了男一李行舟的“定妝照”（其實只是定了大造型，後面臉部細節還是進行了修改）。
△ “男主角”李行舟
包括行舟娘、水爺、鍾爺其實都是這麼一輪一輪“選角”選出來的。
△ 行舟娘
△ 水爺（臉上毛孔等細節驚人）
但即便是我們用了lora，用了各種輔助墊圖（墊圖都是我們自己生成的），在當下技術的今天，我們依然做不到百分之百完美的人物一致性。
△ 男主角的面貌在不同角度的呈現上還無法達到100%的一致性
這項技術恐怕未來要靠數字人才能解決，但數字人又涉及到跟背景的融合問題，背景的一致性又涉及到場景一致性的問題，場景一致性的解決又依賴於3dai（但這段了解到可能能通過別的途徑解決），所以這變成了一個一環套一環，一環難解似一環的九連環。
在對於神獸和神話人物的設定上，大家的討論比較多，因為真正《山海經》當中的描述是比較有限的，比如蠃魚，原文：“魚身而鳥翼，音如鴛鴦，見則其邑大水。”
只是描述了身體的形狀，並沒有描述顏色，以及樣貌，根據它凶獸的特徵，包括結合中國傳統審美的一些配色，我們最終確定它是一個相貌兇惡，牙尖嘴利，以紅色為主，色彩艷麗的，帶有羽毛質感的飛魚形象。
同時，如果細心的觀眾也會發現，在怪物的一致性的保持上，是不如人物的。
這不是因為我們不想做到更好，而是因為ai模型對於怪獸本身的素材的投喂相較於人類來說，還是少的，所以不論我們怎麼去提升提示詞的精準程度，還是很難像保持人臉一致性一樣去保證怪獸的一致性。
這個一致性的提升，未來可能要靠類似midjourney這類的圖生軟件中的一致性功能的提升，或者未來3dai的實現。
在圖生視頻階段，從4月到5月，我們嘗試了各種各樣的技術路徑，用各種圖生視頻的ai軟件，comfyui去搭建工作流，甚至考慮過綠幕動捕轉繪，但不論是哪一種，都不是很滿意。
要麼就是動態ppt，要麼就是沒法跟背景完美融合，不論如何抽卡，如何剪輯，總是達不到理想的效果。
其實第一版早在5月初就已經出來了，但一直在各種修改當中來回橫跳——直到6月7日，可靈的文生視頻橫空出世，dit構架下的新模型帶給ai影視屆的震動是巨大的，我隨手1小時做的視頻，竟然在社交平台上獲得了10萬的觀看量。
外網上所有的人都在喊：中國的sora來了！這讓我意識到：ai影視的下一個代際來了。
我迅速聯繫到快手的技術部門，在跟可靈的技術團隊有了整整一下午的技術交流後，我決定：重製！
即便重製後要再剪輯一遍，音樂音效也要有所調整，也在所不惜，因為這次可靈的圖生視頻的新模型能帶來的影像質量的提升是代際型的差異，體現在幾方面：
1、原生高清
2、不再是切片式的畫面內容驅動
3、對提示詞響應積極
4、主體運動合理，動作幅度不但大還流暢
更給力的是，可靈團隊不但給我們提供專人來配合我們，還把這個過程自動化。當最終的成片出來的時候，我們所有人都覺得這次重製是值得的。
以預告片當中的這個鏡頭為例：
△ 水神共工的動態效果令人驚艷
水神共工從山中站起，不但站起這個動作完成了，整個人物還實現了立體的轉體動作，肌肉的質感和頭髮的飄逸都非常符合要求，周圍山石崩塌的效果也非常震撼。
在原來的傳統影視工業當中，想要做這麼一個特效鏡頭，是需要很長時間和很大資金成本的；現在，只需一張圖片，通過可靈ai的驅動就能實現。
當我們把新素材替換上去之後，按下葫蘆浮起瓢，原來的口型的部分又出現了問題：
口型的問題看似是一個簡單的對口型，但實際上是關乎人物表演，現在市場上大部分對口型技術驅動針對的區域就是鼻子和嘴巴的三角區，但如果只是這個區域內的驅動，會讓人有一種“圖片說話”的奇怪感覺。
因為真人說話除了三角區會動之外，整個身體都是會有呼吸感的，包括面部都會有微表情的變化，這些在現在開放的成熟技術當中，沒有很好的解決方案。
我們也想了很多辦法，比如用某個技術先做臉部的驅動（只能到特寫）之後再擴圖。或者用換臉技術等等，但都達不到理想的效果。
只好求助於可靈團隊，還好他們有這樣的技術儲備，在經過了幾輪的溝通調試之後，我們終於拿到了目前最優的口型驅動效果，這也讓人物在表演上有了一定的加分，當然離真正的好演員的表演還有距離。
△ ai“對口型”
7月12日，上映前一天，我們在影院用大銀幕做了一場媒體搶先看的首映會，一開始，我是拒絕的......
雖然之前做綜藝，我們也用過影院的大銀幕來進行首映，但那畢竟是實拍的內容；
現在ai做出來的內容，放在手機里看，還可以遮蓋一些弱點，一旦放到大銀幕上，就像給所有觀眾一個放大鏡，所有的弱點都會暴露無遺。
但宣推的同事們覺得大銀幕的效果好，加上邀請的媒體也比較多，我們討論過後還是決定要試一試，於是我又刷臉去找電影后期公司漫影幫我製作了dcp包。
晚上10點多，走進我們選好的影廳的時候，我第一次覺得這個屏幕辣么大......
當真正在大屏幕上看完全片之後，我滿懷忐忑的問宣推的同事：還行嗎？他們都說：很棒！我自己評估，目前80%的畫面在大銀幕上扛住了，剩下的20%我打算現場跪謝各位媒體老師和親朋好友們的包容......
△ 影院看片會現場
對於一個新物種，希望大家給我們一些時間，我相信如果下一部有機會我們再辦首映會，我爭取所有的畫面都能對得起這塊大銀幕。
絮絮叨叨了這麼多，為我們團隊半年來的努力做個結，也為這個ai奇幻短劇的新物種的誕生剪個彩，希望您能一鍵三連，感恩關注，感謝轉發，我們下一部見。
