写在前面
@闲人一坤 是aigc圈里活跃又有人气的创作者。他经常不眠不休地研究新工具、分享新“肝”出的作品，最重要的是，他喜欢分享自己体验技术使用产品的经验和方法，总是充满激情地在社区中鼓励大家创作。
当我们看到坤导跟可灵ai一起合作的“首部aigc短剧”推出，由衷为他和ai影视创作的进步开心。转载他写下的创作手记，希望能让对ai创作好奇的朋友们有所启发。
从1月4日到7月13日，半年时间，我们从“争取呈现”到“已经呈现”，《山海奇镜》的短剧系列的第一部《山海奇镜之劈波斩浪》终于跟大家见面了，大家可以在快手星芒上免费看到。
△ 《山海奇镜之劈波斩浪》前五集在@快手星芒已更完
这篇文章，我想跟大家聊聊这个项目幕后——可能您想了解也是我自己想要记录下来的一些历程，就当是为自己这半年来做个总结。
文章可能有点长，您不一定要看完，但我保证每一个字都是用肝细胞换来的。
首先来回答一个被大家问得最多的问题：
这半年来，我从一个从业二十余年的传统影视人转行成为ai影视工作者，我创立的公司星贤文化也完成了从传统影视公司到ai原生影视公司的转变。为什么做这个转变？
我想说，因为我相信。
从去年12月pika的横空出世，让我意识到，ai影视已经成为一种可能，并且以我的直觉，未来ai影视技术将带给影视行业的冲击将是颠覆性的，这个直觉，时至今日，越来越坚定。
很多人看到的是不完美，而我恰恰看到的是无限的可能。
因为这些不完美都是可以未来通过技术手段解决的，只是时间问题。并且我知道，如果我从传统影视转行到ai影视的话，一定是个越来越容易的过程——每一天都会是最难的一天，因为明天的技术一定会比今天的更进一步，明天能用到的创作工具一定会比今天的更精准更先进；
那么最难的一天就是我转身的那一天，之后的每一天，我都将会带着希望往前走。（自我pua逻辑完美成立）
我被问得第二多的问题是：为什么会选择做《山海奇镜》这个原创ip？
ai影视在发展初期，一定要选择传统影视的痛点来进行创作。
传统影视当中，玄幻和科幻两大赛道，受制于cg特效的高成本和长周期，其实发展是受限的，而恰恰这两个赛道又是观众需求相对强的。
我想起了多年前在做《跨界冰雪王》时，张艺谋导演是总导演，我是执行总导演。电影《长城》上映，正值节目录制期间，我们有幸跟张导一起看了首映会，看完首映回基地的路上，我问张导：“为什么不把饕餮做的更有智慧，类似异形？” 张导给我的回答我至今仍记得：
我们经过讨论后，在现有的预算条件下不支持，每一个特效镜头都是精确到格的，如果饕餮更有智慧，势必需要更多的特效镜头。
即便像张导这样的导演，特效预算也是一个需要考虑的重要因素，更何况其他的影视工作者。
△ 张艺谋导演（左）与 @闲人一坤（右）
在科幻和玄幻当中，科幻相对门槛较高；而玄幻因为很多中国传统文化当中本身就有这个基因，所以不会有任何的门槛。就像在中国不会有人问：为什么孙悟空是从石头里蹦出来一样；
在玄幻这个赛道当中，传统经典中有三部是开发空间比较大的——《西游记》《封神》《山海经》，前两者都已经有了不可逾越的高山，而《山海经》又恰恰是比较适合用于新ip开发的。
《山海经》本身没有大的故事逻辑线，更像是一本百科全书，记录了很多的神兽，这些为我们提供了很多的创作素材。
此外，我又从《红楼梦》当中借来了“风月宝鉴”：一面奇镜，照见每个人心中的山海，照出每个人心中的那个小怪兽。我们每个人都需要跟这个小怪兽有一段奇妙的旅程，或和解，或吞噬，人人皆入镜，出镜看缘分。
这个ip的大逻辑就构建起来了。在这个之下，能做的开发就很多了，而短剧只是迈出的第一步。
ai的向前发展是一个必然，投身其中，并不是一时脑热或者想迅速变现，而是希望能成为我人生的第二条增长曲线，对于这个行业的耐心，至少是十年。站在这个时间周期上来看，这个半年，甚至未来的两年，都是一个尝试和探索的过程。
我是湖南人，很喜欢曾国藩的那句：结硬寨，打呆仗。ai技术的发展日新月异，想赶上各种大大小小的浪潮很难，但在每一次大潮来临的时候，至少我们是站在浪头的那个“显眼包”。
所以对于每次推出的作品，我都会有自己的一些“发心”，要么是为了新的业务尝试，要么是为了抓住技术革新浪潮，而这次的《山海奇镜之劈波斩浪》恰恰是结合这二者。
接下来，作为一个ai影视的创作者，跟大家汇报下这半年来的一些创作体会。
1怎样选择题材？如何建立创作框架？
剧本经过2个月打磨，甚至都换了编剧团队在写，最终确定了《劈波斩浪》这个本子——并不是因为之前的团队写的不好，没有播出的故事我也很喜欢，但是《劈波斩浪》是最适合当下ai技术能力的。
在创作剧本之初，我就定下几个原则：
1、熟悉的陌生感（为了让观众在观看的时候能有代入感）
2、简单剧情但每集有看点（为了降低观看门槛）
3、短小精悍，每集2-3分钟，一共5集，不超过15分钟一个单元（为了小步快跑）
4、传递正能量（ai技术本来就招黑）
这些原则是基于目前ai技术的几大痛点：
1、人物一致性
2、场景一致性
3、人物表演
4、动作交互
5、运动幅度
在半年前，这几乎是所有ai技术都无法逾越的瓶颈。在这些痛点的限制下，ai影视很难用生动的表演表现复杂叙事，很多的动作场面也需要通过蒙太奇的剪辑来实现。
在制作过程中，由于3-4秒的单个镜头时长限制（在当时就是这个时长），整个片子的节奏感会受到影响。
基于此，我们的故事选择了每个人都能感同身受的母子亲情，并把“劈海救母”定为故事主线。
围绕故事剧情需要一些神兽配合“出演”，我们从《山海经》当中寻找到了跟水相关的神兽，九婴、蠃鱼、鲲鹏、水神共工这几位主角陆续就被确定了下来。
△ 九婴
△ 鲲鹏
△ 水神共工
少年李行舟为救母，跨山越海不畏艰险的故事，就这样成型了。这里要感谢快手星芒短剧和自然火的包容，剧本发过去，回来的回复是这样的：
真的，就三条意见，从一个创作者的角度来说，我很感恩平台这样的信任。
接下来就是制作了，文生图，图生视频，这套基本的工作逻辑是肯定的。目前这个阶段文字直接生成视频基本上还只是个玩具，没有办法做商业化交付。
如何克服创作过程中的困难？
在文生图阶段，我们明确提出一个原则，不能带任何一个艺人的提示词或者任何一个真实的人的照片做垫图，这种侵权风险是会危害到整个项目安全的。
我们经过很多轮的“选角”，最终确定了男一李行舟的“定妆照”（其实只是定了大造型，后面脸部细节还是进行了修改）。
△ “男主角”李行舟
包括行舟娘、水爷、钟爷其实都是这么一轮一轮“选角”选出来的。
△ 行舟娘
△ 水爷（脸上毛孔等细节惊人）
但即便是我们用了lora，用了各种辅助垫图（垫图都是我们自己生成的），在当下技术的今天，我们依然做不到百分之百完美的人物一致性。
△ 男主角的面貌在不同角度的呈现上还无法达到100%的一致性
这项技术恐怕未来要靠数字人才能解决，但数字人又涉及到跟背景的融合问题，背景的一致性又涉及到场景一致性的问题，场景一致性的解决又依赖于3dai（但这段了解到可能能通过别的途径解决），所以这变成了一个一环套一环，一环难解似一环的九连环。
在对于神兽和神话人物的设定上，大家的讨论比较多，因为真正《山海经》当中的描述是比较有限的，比如蠃鱼，原文：“鱼身而鸟翼，音如鸳鸯，见则其邑大水。”
只是描述了身体的形状，并没有描述颜色，以及样貌，根据它凶兽的特征，包括结合中国传统审美的一些配色，我们最终确定它是一个相貌凶恶，牙尖嘴利，以红色为主，色彩艳丽的，带有羽毛质感的飞鱼形象。
同时，如果细心的观众也会发现，在怪物的一致性的保持上，是不如人物的。
这不是因为我们不想做到更好，而是因为ai模型对于怪兽本身的素材的投喂相较于人类来说，还是少的，所以不论我们怎么去提升提示词的精准程度，还是很难像保持人脸一致性一样去保证怪兽的一致性。
这个一致性的提升，未来可能要靠类似midjourney这类的图生软件中的一致性功能的提升，或者未来3dai的实现。
在图生视频阶段，从4月到5月，我们尝试了各种各样的技术路径，用各种图生视频的ai软件，comfyui去搭建工作流，甚至考虑过绿幕动捕转绘，但不论是哪一种，都不是很满意。
要么就是动态ppt，要么就是没法跟背景完美融合，不论如何抽卡，如何剪辑，总是达不到理想的效果。
其实第一版早在5月初就已经出来了，但一直在各种修改当中来回横跳——直到6月7日，可灵的文生视频横空出世，dit构架下的新模型带给ai影视届的震动是巨大的，我随手1小时做的视频，竟然在社交平台上获得了10万的观看量。
外网上所有的人都在喊：中国的sora来了！这让我意识到：ai影视的下一个代际来了。
我迅速联系到快手的技术部门，在跟可灵的技术团队有了整整一下午的技术交流后，我决定：重制！
即便重制后要再剪辑一遍，音乐音效也要有所调整，也在所不惜，因为这次可灵的图生视频的新模型能带来的影像质量的提升是代际型的差异，体现在几方面：
1、原生高清
2、不再是切片式的画面内容驱动
3、对提示词响应积极
4、主体运动合理，动作幅度不但大还流畅
更给力的是，可灵团队不但给我们提供专人来配合我们，还把这个过程自动化。当最终的成片出来的时候，我们所有人都觉得这次重制是值得的。
以预告片当中的这个镜头为例：
△ 水神共工的动态效果令人惊艳
水神共工从山中站起，不但站起这个动作完成了，整个人物还实现了立体的转体动作，肌肉的质感和头发的飘逸都非常符合要求，周围山石崩塌的效果也非常震撼。
在原来的传统影视工业当中，想要做这么一个特效镜头，是需要很长时间和很大资金成本的；现在，只需一张图片，通过可灵ai的驱动就能实现。
当我们把新素材替换上去之后，按下葫芦浮起瓢，原来的口型的部分又出现了问题：
口型的问题看似是一个简单的对口型，但实际上是关乎人物表演，现在市场上大部分对口型技术驱动针对的区域就是鼻子和嘴巴的三角区，但如果只是这个区域内的驱动，会让人有一种“图片说话”的奇怪感觉。
因为真人说话除了三角区会动之外，整个身体都是会有呼吸感的，包括面部都会有微表情的变化，这些在现在开放的成熟技术当中，没有很好的解决方案。
我们也想了很多办法，比如用某个技术先做脸部的驱动（只能到特写）之后再扩图。或者用换脸技术等等，但都达不到理想的效果。
只好求助于可灵团队，还好他们有这样的技术储备，在经过了几轮的沟通调试之后，我们终于拿到了目前最优的口型驱动效果，这也让人物在表演上有了一定的加分，当然离真正的好演员的表演还有距离。
△ ai“对口型”
7月12日，上映前一天，我们在影院用大银幕做了一场媒体抢先看的首映会，一开始，我是拒绝的......
虽然之前做综艺，我们也用过影院的大银幕来进行首映，但那毕竟是实拍的内容；
现在ai做出来的内容，放在手机里看，还可以遮盖一些弱点，一旦放到大银幕上，就像给所有观众一个放大镜，所有的弱点都会暴露无遗。
但宣推的同事们觉得大银幕的效果好，加上邀请的媒体也比较多，我们讨论过后还是决定要试一试，于是我又刷脸去找电影后期公司漫影帮我制作了dcp包。
晚上10点多，走进我们选好的影厅的时候，我第一次觉得这个屏幕辣么大......
当真正在大屏幕上看完全片之后，我满怀忐忑的问宣推的同事：还行吗？他们都说：很棒！我自己评估，目前80%的画面在大银幕上扛住了，剩下的20%我打算现场跪谢各位媒体老师和亲朋好友们的包容......
△ 影院看片会现场
对于一个新物种，希望大家给我们一些时间，我相信如果下一部有机会我们再办首映会，我争取所有的画面都能对得起这块大银幕。
絮絮叨叨了这么多，为我们团队半年来的努力做个结，也为这个ai奇幻短剧的新物种的诞生剪个彩，希望您能一键三连，感恩关注，感谢转发，我们下一部见。
-
-
-
-
-
-
-
-
-
-