编者按:短剧的热风从去年吹到今年,新生产方式的出现将为这股热风再添一把火。
艺恩数据则预测,2023年短剧用户规模超5亿,短剧市场规模近400亿,接近电影市场体量70%,五年内市场规模有望突破千亿元。借助ai大模型视频生成能力,短剧的生产速度在加快,以往三个月的制作时间现在只需要半个月,短剧的题材也在拓展,玄幻、科幻、穿越等主题的内容越来越多。
这背后来自ai视频生成模型的快速发展。自从年初sora爆火,国内市场也出现了大量ai视频生成模型:抖音的即梦ai、快手的可灵ai、爱诗科技的pixverse 、美图的whee、清华大学联合生数科技共同发布的vidu、智象未来推出的pixeling、右脑科技的vegaai……所有镜头均由ai生成的短剧正是大模型应用的核心场景。
大模型给短剧行业带来哪些可能性?ai短剧能否成为独立赛道?当下ai与短剧的结合还有哪些制约?亿邦动力采访了短剧导演、平台负责人、aigc创作者等,试图回答这些问题。
ai短剧,
打开进入奇幻世界的新方法
不妨先来感受一下ai短剧的画面效果。
“鱼身而鸟翼,音如鸳鸯,见则其邑大水”的蠃鱼:
借鉴了《红楼梦》的风月宝鉴,也是《山海奇镜之劈波斩浪》中的“镜”:
大反派九婴, “其状如牛而龙尾,九首,能喷水吐火,其音如婴儿,见则其邑大水”:
《山海奇镜之劈波斩浪》在影院播放时,大屏幕上的大特写细致逼真——大海时而波涛如怒,时而悠远浩荡,异兽动辄遮天蔽日,狰狞凶残,上古神灵或动或静,丝滑流畅,老者沧桑的眼神和少年挣扎的表情,在大屏幕上纤毫毕现。
尽管导演陈坤一再指出,ai在视频生成过程中,长于奇景、异兽的生成,不善于人物表情、人物互动的生成,但《山海奇镜之劈波斩浪》中的人物面部特写依然扛得住大屏幕。
导演陈坤(aka闲人一坤)是一名从业二十余年的传统影视人,目前转型ai影视,这是他推出的第一部ai短剧,所有镜头均由快手的可灵ai生成。
他介绍,《山海奇镜之劈波斩浪》立项于2023年12月,第一版完成于2024年5月,但团队对效果很不满意,“要么是ppt动画,要么是没法跟背景完美融合。”为此,他们尝试用comfyui去搭建工作流(一种基于节点的工作流程,将稳定扩散的流程分解成多个节点,实现精准定制和可靠复现),甚至考虑过绿幕动捕转绘,但不论如何抽卡、剪辑,总是达不到理想的效果。
6月7日可灵ai上线后,陈坤成为第一批试用者。在可灵ai完成的第一批镜头中,有一幕是水神共工从山中站起来,仅通过图片和提示词,共工完成抬头、挺胸、起身、站立的流畅画面,其中肌肉紧绷、头发飞扬、山石崩裂,效果逼真。“这个镜头非常符合我们的提示词要求,也非常符合物理定律的,不像以前的参数微调,看到这个效果,我就意识到这是颠覆性的。”陈坤回忆。
基于这一效果,陈坤决定所有镜头全部由可灵ai重新生成,然后再重新剪辑,重做音乐。“镜头重新生成加重新剪辑,我们团队一共十几个人,半个月做完。”陈坤介绍。
最近在抖音上线的科幻短剧《三星堆:未来启示录》则使用了抖音的即梦ai,由抖音联合博纳影业aigms制作。
这部科幻短剧,不仅有机甲斗法、末世灾难,主角团还穿越到中国古代,在竹海环绕的中式庭院中,与高冠博带的古蜀国人,一起揭开青铜神树的秘密,探索文明兴亡的奥秘。
《三星堆:未来启示录》立项于2022年,筹备于2023年底。博纳影业制作总监、博纳aigms制作中心负责人曲吉小江表示,以最快速度推出该剧的目的之一,就是让行业看到目前ai技术的极限是什么,未来的可能性在哪里。
“当下的观众对ai影视内容其实是充满了好奇和期待的。”曲吉小江发现,目前,一个由ai创作的短视频片段,一经发布就能获得百万流量的加持。观众还是期待看到更震撼的视觉效果和更智能的观影体验。
截止目前,《山海奇镜之劈波斩浪》更新4集,在快手播放量677.3万,《三星堆:未来启示录》更新9集,在抖音播放量1942.1万。
可以看出,ai短剧倾向于科幻、玄幻等内容题材。“因为这两条赛道在传统影视制作中,受制于cg特效的高成本和长周期,观众需求强,但供给较弱。ai短剧在该领域最容易发挥优势并受到观众认可。”陈坤指出。
同时,“中国文化”也成为ai短剧关键词——深厚的历史积淀,悠久的志怪传奇,自带的文化号召力,丰富的文化母题和神秘元素,也给短剧行业带来高质量的内容增量。
视频模型群雄逐鹿,
ai短剧等来临界点
ai短剧背后,是今年能力突飞猛进的视频生成模型。
在《三星堆:未来启示录》看片会上,即梦ai相关负责人表示,此次合作过程中,即梦ai改进了“视频生成”的功能,包括支持24fps、30fps、60fps的补帧以及二倍超分的能力,新增镜头水平移动、上下移动,支持镜头移动的方向和幅度控制等。
2024年被视为“视频模型元年”,年初sora炸场(点击阅读《sora爆火,ai电商打开新世界的大门》),引发全球ai视频风暴,海外runway、pika、luma斗法,国内互联网大厂和独角兽公司齐上阵,学习sora的dit架构,增加首尾帧控制、镜头控制、运动控制等功能,提升视频生成时长和质量。
“去年8月份,runway带火了diffusion +unet架构,全球上百家视频生成公司开始用这个架构。今年sora带火了diffusion+transformer架构,现在国内dit架构大概六七家,年底估计能跑出二十多家。”运营aigc创作者社区的宋东桓观察到。
“目前的视频模型处于群雄逐鹿状态。runway出了一个motion brush(运动笔刷,用于视频内容控制),pixverse也上一个magic brush。一个模型率先推出高清功能,立马会有其他同行跟进。每一个工具都在拼命往前追赶,想给创作者更多的一些工具。”陈坤指出。