新智元报道
新智元报道
【新智元导读】继pika宣布上新2.0版本后，视频生成领域又有新模型加入。成立于2021年的luma ai今天刚刚官宣了文生视频/图生视频模型dream machine，而且提供免费使用api，高质量的生成效果获得了很多网友的好评。
视频生成领域，又添一员猛将！
就在今天，luma ai首发了自己的视频生成模型dream machine，可以通过文字或图片生成高质量的逼真视频。
更重要的是，api对全球免费开放！进入官网后用谷歌账号登录即可马上试用。
每个用户每月有30次免费生成的额度，但比较遗憾的是，每条视频时长只有5秒。
免费试用的消息一出，热情的网友们纷纷挤入服务器，结果发现luma ai囤的算力好像不够，于是开始了一场漫长的等待。
刚发布后，有些人等了2个小时还没生成出来，reddit社区中一片怨声载道。
果不其然最后「真香」了，这个视频质量是值得等一会儿的。
接下来，看看这个「造梦机」究竟有多疯狂？
电影级画质，逼真感拉满
官方放出的demo涵盖了各种不同风格和题材的视频，能感觉到最突出的特点就是「电影感」拉满。
不仅有比较好的连贯性，镜头的艺术感也非常不错。
此外，demo还单独强调了一些模型能力，比如生成各种动态以及具有表现力的人物。
不得不说，luma的审美真的在线，视频中的小姐姐都有一种超模般的「高级美」。
下面这个黑白色调的仰拍镜头，人物动作自然丝滑、一气呵成，裙摆飞起时的幅度虽然有些夸张，但还在可接受范围内。
最重要的是动作符合自然规律，没有出现「手臂融化」、「膝盖外折」这种神奇情况
下面这个demo可以让日漫迷们浅浅兴奋一下，不仅风格对味儿，而且镜头很有意境，可以开始幻想「人均新海诚」了。
比官方demo更精彩的，是各路大神网友们的脑洞创意。
比如在人眼中嵌入一个手绘地球仪。
原本需要几千个高斯点染图的工作，一个dream machine就能瞬间完成了。
sora发布时，很多人惊叹于模型对于光影效果的理解，dream machine在这方面的表现也很不错。
这位网友用自己拍摄一张的照片作为提示，生成出来的视频可以延续之前的光感，丝毫不会割裂。
将世界名画《带珍珠耳环的少女》输入给dream machine，就可以让艺术史上这位著名模特瞬间「复活」。
但是模型似乎有它自己的想法和审美，比如视频后半段自行更改了模特的相貌和头巾材质，感觉从17世纪的荷兰少女无缝衔接到21世纪t台。
之前在视频生成模型中很少见到的风格，luma也搞出来了。
比如下面这个demo，狠狠拿捏住了好莱坞老电影的感觉。
但槽点也不是没有，比如香烟的烟雾扩散似乎不够自然，而且没有遵守提示中的「站在桌子周围」（可能是黑手党老大只会坐着吧）。
专业创作者们放出的demo更加惊艳。
reddit上放出了一段时长10秒的4k视频，作者用midjourney生成的图片喂给dream machine。
https://www.reddit.com/r/singularity/comments/1decmby/maybe_this_thing_shines_with_an_input_image_here/
没有经过换脸或变速处理，一条很有质感的预告片素材就生成出来了。
虽然主角的表情几乎没什么变化，但环境和皮衣质感的渲染非常到位，五官和额头的皱纹也比较自然。
这位创作者更是重量级，他借助luma的工具生成了一条超过1分钟的视频，作为自己电影项目的宣传片。
来欣赏大片级别的模型应用demo——
只看视频，你能判断出这里面有ai模型的参与吗？
作为勇敢拥抱ai浪潮的急先锋，这位创作者不仅借助dream machine生成视频，还使用udio制作配乐，「没有什么是比ai视频更颠覆性的时刻了」。
亲测史密斯吃面
看了这么多demo，有比较严谨的reddit网友坐不住了。模型都放出来了，应该跑下基准测试吧——
哪个好心人帮忙生成下will smith吃面条？
「唯一的真实基准测试。」
已经等不及的小编决定自己动手，成果如下——
没想到dream machine虽然不太爱听指令，但还挺有幽默感的。在其他模型中还没见过因为吃不到面条气成这样的will。
如果输入更详细的指令呢？
面条的形态也很自然，但手指似乎不太对劲，但更明显的问题是，will吃着吃着居然变脸了。
如果直接将这张图片输入给模型，能否解决变脸的问题呢？
很遗憾，似乎并没有。
ai视频三大王者pk
那么相比pika、sora等同行竞品，dream machine的性能究竟是个什么水平？
有试用者大胆宣称，luma是目前我们见到最好的模型！
毕竟sora还没公开，没有人能准确评价其实力。但大家似乎都认同，luma的表现要优于runway和pika。
甚至还有luma真爱粉在推特上直抒胸臆。通过输入相同的提示对比pika、runway和dream machine三个模型，他认为最终还是luma赢了。
从完整视频中可以看到，三个模型都可以生成和渲染很高质量的画面。
但luma模型之所以「电影感」更强，一方面是似乎有更丰富的「想象力」，能脑补出更多表情和动作；
另一方面则是源于更自然的镜头节奏，人物的行动速度适中，既不过快，也不过慢。
刚刚发布半天，网上似乎就充斥着对dream machine的溢美之词，但这并不代表模型生成的视频已经完美无缺了。
luma官网上就非常坦诚地放出了很多有缺陷的demo，表明他们今后计划的改进方向。
比如刚才will smith吃面条的视频中出现的「变形」，不仅人脸会有，跑车也会有。
更惊悚的是，在水中游泳的北极熊会突然从身后长出另一个头。
此外，其他模型存在的问题，dream machine也没能幸免，比如有时会生成错误的文字，或者没能实现想要的动态效果。
而且小编在尝试官方推荐的文本prompt时，还偶遇了模型的「精分」现场。
low-angle shot of a majestic tiger prowling through a snowy landscape, leaving paw prints on the white blanket
一只雄壮的老虎在雪地中徘徊的低角度镜头，在白色的雪地上留下了爪印
但视频后半段就突然画风一转，不仅虎爪的形态不自然了，变脸的程度甚至达到了「惊悚」级别。
虽然有诸多不足，但是luma能在官网上坦然放出缺陷demo，并放出了一系列「未完待续」的动图，暗示着下一步的更新很可能就在不久之后。
背后团队，5位华人
发布模型的同时，luma也公布了模型开发团队的名单。从名字来看，14人中应该有5名华人成员。
其中，alex yu是公司联创兼cto。他毕业于加州大学伯克利分校，曾在adobe工作，研究方向是神经渲染和实时图形领域。
yu在2021年毕业后，就和另一位创始人amit jain创办了luma公司。
jain在学校修读的是物理和数学学位，曾在苹果工作，在3d计算机视觉、机器学习、系统工程和深度技术产品方面有丰富经验。
根据crunchbase的数据，luma ai已在 3 轮融资中筹集了6730 万美元，最新一轮融资是今年1月9日通过的b轮融资，最新的投资方包括英伟达公司。
https://x.com/lumalabsai/status/1800921380034379951
https://www.reddit.com/r/singularity/comments/1decmby/maybe_this_thing_shines_with_an_input_image_here/
https://lumalabs.ai/dream-machine
