在“天工”大模型发布一周年之际，昆仑万维重磅宣布，“天工 3.0”基座大模型与“天工 skymusic”音乐大模型正式开启公测。
自从 ai 让人类实现音乐创作自由后，连吵架都变得有趣了起来。
前段时间，x 平台知名 ai 博主 aran komatsuzaki 自己写了一首歌，专门用来表达对另一位 ai 科学家 ——gary marcus 的不满，还用当前大火的 suno 把它生成了出来。要知道，过去，这些大佬们的口水战主要就是发个帖子，然后你来我往地跟帖。这次，aran komatsuzaki 的做法可谓是玩出了新花样，不知道是不是从“谢帝谢帝我要 diss 你”得到的灵感。
和 aran komatsuzaki 一样，国内外很多懂音乐、不懂音乐的人都在试玩 suno 等 ai 音乐创作工具，生成了很多非常有意思的音乐作品。
不过，有很多网友反映，suno 有时生成中文不太稳定，会出现中文歌曲带有英文感、生僻字唱错等问题。
b 站网友针对 suno 生成的一首中文歌发表的评论。视频地址：https://b23.tv/gvqtuou
那么，有没有一个 ai 音乐生成模型专门针对中文做过优化呢？
昆仑万维今日面向全社会开放公测的“天工 skymusic”就是这样一个模型。它生成的中文人声发音清晰、正宗、无异响，没有出现“百老汇式中文歌”等水土不服的情况。而且，它不仅针对普通话做了优化，粤语、成都话、北京话等方言语种也照顾到了。
视频链接：https://mp.weixin.qq.com/s?__biz=mza3mzi4mjgzmw==&mid=2650914847&idx=1&sn=c41a2beca4285222d1aa5b8764097c55&chksm=84e40461b3938d7739f50e17b0313bfb461b268bccd3a5c1ef0f87f6dbf88c4c93b7e59dd081&token=1501617723&lang=zh_cn#rd
那么，和 suno 比，天工 skymusic 表现如何呢？横向测评的数据显示，在人声和 bgm 音质、人声自然度、发音可懂度等几个指标上，天工 skymusic 都更胜一筹，综合性能超越 suno v3，成为中国首个音乐 aigc 的 sota 模型，也让中国的自研大模型技术第一次在 aigc 领域领跑全球。
如此优异的表现自然离不开强大的基座模型，即昆仑万维在同一时间发布并开源的大模型“天工 3.0”。该模型拥有 4000 亿参数，超越了 3140 亿参数的 grok-1，是全球最大的开源 moe 大模型。
在 mmbench 等多项权威多模态测评结果中，“天工 3.0”超越 gpt-4v，全球领先。
在这个基座模型的加持下，天工 skymusic 对歌曲的理解更为深刻。它能够通过歌词控制情绪变化，并实现如颤音、歌剧、吟唱等多种歌唱技巧，使生成的音乐作品情感更加丰富且贴合情境。
音频链接：https://mp.weixin.qq.com/s?__biz=mza3mzi4mjgzmw==&mid=2650914847&idx=1&sn=c41a2beca4285222d1aa5b8764097c55&chksm=84e40461b3938d7739f50e17b0313bfb461b268bccd3a5c1ef0f87f6dbf88c4c93b7e59dd081&token=1501617723&lang=zh_cn#rd
那么，这个模型具体怎么用？技术路线是怎样的？它背后的“天工 3.0”又有何创新之处？我们一个一个来看。
首个国产音乐 sota 模型的无限玩法
其实，用天工 skymusic 生成歌曲是非常简单的：你只需要输入歌名、歌词，选择参考曲目，它就能生成风格、唱腔与之类似的歌。
如果你不想自己写歌词，也可以试试输入框右下角的“ai 写词”功能。它可以从第一句开始写，每次只生成一句，不满意的句子可以及时删掉，直至整首歌创作完成。
当然，你也可以尝试用“天工 3.0”来写歌，比如这首《机器之心》就是我们用“天工 3.0”写出来的：
接下来就是选择参考歌曲，这也是天工 skymusic 的独特之处，即能够按照示例音源生成音乐。
在这一步，天工 skymusic 提供了很多参考曲目，你可以从中挑选，也可以选择上传歌曲文件。在这里，我们上传了一首洛天依的歌曲，看看生成效果如何：这种按照示例音源生成音乐的能力极大地丰富了天工 skymusic 的玩法。在用户作品展示区域，我们看到，光是《新造的人》（电影《周处除三害》插曲）就有古风摇滚、dj 等五个版本。 在试用过程中我们还发现，其实，天工 skymusic 生成的音乐涵盖了说唱、民谣、放克、古风、电子等多种曲风。下一步，团队还计划让用户根据哼出来的旋律生成歌曲，这将对专业人士有很大帮助。
视频链接：https://mp.weixin.qq.com/s?__biz=mza3mzi4mjgzmw==&mid=2650914847&idx=1&sn=c41a2beca4285222d1aa5b8764097c55&chksm=84e40461b3938d7739f50e17b0313bfb461b268bccd3a5c1ef0f87f6dbf88c4c93b7e59dd081&token=1501617723&lang=zh_cn#rd
目前，天工 skymusic 已全面开放，下载“天工”app 就可以体验。这是国内目前唯一公开可用的 ai 音乐生成大模型，它的出现填补了国内 aigc 工具在这一领域的空白。
虽然这个模型还处于起步阶段，但已经让很多人感受到了音乐创作的乐趣。大家用它去改造神曲、二创金曲、改写古诗词助力教育…… 开发出了各种音乐创作新方向。
自研类 sora 架构，技术路线图已公开
天工 skymusic 是一个端到端的音乐生成模型，因此我们用起来感觉非常简单。但是，整个模型的开发却没有那么简单。
首先从技术路线来说，天工 skymusic 选择了大模型音乐音频生成路线，这意味着它直接学习并生成音频波形，而不是采用符号音乐生成路线（如 midi）来生成乐谱。这种方法允许乐器、人声、旋律、音量、音符等元素的一体化端到端生成，从而提供更直接、更高质量的音乐创作体验。但是，这个方向也更难，需要高昂的算力和资金，因此做的人非常少。
而且，在这个方向中，下决心去攻克“人声 song”领域的人更少，大部分研究集中于无人声的 bgm 领域，因为前者几乎没有任何开放的资料或开源模型可供参考。
顶着这些压力，昆仑万维做了无数次研发实验，投入了大量算力，构建了包含 2000 万首歌曲的数据集（人类有史以来最大的音乐数据集），终于探索出了一个效果好、可复现的方案。而且，他们还把这个方案的技术原理图公开了。
天工 skymusic 技术原理图：large-scale transformer 负责谱曲，来学习 music patches 的上下文依赖关系，同时完成音乐可控性；diffusion transformer 负责演唱，通过 ldm 让 music patches 被还原成高质量音频。这套模型架构在处理视频、音频和音乐时效果极佳。
从图中可以看出，天工 skymusic 的框架是类 sora 的 dit 技术路径，不过研发时间是在 sora 问世之前，因此不可避免地要踩很多坑。
对于产业来说，这张原理图非常宝贵，因为市面上没有任何可用的 ai 音乐大模型企业公开自己的技术路径，包括 suno，昆仑万维是唯一一个。
强大的背后基座 —— 天工 3.0
天工 skymusic 的成功离不开它背后的基座模型 —— 天工 3.0。它最核心的升级体现在“独立思考”方面。这在该模型新增的多轮搜索与综合工具调用、图表绘制、研究模式、增强模式等功能中均有所体现。
给定一个数据统计任务，它不仅能够帮你把数据都收集齐全，还能自己写代码、调用各种函数来绘制图表。各个中间步骤被拆解得条理清晰，后续的执行也基本不需要人去干预，甚至连“避免标签重叠”、“文本居中显示”这类细节都被考虑到了。这就是“独立思考”能力的体现。
视频链接：https://mp.weixin.qq.com/s?__biz=mza3mzi4mjgzmw==&mid=2650914847&idx=1&sn=c41a2beca4285222d1aa5b8764097c55&chksm=84e40461b3938d7739f50e17b0313bfb461b268bccd3a5c1ef0f87f6dbf88c4c93b7e59dd081&token=1501617723&lang=zh_cn#rd
这种“独立思考”能力的提升离不开“天工 3.0”在语义理解、逻辑推理等方面的优化。与上一代“天工 2.0”moe 大模型相比，“天工 3.0”在模型语义理解、逻辑推理以及通用性、泛化性、不确定性知识、学习能力等领域拥有惊人的性能提升，其模型技术知识能力提升超过 20%，数学 / 推理 / 代码 / 文创能力提升超过 30%。
以搜索任务为例。在“搜索增强”模式中，给出一个简单的搜索请求，“天工 3.0”不仅会给出一段概括性的回答，还会把一些重要信息提炼成图表。
视频链接：https://mp.weixin.qq.com/s?__biz=mza3mzi4mjgzmw==&mid=2650914847&idx=1&sn=c41a2beca4285222d1aa5b8764097c55&chksm=84e40461b3938d7739f50e17b0313bfb461b268bccd3a5c1ef0f87f6dbf88c4c93b7e59dd081&token=1501617723&lang=zh_cn#rd
在“研究”模式中，它还会提供一个“深入研究”模块，去展开讨论搜索 query 中未提到的延伸问题，让你有一种在读论文的感觉。最后，它还把这些信息整理成了思维导图，方便迅速查阅。
视频链接：https://mp.weixin.qq.com/s?__biz=mza3mzi4mjgzmw==&mid=2650914847&idx=1&sn=c41a2beca4285222d1aa5b8764097c55&chksm=84e40461b3938d7739f50e17b0313bfb461b268bccd3a5c1ef0f87f6dbf88c4c93b7e59dd081&token=1501617723&lang=zh_cn#rd
在语义理解、逻辑推理能力均大幅提升的基础上，“天工 3.0”还针对模型独立规划、调用、组合外部工具及信息的能力进行了专项训练。通过独立规划以及调用、组合外部工具及信息，它可以帮你精准高效地完成产业研究、产品横评、信息分析等各类复杂需求。
这种独立思考的能力对于人工智能大模型至关重要。首先，这种能力使得 ai 能够在缺乏直接指令的情况下进行自主推理，提高其处理复杂问题的能力；其次，独立思考的 ai 模型能够进行创新性的解决方案设计，满足个性化和场景化的需求；最后，这种能力促使 ai 在遇到新奇或变化的环境时，通过自我学习和适应来持续优化其性能。这三个方面的累积作用，极大地推动了 ai 技术的应用广度和深度，使其在多种实际应用中表现出更高的智能和效率。
“天工 3.0”包含了 ai 音乐、ai 搜索、ai 写作、ai 绘画等多项大模型能力，谈到 4000 亿参数 moe 大模型“天工 3.0”与天工 skymusic 背后的关系时，昆仑万维董事长兼 ceo 方汉解释说，“大家知道 ai 底座大模型是 aigc 坚实的基础，尤其是文本大模型。文生图、文生音乐和文生视频（这些 aigc 模型）的能力基础都是文本大模型。如果文本模型能力不够强，aigc 能力就会受到很大限制。”
这种作用在“天工 3.0”的 ai 绘画等能力上也有所体现。“天工 3.0”新增了图片尺寸扩展、图片定向调整、垫图生图、垫图进化、垫图扩图等全新功能，实测效果优秀。
“我们的 4000 亿大模型是给我们所有的面向 c 端的产品提供支撑的底座大模型。我的底座大模型做得越好，我的音乐、游戏、视频以及动漫产品就会做得更好。所以我们做底座大模型是有非常强的动力的。”方汉说到。
实现通用人工智能，
让每个人更好地塑造和表达自我
在关于 agi 的愿景中，我们经常听一些ai企业高管提到，他们想要用 ai 工具来提高人类社会的生产力和效率。因此，他们大多专注于模型智力的扩展和增强。但在方汉看来，这其中忽略了一个重要问题，即如何用 ai 帮助人们更好地理解和表达情感。
在天工 skymusic 的音乐作品区，我们看到了很多这样的例子：学生即将毕业的离愁、青年爱而不得的神伤、中年人养家糊口的疲惫都通过歌声表达了出来。这是真正的“以歌明志”。
而对于方言的支持则更像一种文化平权，这是方汉非常看重的一点。未来，他们希望把更多语种加进去，让每一个小语种人群都可以轻松创作出属于自己的文化内容。
“在 aigc 领域，我们宏伟的目标是希望全世界每一个人都能平等地去创作内容。我们想要降低所有人的创作门槛，让大家都能更好地塑造和表达自我。”方汉表示。
最近，这些内容还被写入了昆仑万维的最新使命中。
其实，这种做法在商业上也是有意义的。“一旦人人都可以创作音乐之后，我相信任何一个公共场所，比如说每个餐厅、每个酒吧都可以创作出属于自己的背景音乐，来满足自己的业务需要。”方汉解释说。
随着未来持续的优化完善，天工 skymusic 会逐渐演变成一个专业且易用的全民音乐创作平台。
当然，昆仑万维的发力方向不只是音乐。以“天工 3.0”为基础，他们已经形成了六大 ai 业务矩阵。未来，这些矩阵将组成一个 ai ugc 平台。
这个平台不仅能够帮助普通人表达自我，还能帮助那些想用 ai 创作内容的创作者完成 ip 创作的全闭环。这个闭环以“好的故事（ip）”为核心，跨越文本、漫画、音乐和视频等多种形式，消费者的内容消费也都在这一个平台上完成，这是昆仑万维构建的商业逻辑。
“我们的本质是让更多人参加到创作者队伍里面去。前提是你要会讲一个好的故事。如果你能够创作一个好的 ip，那么就能创作内容。可以预见到的是，所有内容行业都将被重做一遍。创作者人数将以百倍扩充，能够消费的内容也是以百倍扩充。人类将进入一个新时代，这也是我们提出‘all in agi 与 aigc’战略的逻辑。”方汉说到。
这个时代将被塑造成什么样子？我们拭目以待
