数字人五人谈:为什么需要另一个我

 数字人产业方兴未艾,正快速走进我们的数字化生活、数字化运营和数字化治理的海量数字化转型场景。从元宇宙的爆发到aigc的出圈,数字人的市场“生命力”日益旺盛,由概念化进入实质性发展和落地阶段,在各领域形成规模化应用。

据悉,近两年,中国联通率先布局数字人技术研发与商业应用,去年正式推出了个人数字人、全真数字人、专业级虚拟数字人等数字人产品矩阵和全栈数字人技术。

近日,五位通信产业专家、学者走进中国联通数字人制作中心,体验全真数字人的制作过程,成为通信首批集体亮相数字人。

全真数字人初体验

全真数字人又称为2d数字人,通过对真人的表情、嘴型、肢体动作、声音采集复刻,通过ai技术实现形象声音驱动和多模态交互算法模型训练,实现2d数字人智能生成和感知交互。

当天,全真数字人采集流程分两步进行,五位专家先在绿幕前配合视频拍摄以采集形象,接着配合录音采集音色。

“初次接触数字人拍摄确实有新奇甚至些许陌生感”,北京邮电大学教授吕廷杰向《通信产业报》全媒体记者表示,随着录制过程的进行,惊叹于科技带来的变革,并对未来生活的可能性产生更多期待。

“这是我第一次亲身接触数字人的生成过程。”《通信产业报》全媒体总编辑辛鹏骏表示,当你由一个物理人演变成一个数字人,需要计算机采集你足够多的信息,包括动作、表情、声音、嘴型、眼神等。这一切就好像是计算机认识你的过程。“当然,这还只是第一步。”

通过对人物拍摄视频和录制语音,中国联通基于神经网络的文本到语音(tts)合成系统,将梅尔频谱图转换成时域波形样本,实现语音复刻;基于对抗神经网络(gan),融合较先进的光流估算方法对采集的形象进行训练,增强五官细节、声音与嘴型同步,实现形象复刻。最后通过visual token提取器、多模态动作表征对文本、图片、视频进行数据提取,通过多模态交互模型合生视频。

gsma大中华区战略合作总经理庞策表示,数字人应用范围不断拓宽,赋能各应用领域。在以个性表达为主的虚拟人方面主要有两个发展方向。一是由虚向实,建立原创虚拟形象应用于物理世界。例如以虚拟主播、品牌代言人、潮流体验官等身份,拍摄广告、云打卡展览、发布品牌宣传等活动。二是由实向虚,依据物理世界实际存在的个人,构建数字孪生虚拟人。这次受联通邀请参与数字人制作就属于数字孪生虚拟人,整个录制过程40分钟左右,包括视频、动作、声音采集等。真人数字孪生的应用场景已经越来越丰富,同时和人工智能技术结合,更能发挥出较大的商业价值。

敲开元宇宙大门

随着数字人理论和技术日益成熟,运营商不断探索数字人技术的应用范围与场景。2023年7月联通在线率先发布“联通全真数字人产品矩阵”,包括个人数字人、全真数字人主播、全真数字人直播、全真数字人客服、专业定制数字人,面向新闻、综艺、体育、财经、气象等电视节目研究虚拟形象合成技术,高效助力企业完成数字人模型播报内容,为企业打造专属的ip形象,构筑数字人产业链发展新格局。

5g中国创新百人会秘书长、中国互联网协会应用创新委员会副主任张泽轩表示,随着传统通信业务的增长放缓,数字人产业作为一种新兴的业务模式,为运营商提供了新的收入来源和增长点。数字人可以应用于客服、娱乐、教育、健康等多个领域,为运营商带来新的商业机会。运营商发展数字人产业不仅能够为其带来商业上的益处,还能够推动技术进步、提升服务质量、促进社会发展,并在全球范围内提升竞争力。

“如何建设和运营人人可进入、人人能使用和人人有获得感的创新性服务是目前元宇宙亟需突破的产业难题。中国联通无疑在这一方面是具有开拓性的。”中国通信企业协会人工智能专委会副秘书长,工体元宇宙gtverse创始人、首席架构师葛颀表示,数字人承担了个人消费者在元宇宙数字身份认证管理、数字社交凭证和数字资产平台等多重属性,是企业和政府客户在元宇宙提供2c服务、打造数字资产和提升数字收益的重要抓手,获得了产业界、资本方和使用者的高度关注,从全球范围看,迭代速度最快、微创新最多,更是使用频次最高的云宇宙应用。“数字人将率先帮助广大的个人消费者和企业、政府用户敲开元宇宙的大门。”

“此前,运营商已推出的数字人已应用于体育、文娱以及领导演讲,此次为通信行业推出首批数字人非常值得称赞。”吕廷杰表示,数字人不仅可以用于娱乐、游戏、影视行业,还可以作为在线课程、虚拟主播、发言致辞等多种应用场景,为我们提供全新的交互方式和服务体验。非常期待联通数字人未来广泛的应用。

做数字人的主场孵化器

通常数字人对算力、智力、运力、渲染、时延和艺术成长性等核心功能的要求高。完全私有化的网络平台,成本高、安全性差且无法支持通用性智能终端。而中国联通数字人产品中的联通数字人小程序,仅需要上传或者录制一段2-3分钟的本人视频,采集口播动作和皮肤状态,即可后台生成专属数字分身,还原真人真貌。

葛颀表示,通过拍视频、录语音等低数字技能门槛的方式塑造数字人ui/ux,云端大模型和标准化接口深度对接运营商的5g算网和ai能力,将个人数字资产与数字身份管理、实时渲染调优以及dof等有关个人隐私和地理位置等隐私数据由智能手机等多形态智能终端来承载,中国联通打造的新型全息数字人方案具有便于消费者体验和易于实现商业闭环的系统级优势能力,能够支持几乎所有的智能手机用户使用自己的终端体验数字人等元宇宙新业务、新服务和新体验。

辛鹏骏认为,中国联通是最早推进数字人、元宇宙的运营商,是推进数字人的先锋和领导者。联通在线很早就在元宇宙、数字人领域探索、实践,已经积累了丰富的应用。特别是联通在海量彩铃、视频、5g新通话等基础上的新业务衍生、ai视频处理、算力模型搭建、算力匹配调度等方面,都积累了丰富的经验。“拥抱开放”是联通的最大优势。所有新业务、新技术、新应用的生成路径,核心就是开放。

据悉,为了更广泛的推广数字人技术,增强人们对于数字人的体验,中国联通将于2024年3月在中国联通10省营业厅落地100个“数字人‘绿屏间’体验厅”。用户前往数字人“绿屏间”,保持站定/坐着姿态,按照题词内容录制2-3分钟读稿视频,就可以等待生成数字人形象。进一步加深用户对数字人的认知与体验。2024年,中国联通将助力实现1亿人拥有自己数字人。

庞策表示,目前,全球领先的电信运营商都在多个非传统电信业务领域进行创新、探索和实践,例如云业务、aigc业务,元宇宙业务等。电信运营商拥有丰富的算力基础设施资源,专业化的技术团队以及广泛的c端,b端客户资源。对于数字人业务,非常值得运营商进行探索和尝试。(崔亮亮)