“有眼睛、有耳朵、有嘴巴”的AI?OpenAI最新发布!

中新网5月14日电(中新财经 吴家驹)不是gpt-5,而是gpt-4o。

北京时间5月14日,研发chatgpt的openai公司,推出了具备“听、看、说”能力的gpt-4o。

openai网站称,gpt-4o的“o”代表“omni”。在英语中“omni”常被用作词根,用来表示“全部”或“所有”的概念。

该公司首席执行官山姆·奥特曼(sam altman)此前已预告,最新发布的产品“不是gpt-5,不是搜索引擎,但我们一直在努力开发一些我们认为人们会喜欢的新东西”。

据介绍,gpt-4o可以实时对音频、视觉和文本进行推理,接受文本、音频和图像的任意组合输入,并生成文本、音频和图像的任意组合输出。

openai称,gpt-4o可以在短至232毫秒的时间内对音频输入做出反应,平均反应时间为320毫秒,这与人类在对话中的反应时间相近。此外,它在英语和代码文本方面的性能与gpt-4 turbo相当,在非英语语言文本方面也有显著提高。同时在api(应用程序接口)方面,速度更快,成本也降低了50%。

现场,openai展示了gpt-4o的多个应用场景。

例如,在一个演示中,openai前沿研究负责人马克·陈(mark chen)通过手机与chatgpt进行对话。chen和chatgpt说,他正在进行演示有些紧张,于是chatgpt就“像朋友一样”,对他进行了安慰。同时,chatgpt还能从chen急促的喘气声中,听出他的紧张,然后对他说“慢一点。mark,你不是吸尘器。吸气,然后数到四。”

gpt-4o检测人的表情。图自x平台

在另一个演示中,openai后训练团队负责人巴雷特·佐夫(barret zoph)把自己的脸对着镜头,让gpt-4o看看自己的情绪如何。在演示的过程中,zoph先打开了手机的后置摄像头,拍到了木质桌面,于是chatgpt说,“我看到的好像是木质表面。”而让chatgpt再试一次后,chatgpt对zoph说,“你看起来很开心,笑容灿烂,也许还有一丝兴奋。”

同时,openai还在官网发布了一系列演示视频:gpt-4o可以帮助学习数学、学习西班牙语、准备面试,可以通过画面判断出你正在过生日,然后给你唱生日快乐歌,可以根据要求唱不同风格的催眠曲,甚至还可以当“石头剪刀布”的裁判。而在这些视频中,gpt-4o与演示者的对话流畅,说话语气就“像真人一样”。

有网友表示,根据目前展示的视频来看,gpt-4o在语音交互体验上提升了不少。有网友认为,gpt-4o对算力的需求更大了。也有网友提出,既然gpt-4o具备了“视觉”,它是否可以代替盲人看世界。

openai称,通过gpt-4o,公司跨文本、视觉和音频端到端地训练了一个新模型,这意味着所有的输入和输出都由同一个神经网络处理。由于gpt-4o是openai第一个结合了所有这些模式的模型,因此公司在探索该模型的功能及其局限性方面仍处于起步阶段。

对此,山姆·奥特曼在社交媒体表示,最初的chatgpt展示了语言界面的雏形,而新的chatgpt则给人截然不同的感觉。它快速、智能、有趣、自然,而且“乐于助人”。“随着我们增加(可选的)个性化功能、访问信息的功能、代表你采取行动的功能等,我真的看到了一个令人兴奋的未来,我们可以用电脑做比以往更多的事情。”