文 | 乌鸦智能说
在 gpt-4o 的发布会后，openai迎来了多轮人员变动。
上周，openai 联合创始人、首席科学家 ilya sutskever 发推宣告离职。在离职推特里，ilya表达了对公司与sam altman等人的感谢，后者也发了推回应和感谢了 ilya 的付出。
尽管所有人都知道，双方存在无法弥合的裂痕。但至少从明面上看，双方还表现得和和气气。但随着超级对齐团队负责人jan leike的离职，openai团队的分歧又一次被摆上了台面。
在离职的同时，jan leike在推特上公布了离职的原因：过去几个月里，我的团队一直在逆风航行。有时我们在计算上很吃力，完成这项重要的研究变得越来越困难。
据《连线》证实，openai超级对齐团队已经解散，余下成员要么辞职，要么将被纳入openai的其他研究工作中。
超级对齐团队出局！
openai去年7月组建了超级对齐团队，由杨·莱克和伊尔亚·苏茨克维领导，目标是在未来4年内解决控制超级智能ai的核心技术挑战。该团队承诺将获得该公司20%的计算资源。超级对齐的任务是确保未来的通用人工智能与人类的目标保持一致，而不是变得流氓。
根据jan leike的说法，openai 领导层在公司核心优先事项上存在分歧。在jan leike看来，应该将更多的带宽用于为下一代模型做好准备，包括安全性、监控、准备、安全性、对抗性鲁棒性、（超级）对齐、机密性、社会影响和相关主题。而在过去几年opena的发展里，安全文化和流程已经让位于闪亮的产品。这让jan leike 的团队在过去几个月里遇到了很多困难,包括计算资源不足等问题,使得关键研究工作变得越来越困难。
值得注意的是，这也是openai离职员工里第一位明确表达不满的人。在jan leike公开表达不满后，大西洋月刊编辑sigal samuel发文详细解释了这次离职风波。
此次ilya sutskever以及jan leike的离职，是去年11月openai 董事会试图解雇 sam altman风波的延续。自此以来，该公司至少有 5 名最具安全意识的员工要么辞职，要么被赶走。
其他注重安全的前员工引用了jan leike辞职的推文，并附上了心形表情符号。其中之一是leopold aschenbrenner，他是ilya的盟友和超级联盟团队成员，上个月被 openai 解雇。媒体报道指出，他和同一团队的另一位研究员帕维尔·伊兹梅洛夫据称因泄露信息而被解雇。但 openai 没有提供任何泄露的证据。
尽管存在明显分歧，但少有人像jan leike那样公开表达不满。原因在于，openai 通常会要求离职员工签署包含不贬损条款的离职协议。如果拒绝签署，他们将失去公司股权，这可能意味着损失数百万美元。
在该文章发表一天后，sam altman发推承认，该公司的离职文件中有一项关于离职员工“潜在股权取消”的条款，但是他们从来没有真的启用过这个条款收回过任何人的股权，同时他不知道协议中有这条内容，公司也正在修改这项条款。
同时，针对jan leike提到地对模型安全性的担忧，sam和grog还各自发推，意思大同小异：openai在模型安全性上下了很多功夫，也做了很多基础工作，之后公司还将继续与政府和许多利益相关者在安全方面进行合作。
要发展，还是要安全？
从本质上讲，sam和ilya的矛盾，最终有效加速主义和超级“爱”对齐的理念冲突。
前者更多把ai看作是生产力进步的工具，无条件地加速技术创新，而后者将ai看作未来的数字生命，因此在通过超级对齐为他注入“对人类的爱”之前，必须要抛弃有效加速主义的发展策略。
在去年11月那场风波里，一个普遍的看法是，ilya看到了内部名为q （发音为q-star）*的下一代ai模型，过于强大和先进，可能会威胁人类，才有了后来ilya与sam的路线矛盾。
随着openai管理层的矛盾再次被公开，又一次引发了关于ai到底是要发展，还是要安全的路线之争。
microsoft ai新任ceo穆斯塔法·苏莱曼曾表示：人类可能需要在未来5年内暂停ai。谷歌 deepmind 的首席 agi 科学家 shane legg也曾过说：“如果我有一根魔杖，我会放慢脚步。“
而还有相当一部分人认为，现在担心ai模型的安全性是杞人忧天，其中就包括了meta首席科学家、图灵奖得主杨立昆。根据杨立坤的说法，在“紧急弄清楚如何控制比我们聪明得多的人工智能系统”之前，我们需要开始设计一个比家猫更聪明的系统。
他还打了个比方，现在担心 ai 安全的人很像1925年有人说“我们迫切需要弄清楚如何控制能够以接近音速跨越大洋、运输数百名乘客的飞机。”在发明涡轮喷气发动机之前，在任何飞机能不间断飞越大西洋之前，长途客机的安全性是难以保证的。然而，现在我们可以安全地乘坐双引擎喷气式飞机飞越半个地球。
在他看来，这种对ai安全性脱离现实的偏见，是超级对齐团队在openai中被边缘化的重要原因。“尽管每个人都意识到没有什么可害怕的，但对齐团队一直坚持认为有。所以，他们被赶了出去。”
类似的观点也得到了不少认同。daniel jeffries 认为，超级对齐团队的离开不是因为他们看到了他们无法应对的超级先进ai，而是因为openai团队意识到这种 ai 短时间不可能出现，基于ai失控担忧的投入被看作是一种资源浪费。所以，open ai 的领导层就开始缩减给超级对齐研究团队的资源开始做一些更实用的事情，比如用来构建产品改善体验。
可以预见的是，随着ilya sutskever以及jan leike等人的离开，openai内部关于这个事情的争论可以短暂画上句号。但放在ai发展逻辑上，在人类最终低点agi之前，这样的争论永远不会停止。
-
-
-
-
-
-
-
-
-
-