文 | 烏鴉智能說
在 gpt-4o 的發布會後，openai迎來了多輪人員變動。
上周，openai 聯合創始人、首席科學家 ilya sutskever 發推宣告離職。在離職推特里，ilya表達了對公司與sam altman等人的感謝，後者也發了推回應和感謝了 ilya 的付出。
儘管所有人都知道，雙方存在無法彌合的裂痕。但至少從明面上看，雙方還表現得和和氣氣。但隨着超級對齊團隊負責人jan leike的離職，openai團隊的分歧又一次被擺上了檯面。
在離職的同時，jan leike在推特上公布了離職的原因：過去幾個月里，我的團隊一直在逆風航行。有時我們在計算上很吃力，完成這項重要的研究變得越來越困難。
據《連線》證實，openai超級對齊團隊已經解散，餘下成員要麼辭職，要麼將被納入openai的其他研究工作中。
超級對齊團隊出局！
openai去年7月組建了超級對齊團隊，由楊·萊克和伊爾亞·蘇茨克維領導，目標是在未來4年內解決控制超級智能ai的核心技術挑戰。該團隊承諾將獲得該公司20%的計算資源。超級對齊的任務是確保未來的通用人工智能與人類的目標保持一致，而不是變得流氓。
根據jan leike的說法，openai 領導層在公司核心優先事項上存在分歧。在jan leike看來，應該將更多的帶寬用於為下一代模型做好準備，包括安全性、監控、準備、安全性、對抗性魯棒性、（超級）對齊、機密性、社會影響和相關主題。而在過去幾年opena的發展里，安全文化和流程已經讓位於閃亮的產品。這讓jan leike 的團隊在過去幾個月里遇到了很多困難,包括計算資源不足等問題,使得關鍵研究工作變得越來越困難。
值得注意的是，這也是openai離職員工里第一位明確表達不滿的人。在jan leike公開表達不滿後，大西洋月刊編輯sigal samuel發文詳細解釋了這次離職風波。
此次ilya sutskever以及jan leike的離職，是去年11月openai 董事會試圖解僱 sam altman風波的延續。自此以來，該公司至少有 5 名最具安全意識的員工要麼辭職，要麼被趕走。
其他注重安全的前員工引用了jan leike辭職的推文，並附上了心形表情符號。其中之一是leopold aschenbrenner，他是ilya的盟友和超級聯盟團隊成員，上個月被 openai 解僱。媒體報道指出，他和同一團隊的另一位研究員帕維爾·伊茲梅洛夫據稱因泄露信息而被解僱。但 openai 沒有提供任何泄露的證據。
儘管存在明顯分歧，但少有人像jan leike那樣公開表達不滿。原因在於，openai 通常會要求離職員工簽署包含不貶損條款的離職協議。如果拒絕簽署，他們將失去公司股權，這可能意味着損失數百萬美元。
在該文章發表一天後，sam altman發推承認，該公司的離職文件中有一項關於離職員工“潛在股權取消”的條款，但是他們從來沒有真的啟用過這個條款收回過任何人的股權，同時他不知道協議中有這條內容，公司也正在修改這項條款。
同時，針對jan leike提到地對模型安全性的擔憂，sam和grog還各自發推，意思大同小異：openai在模型安全性上下了很多功夫，也做了很多基礎工作，之後公司還將繼續與政府和許多利益相關者在安全方面進行合作。
要發展，還是要安全？
從本質上講，sam和ilya的矛盾，最終有效加速主義和超級“愛”對齊的理念衝突。
前者更多把ai看作是生產力進步的工具，無條件地加速技術創新，而後者將ai看作未來的數字生命，因此在通過超級對齊為他注入「對人類的愛」之前，必須要拋棄有效加速主義的發展策略。
在去年11月那場風波里，一個普遍的看法是，ilya看到了內部名為q （發音為q-star）*的下一代ai模型，過於強大和先進，可能會威脅人類，才有了後來ilya與sam的路線矛盾。
隨着openai管理層的矛盾再次被公開，又一次引發了關於ai到底是要發展，還是要安全的路線之爭。
microsoft ai新任ceo穆斯塔法·蘇萊曼曾表示：人類可能需要在未來5年內暫停ai。谷歌 deepmind 的首席 agi 科學家 shane legg也曾過說：“如果我有一根魔杖，我會放慢腳步。“
而還有相當一部分人認為，現在擔心ai模型的安全性是杞人憂天，其中就包括了meta首席科學家、圖靈獎得主楊立昆。根據楊立坤的說法，在“緊急弄清楚如何控制比我們聰明得多的人工智能系統”之前，我們需要開始設計一個比家貓更聰明的系統。
他還打了個比方，現在擔心 ai 安全的人很像1925年有人說“我們迫切需要弄清楚如何控制能夠以接近音速跨越大洋、運輸數百名乘客的飛機。”在發明渦輪噴氣發動機之前，在任何飛機能不間斷飛越大西洋之前，長途客機的安全性是難以保證的。然而，現在我們可以安全地乘坐雙引擎噴氣式飛機飛越半個地球。
在他看來，這種對ai安全性脫離現實的偏見，是超級對齊團隊在openai中被邊緣化的重要原因。“儘管每個人都意識到沒有什麼可害怕的，但對齊團隊一直堅持認為有。所以，他們被趕了出去。”
類似的觀點也得到了不少認同。daniel jeffries 認為，超級對齊團隊的離開不是因為他們看到了他們無法應對的超級先進ai，而是因為openai團隊意識到這種 ai 短時間不可能出現，基於ai失控擔憂的投入被看作是一種資源浪費。所以，open ai 的領導層就開始縮減給超級對齊研究團隊的資源開始做一些更實用的事情，比如用來構建產品改善體驗。
可以預見的是，隨着ilya sutskever以及jan leike等人的離開，openai內部關於這個事情的爭論可以短暫畫上句號。但放在ai發展邏輯上，在人類最終低點agi之前，這樣的爭論永遠不會停止。
