站長之家（ChinaZ.com）12月19日 消息:OpenAI 是 ChatGPT 的開發者，他們制定了應對人工智能可能帶來的嚴重危險的計劃。該框架包括使用 AI 模型的風險 “記分卡” 來衡量和跟蹤潛在危害的各種指標，以及進行評估和預測。OpenAI 表示將根據新數據、反饋和研究不斷完善和更新框架。
該公司的 “應對” 團隊（Preparedness Framework）將僱傭人工智能研究人員、計算機科學家、國家安全專家和政策專業人員來監測技術，並不斷測試並警告公司，如果他們認為任何人工智能能力變得危險。該團隊位於 OpenAI 的 “安全系統” 團隊和 “超對齊” 團隊之間。前者致力於解決人工智能中的問題，例如注入種族主義偏見，而後者研究如何確保在想象中的人工智能完全超過人類智能的未來中，人工智能不會對人類造成傷害。
據悉，“應對” 團隊正在招聘來自人工智能領域之外的國家安全專家，幫助 OpenAI 了解如何應對重大風險。他們正在與包括美國國家核安全管理局在內的組織展開討論，以確保公司能夠適當地研究人工智能的風險。
該公司還將允許來自 OpenAI 之外的 “合格、獨立的第三方” 測試其技術。
OpenAI 的 “應對框架” 與其主要競爭對手 Anthropic 的政策形成了鮮明對比。
Anthropic 最近發布了其 “負責任擴展政策”（Responsible Scaling Policy），該政策定義了特定的 AI 安全級別和相應的開發和部署 AI 模型的協議。兩個框架在結構和方法論上存在顯著差異。Anthropic 的政策更加正式和規範，直接將安全措施與模型能力聯繫起來，並在無法證明安全性時暫停開發。OpenAI 的框架更加靈活和適應性強，設定了觸發審查的一般風險閾值而不是預定義的級別。
專家表示，這兩個框架都有其優點和缺點，但 Anthropic 的方法可能在激勵和執行安全標準方面更具優勢。一些觀察人士還認為，OpenAI 在面對對 GPT-4等模型的快速和激進部署後，正在趕上安全協議方面的工作。Anthropic 的政策之所以具有優勢，部分原因是它是主動開發而不是被動應對。
無論差異如何，這兩個框架都代表了人工智能安全領域的重要進展。隨着人工智能模型變得越來越強大和普及，領先實驗室和利益相關者之間在安全技術上的合作和協調現在是確保人工智能對人類的有益和道德使用的關鍵。
-
-
-
-
-
-
-
-
-
-