OpenAI超對齊團隊解散:AI安全文化與產品光鮮背道而馳

Featured Image
OpenAI執行長Sam Altman保證將為開發「超智能」AI系統的Superalignment團隊提供公司20%的計算資源。然而,該團隊在多次要求獲得這部分計算資源時經常被拒絕,從而無法進行他們的工作。這個問題以及其他問題導致了該團隊的幾位成員本週辭職,其中包括共同負責人Jan Leike,他曾在OpenAI期間參與ChatGPT、GPT-4和ChatGPT的前身InstructGPT的開發工作。Leike在星期五公開了他辭職的一些原因。「我與OpenAI領導層在公司的核心重點上意見分歧已經有一段時間了,直到我們最終到達了一個瓶頸,」Leike在X的一系列帖子中寫道。「我認為我們應該花更多的帶寬為下一代模型做準備,在安全性、監控、準備、安全、對抗性韌性、(超級)對齊性、保密性、社會影響以及相關主題上,我們的問題非常難解決,我擔心我們沒有朝著正確的方向發展。」OpenAI對於已經承諾並分配給那個團隊的資源並未立即回應置評請求。OpenAI於去年7月成立了Superalignment團隊,由Leike和OpenAI的聯合創始人Ilya Sutskever共同領導,並且該團隊有著在未來四年內解決控制超智能AI的核心技術挑戰的雄心勃勃的目標。該團隊由OpenAI的先前對齊部門的科學家和工程師以及來自公司其他組織的研究人員組成,該團隊將為公司內外的安全模型做出貢獻的研究並通過研究補助計劃等倡議與更廣泛的AI行業共享工作。Superalignment團隊確實成功發表了一系列的安全研究成果並向外部研究人員提供了數百萬美元的研究補助。然而,隨著產品推出佔用了越來越多的OpenAI領導層的帶寬,Superalignment團隊發現自己不得不爭取更多的前期投資,他們認為這些投資對於實現該公司為造福全人類發展超智能AI的宣言任務至關重要。與OpenAI首席執行官Sam Altman的爭執成為一個主要的額外干擾。Sutskever與OpenAI的舊董事會一起於去年年底遷怒於Altman,因為他們擔心Altman對董事會成員的「一貫坦誠」。在OpenAI的投資者(包括微軟)以及該公司的許多員工的壓力下,Altman最終被恢復職位,許多董事會成員辭職,而Sutskever則沒有回到工作崗位。根據消息人士的說法,Sutskever對Superalignment團隊至關重要,不僅提供研究成果,還充當OpenAI內部其他部門的橋樑。他還將充當某種使者,向OpenAI的重要決策者強調團隊工作的重要性。在Leike和Sutskever離職後,另一位OpenAI的聯合創始人John Schulman已經接管了Superalignment團隊的工作,但不再有一個專門的團隊,而是一個鬆散相關的研究人員小組嵌入公司各部門。OpenAI的一位發言人將其描述為「更深入地整合團隊」。擔心的是,作為一個結果,OpenAI的AI發展將不會像它本可以成為的那樣注重安全性。

Share this content: