OpenAI超對齊團隊遭遇資源危機,核心成員紛紛離職

Featured Image
OpenAI的Superalignment負責開發管理和指導「超智能」AI系統,根據該團隊的一位成員透露,該團隊被承諾將獲得公司20%的計算資源。然而,他們往往無法獲得所需的計算資源,阻礙了團隊的工作進展。這個問題以及其他問題,導致包括聯合領導人Jan Leike在內的幾位團隊成員本週辭職。Jan Leike是前DeepMind研究員,曾在OpenAI參與ChatGPT、GPT-4和ChatGPT的前身InstructGPT的開發工作。Leike在星期五早上公開了他辭職的一些原因。他在X上的一系列帖子中寫道:“我對OpenAI的領導層關於公司核心優先事項的意見分歧已經有一段時間了,直到我們最終達到了一個臨界點。”“我認為我們應該花更多的精力來為下一代模型做好準備,包括安全性、監控、應變能力、安全性、對抗性韌性、(超級)對齊性、機密性、社會影響和相關主題。這些問題很難解決,我擔心我們並沒有朝著正確的軌道發展。”OpenAI對於承諾和分配給該團隊的資源尚未立即回應評論。OpenAI於去年7月成立了Superalignment團隊,由Leike和OpenAI聯合創始人Ilya Sutskever(也已經辭職)領導,該團隊的雄心勃勃的目標是在未來四年內解決控制超智能AI的核心技術挑戰。該團隊由OpenAI之前的對齊部門的科學家和工程師以及來自公司其他組織的研究人員組成,他們將為公司內部和非OpenAI模型的安全性做出貢獻研究,并通過包括研究補助計劃在內的倡議,向更廣泛的AI行業尋求和分享工作。Superalignment團隊確實成功發表了一系列安全性研究成果,并向外部研究人員提供了數百萬美元的研究補助。然而,隨著產品推出開始占用越來越多的OpenAI領導層的精力,Superalignment團隊發現自己不得不爭取更多的前期投資,他們認為這些投資對於實現公司既定目標——為了造福全人類發展超智能AI——至關重要。Leike繼續說:“建造比人類智能更聰明的機器本質上是一項危險的事業,但在過去幾年中,安全文化和流程已經變得不重要了。”Sutskever與OpenAI首席執行官Sam Altman之間的爭執也成為一個重要的干擾因素。去年底,Sutskever與OpenAI的舊董事會一起試圖突然解雇Altman,原因是擔心Altman對董事會成員不夠“一貫坦誠”。在OpenAI的投資者(包括微軟)和公司內部許多員工的壓力下,Altman最終被恢復職位,大部分董事會辭職,而Sutskever則沒有回到工作崗位。根據消息人士透露,Sutskever對Superalignment團隊起到了關鍵作用,不僅貢獻研究成果,還成為OpenAI內部其他部門的橋樑。他還充當了一種大使的角色,向OpenAI的關鍵決策者們強調團隊工作的重要性。在Leike離職後,Altman在X上寫道,他同意還有“很多工作要做”,並表示他們“致力於完成這些工作”。他暗示將有更長的解釋,創始人Greg Brockman在星期六提供了進一步的解釋。儘管Brockman在政策或承諾方面沒有提供太多具體內容,但他表示“我們需要建立一個非常緊密的反饋循環,進行嚴格的測試,仔細考慮每一步,具備世界一流的安全性和能力的和諧”。在Leike和Sutskever離職之後,John Sch

Share this content: