OpenAI超對齊團隊解散:AI安全文化與產品光鮮背道而馳

Featured Image
OpenAI執行長Sam Altman保證將為開發「超智能」AI系統的Superalignment團隊提供公司20%的計算資源。然而,該團隊在多次要求獲得這部分計算資源時經常被拒絕,從而無法進行他們的工作。這個問題以及其他問題導致了該團隊的幾位成員本週辭職,其中包括共同負責人Jan Leike,他曾在OpenAI期間參與ChatGPT、GPT-4和ChatGPT的前身InstructGPT的開發工作。Leike在星期五公開了他辭職的一些原因。「我與OpenAI領導層在公司的核心重點上意見分歧已經有一段時間了,直到我們最終到達了一個瓶頸,」Leike在X的一系列帖子中寫道。「我認為我們應該花更多的帶寬為下一代模型做準備,在安全性、監控、準備、安全、對抗性韌性、(超級)對齊性、保密性、社會影響以及相關主題上,我們的問題非常難解決,我擔心我們沒有朝著正確的方向發展。」OpenAI對於已經承諾並分配給那個團隊的資源並未立即回應置評請求。OpenAI於去年7月成立了Superalignment團隊,由Leike和OpenAI的聯合創始人Ilya Sutskever共同領導,並且該團隊有著在未來四年內解決控制超智能AI的核心技術挑戰的雄心勃勃的目標。該團隊由OpenAI的先前對齊部門的科學家和工程師以及來自公司其他組織的研究人員組成,該團隊將為公司內外的安全模型做出貢獻的研究並通過研究補助計劃等倡議與更廣泛的AI行業共享工作。Superalignment團隊確實成功發表了一系列的安全研究成果並向外部研究人員提供了數百萬美元的研究補助。然而,隨著產品推出佔用了越來越多的OpenAI領導層的帶寬,Superalignment團隊發現自己不得不爭取更多的前期投資,他們認為這些投資對於實現該公司為造福全人類發展超智能AI的宣言任務至關重要。與OpenAI首席執行官Sam Altman的爭執成為一個主要的額外干擾。Sutskever與OpenAI的舊董事會一起於去年年底遷怒於Altman,因為他們擔心Altman對董事會成員的「一貫坦誠」。在OpenAI的投資者(包括微軟)以及該公司的許多員工的壓力下,Altman最終被恢復職位,許多董事會成員辭職,而Sutskever則沒有回到工作崗位。根據消息人士的說法,Sutskever對Superalignment團隊至關重要,不僅提供研究成果,還充當OpenAI內部其他部門的橋樑。他還將充當某種使者,向OpenAI的重要決策者強調團隊工作的重要性。在Leike和Sutskever離職後,另一位OpenAI的聯合創始人John Schulman已經接管了Superalignment團隊的工作,但不再有一個專門的團隊,而是一個鬆散相關的研究人員小組嵌入公司各部門。OpenAI的一位發言人將其描述為「更深入地整合團隊」。擔心的是,作為一個結果,OpenAI的AI發展將不會像它本可以成為的那樣注重安全性。

Share this content:

熱門内容

  • AI資訊
  • AI工具
  • AI繪圖指令
  • 食譜
  • ai生成圖片

    Introduction MyEdit  Midjourney DALL·E3 Stable Diffusio…

    Read more


  • Janitor Ai

    Introduction Platform Overview 1 Account Terminati…

    Read more


  • Stable Video Diffusion 穩定的圖片轉動畫Demo

    Stable Video Diffusion 穩定的圖片轉動畫Demo

    Stable Video Diffusion能讓你用一張圖片變成動畫. 限制 Share this conte…

    Read more


  • HappyAccidents

    HappyAccidents

    HappyAccidents是一個提供預先訓練的AI模型庫的平台,讓使用者能夠輕鬆生成圖像而無需手動下載和上傳…

    Read more


  • 文心一格

    文心一格

    「文心一格」是百度推出的一個基於文心大模型能力的AI藝術和創意輔助平台。該平台於2022年8月正式發布,利用百…

    Read more


  • Ai Gallery

    Ai Gallery

    Ai Gallery為用戶提供了一個強大的工具,利用人工智慧技術根據用戶輸入提示產生令人驚嘆的圖像。但是要強調…

    Read more


  • Graviti Diffus

    Graviti Diffus

    Graviti Diffus 是一個免部署的在線平台,專注於提供穩定擴散(Stable Diffusion)的…

    Read more


  • Aitubo

    Aitubo

    Aitubo是一個AI創作工具,它提供了方便且強大的功能,讓使用者能夠透過文本和照片輸入來生成藝術作品。 Ai…

    Read more


  • SeaArt

    SeaArt

    SeaArt AI是一款免費且強大的AI繪畫工具,它能夠幫助使用者無需專業技能,輕鬆生成高品質的繪畫作品。 S…

    Read more


  • Diffusion Art

    Diffusion Art

    DiffusionArt是一個精選的開源AI藝術模型庫,專注於藝術、動漫和照片逼真圖像的生成,涵蓋數十個類別。…

    Read more