OpenAI內部安全委員會成立:自檢還是自縱?

Featured Image
OpenAI成立了一個新的委員會,負責監督與公司項目和運營相關的“關鍵”安全和保安決策。然而,OpenAI選擇將該委員會的成員配置為公司內部人員,包括OpenAI的CEO Sam Altman,這一舉動肯定會引起倫理學家的憤怒。根據該公司企業博客上的一篇文章,Altman和其他安全和保安委員會成員,包括OpenAI董事會成員Bret Taylor、Adam D’Angelo和Nicole Seligman,以及首席科學家Jakub Pachocki、Aleksander Madry(領導OpenAI的“準備”團隊)、Lilian Weng(安全系統負責人)、Matt Knight(安全主管)和John Schulman(“對齊科學”主管),將負責在接下來的90天內評估OpenAI的安全流程和保障。根據OpenAI的說法,該委員會隨後將向完整的OpenAI董事會分享其研究結果和建議以供審查,屆時將以“符合安全和保安標準的方式”發布關於採納的建議的更新。OpenAI寫道:“OpenAI最近開始訓練其下一代模型,我們預期將通過這些模型將我們的能力提升到下一個水平,邁向人工智能的普適性。” “雖然我們為能力和安全方面都領先於行業的模型感到自豪,但我們在這個重要時刻歡迎進行充分的辯論。” 在過去幾個月中,OpenAI的技術團隊在安全方面出現了一些知名人士的離職,其中一些前員工對他們認為AI安全被故意降低的情況表示關切。Daniel Kokotajlo曾在OpenAI的治理團隊工作,因對OpenAI在釋放越來越強大的AI方面的負責任態度失去信心,他在個人博客上寫道,於四月離職。OpenAI的聯合創始人兼前首席科學家Ilya Sutskever在與Altman和Altman的盟友進行的長期鬥爭之後離職,據報導,部分原因是Altman急於推出以AI為動力的產品,而忽視了安全工作。最近,前DeepMind研究員Jan Leike在OpenAI期間參與了ChatGPT和ChatGPT前身InstructGPT的開發,在一系列關於AI安全和保安的問題的帖子中辭去了他的安全研究職務,他認為OpenAI“沒有在正確的軌道上”解決與AI安全和保安相關的問題。AI政策研究員Gretchen Krueger上週離開OpenAI,她在Leike的聲明中附和說,呼籲OpenAI改善其負責任和透明度,以及“使用自己技術的方式的謹慎”。除了Sutskever、Kokotajlo、Leike和Krueger之外,至少有五名OpenAI最關注安全的員工自去年底以來已經辭職或被迫離職,包括前OpenAI董事會成員Helen Toner和Tasha McCauley。在周日的《經濟學人》專欄中,Toner和McCauley寫道,他們不相信OpenAI在Altman的領導下能夠自我檢視。Toner和McCauley表示:“根據我們的經驗,我們認為自我管理無法可靠地承受利潤激勵的壓力。”根據TechCrunch本月早些時候的報導,OpenAI的Superalignment團隊,負責開發管理和引導“超智能”AI系統的方法,曾被承諾獲得公司20%的計算資源,但很少獲得其中的一部分。Superalignment團隊已被解散,其大部分工作已由Schulman和OpenAI去年12月成立的安全諮詢委員會負責。OpenAI主張對AI進行監管。同時,它努力塑造監管,並在內部和越來越多的律師事務所聘請了遊說人員。

Share this content: