OpenAI內部安全委員會成立:自我監管足夠嗎?

Featured Image
OpenAI成立了一個新的委員會,負責監督與公司項目和運營相關的“關鍵”安全和保安決策。然而,OpenAI選擇用公司內部人員,包括首席執行官Sam Altman,而不是外部觀察員來組建這個委員會,這一舉動肯定會引起倫理學家的不滿。根據該公司企業博客上的一篇文章,Altman和其他安全和保安委員會成員,包括OpenAI董事會成員Bret Taylor、Adam D’Angelo和Nicole Seligman,還有首席科學家Jakub Pachocki、Aleksander Madry(負責OpenAI的“準備”團隊)、Lilian Weng(安全系統負責人)、Matt Knight(安全負責人)和John Schulman(“對齊科學”負責人),將負責在接下來的90天內評估OpenAI的安全流程和防范措施。該委員會隨後將向OpenAI董事會提交其結果和建議供審查,OpenAI表示,屆時將以與安全和保安一致的方式發布任何採納的建議的更新。OpenAI寫道:“OpenAI最近開始訓練其下一代模型,我們預計這些系統將使我們在通往\[人工通用智能\]的道路上達到更高的能力水平。”“雖然我們為能力和安全兼具的領先行業模型感到自豪,但我們在這一重要時刻歡迎進行充分的辯論。”在過去幾個月中,OpenAI在技術團隊的安全方面見證了一些知名成員的辭職,其中一些前員工對他們所認為的人工智能安全意識的有意忽視提出了擔憂。Daniel Kokotajlo是OpenAI治理團隊的一員,在4月份他在個人博客上寫道,他對OpenAI在發布能力越來越強的人工智能時是否“負責任”失去了信心。OpenAI的聯合創始人兼前首席科學家Ilya Sutskever在之後也離開了OpenAI,據報導,這部分是由於Altman急於推出以人工智能為動力的產品而忽視了安全工作。最近,前DeepMind研究員Jan Leike在擔任OpenAI的安全研究角色時辭職,他在X上的一系列帖子中表示,他認為OpenAI在AI安全方面“不會走上正軌”。AI政策研究員Gretchen Krueger上週離開OpenAI時也重申了Leike的說法,呼籲OpenAI改善其負責任和透明度以及“使用自身技術的小心程度”。《Quartz》報導稱,除了Sutskever、Kokotajlo、Leike和Krueger外,自去年底以來,OpenAI至少有五名最關注安全的員工已經離職或被迫離職,其中包括前OpenAI董事會成員Helen Toner和Tasha McCauley。在《經濟學人》週日發表的一篇專欄中,Toner和McCauley寫道,他們不相信OpenAI在Altman的領導下能夠自我約束。“基於我們的經驗,我們認為自我治理無法可靠地承受利潤刺激的壓力,”Toner和McCauley說。對於Toner和McCauley的觀點,TechCrunch本月早些時候報導稱,OpenAI的超級對齊團隊(負責開發管理和指導“超級智能”人工智能系統的方法)被承諾獲得公司計算資源的20%,但實際上很少得到其中的一小部分。超級對齊團隊已經被解散,其大部分工作由Schulman和OpenAI去年12月成立的安全咨詢委員會負責。OpenAI主張對人工智能進行監管,同時也努力塑造相關法規,並在內部和越來越多的律師事務所聘請了遊說者。

【Save Up To $800】
舊金山,10月28日-30日【Save Techcrunch活動】【Save Up To $800】
舊金山,10月28日-30日【Save Quartz報導】
除了Sutskever、Kokotajlo、Leike和Krueger之外,至少有五名OpenAI最關注安全的員工自去年底以來要麼辭職要麼被迫離職,包括前OpenAI董事會成員Helen Toner和Tasha McCauley。在《經濟學人》週日發表的一篇專欄中,Toner和McCauley寫道,他們不相信OpenAI在Altman的領導下能夠自我約束。Toner和McCauley說:“基於我們的經驗,我們認為自我治理無法可靠地承受利潤刺激的壓力。”對於Toner和McCauley的觀點,TechCrunch本月早些時候報導稱,OpenAI的超級對齊團隊(負責開發管理和指導“超級智能”人工智能系統的方法)被承諾獲得公司計算資源的20%,但實際上很少得到其中的一小部分。超級對齊團隊已經被解散,其大部分工作由Schulman和OpenAI去年12月成立的安全咨詢委員會負責。OpenAI主張對人工智能進行監管,同時也努力塑造相關法規,並在內部和越來越多的律師事務所聘請了遊說者。

【節省高達800美元】
舊金山,10月28日至30日【TechCrunch活動 節省高達800美元】
舊金山,10月28日至30日【Quartz報導】
除了Sutskever、Kokotajlo、Leike和Krueger之外,至少有五名OpenAI最關注安全的員工自去年底以來要麼辭職要麼被迫離職,包括前OpenAI董事會成員Helen Toner和Tasha McCauley。在《經濟學人》週日發表的一篇專欄中,Toner和McCauley寫道,他們不相信OpenAI在Altman的領導下能夠自我約束。Toner和McCauley說:“基於我們的經驗,我們認為自我治理無法可靠地承受利潤刺激的壓力。”對於Toner和McCauley的觀點,TechCrunch本月早些時候報導稱,OpenAI的超級對齊團隊(負責開發管理和指導“超級智能”人工智能系統的方法)被承諾獲得公司計算資源的20%,但實際上很少得到其中的一小部分。超級對齊團隊已經被解散,其大部分工作由Schulman和OpenAI去年12月成立的安全咨詢委員會負責。OpenAI主張對人工智能進行監管,同時也努力塑造相關法規,並在內部和越來越多的律師事務所聘請了遊說者。

【Save Up To $800】
舊金山,10月28日至30日【Save Techcrunch活動 節省高達$800】
舊金山,10月28日至30日【Save Quartz報導】
除了Sutskever、Kokotajlo、Leike和Krueger之外,至少有五名OpenAI最關注安全的員工自去年底以來要麼辭職要麼被迫離職,包括前OpenAI董事會成員Helen Toner和Tasha McCauley。在《經濟學人》週日發表的一篇專欄中,Toner和McCauley寫道,他們不相信OpenAI在Altman的領導下能夠自我約束。Toner和McCauley說:“基於我們的經驗,我們認為自我治理無法可靠地承受利潤刺激的壓力。”對於Toner和McCauley的觀點,TechCrunch本月早些時候報導稱,OpenAI的超級對齊團隊(負責開發管理和指導“超級智能”人工智能系統的方法)被承諾獲得公司計算資源的20%,但實際上很少得到其中的一小部分。超級對齊團隊已經被解散,其大部分工作由Schulman和OpenAI去年12月成立的安全咨詢委員會負責。OpenAI主張對人工智能進行監管,同時也努力塑造相關法規,並在內部和越來越多的律師事務所聘請了遊說者。

Share this content: