美國商務部的國家標準與技術研究所（NIST）是一個為美國政府、企業和廣大公眾開發和測試技術的機構。最近，NIST宣布推出了NIST GenAI計劃，該計劃旨在評估生成式人工智能技術，包括文本生成和圖像生成的AI。
NIST GenAI將發布基準，幫助創建“內容真實性”檢測系統（即檢查Deepfake），並鼓勵開發能夠識別虛假或誤導性AI生成信息來源的軟件。NIST在新推出的NIST GenAI網站上和新聞發布中解釋道：“NIST GenAI計劃將發布一系列挑戰問題，旨在評估和衡量生成式人工智能技術的能力和局限性。”“這些評估將用於確定促進信息完整性的策略，並指導數字內容的安全和負責任使用。” NIST GenAI的第一個項目是一項試點研究，旨在建立能夠可靠區分人為創作和AI生成媒體的系統，首先從文本開始。（雖然許多服務聲稱能夠檢測Deepfake，但研究和我們自己的測試已經顯示，它們在文本方面的表現非常糟糕。）NIST GenAI邀請來自學術界、行業和研究實驗室的團隊提交“生成器”（用於生成內容的AI系統）或“辨識器”，後者是用於識別AI生成內容的系統。
研究中的生成器必須根據提供的主題和一組文檔生成250字或更少的摘要，而辨識器必須檢測給定的摘要是否可能是由AI生成的。為了確保公平性，NIST GenAI將提供測試生成器所需的數據。NIST表示，那些在公開可用數據上訓練並且不“符合適用法律法規”的系統將不被接受。試點項目的註冊將於5月1日開始，第一輪將於8月2日結束。預計研究的最終結果將於2025年2月發布。NIST GenAI的推出和專注於Deepfake的研究來源於AI生成的錯誤和誤導性信息的數量呈指數級增長。根據Deepfake檢測公司Clarity的數據，今年創建和發布的Deepfake比去年同期增加了900％。這引起了人們的警惕，可以理解。YouGov最近的一項民意調查發現，85％的美國人對在線傳播的誤導性Deepfake感到擔憂。
NIST GenAI的推出是NIST對美國總統喬·拜登關於人工智能的行政命令的回應的一部分，該命令要求AI公司更加透明地公開其模型的工作方式，並建立一系列新標準，包括對由AI生成的內容進行標籤化。
這也是NIST在任命前OpenAI研究員保羅·克里斯蒂亞諾（Paul Christiano）為該機構人工智能安全研究所之後的第一個與人工智能相關的公告。
克里斯蒂亞諾因其“末日論者”的觀點而備受爭議；他曾經預測“AI發展有50％的機會導致人類的毀滅”。據報導，包括NIST內的科學家在內的一些人擔心克里斯蒂亞諾可能會鼓勵人工智能安全研究所專注於“幻想場景”，而不是來自人工智能的現實和更緊迫的風險。
NIST表示，NIST GenAI將為人工智能安全研究所的工作提供指導。
Share this content:
