美國商務部的國家標準與技術研究所（NIST）是一個為美國政府、企業和公眾開發和測試技術的機構。該機構於本週一宣布啟動了名為NIST GenAI的新計劃，旨在評估生成式人工智能技術，包括文本生成和圖像生成的人工智能。

NIST GenAI將發布基準測試，幫助創建“內容真實性”檢測（即檢查深度偽造），並鼓勵開發能夠識別偽造或誤導性AI生成信息來源的軟件，NIST在新推出的[NIST GenAI網站](https://ai-challenges.nist.gov/genai)和一份[新聞稿](https://www.commerce.gov/news/press-releases/2024/04/department-commerce-announces-new-actions-implement-president-bidens)中解釋了這一點。

新聞稿中寫道：“NIST GenAI計劃將發布一系列用於評估和衡量生成式人工智能技術能力和局限性的挑戰問題。”“這些評估將用於確定促進信息完整性的策略，並指導數字內容的安全和負責任使用。” NIST GenAI的首個項目是一項試點研究，旨在建立一種可以可靠區分人類創作和AI生成媒體的系統，首先從文本入手。（盡管許多服務聲稱可以檢測深度偽造，但研究和我們自己的測試顯示這些服務在文本方面的表現並不可靠。）NIST GenAI邀請來自學術界、工業界和研究實驗室的團隊提交“生成器”（用於生成內容的AI系統）或“鑑別器”（用於識別AI生成內容的系統）。

在該研究中，生成器必須根據一個主題和一組文檔生成不超過250字的摘要，而鑑別器必須檢測一個給定摘要是否可能是由AI生成的。為確保公平，NIST GenAI將提供測試生成器所需的數據。NIST表示，不接受使用公開可用數據訓練且不“遵守適用法律法規”的系統。試點註冊將於5月1日開始，第一輪試點將於8月2日結束。預計該研究的最終結果將於2025年2月發布。NIST GenAI的推出和針對深度偽造的研究是由於AI生成的錯誤和誤導信息的數量呈指數級增長。根據深度偽造檢測公司Clarity的數據，與去年同期相比，今年創建並發布的深度偽造視頻增加了900％。這讓人們非常擔心。YouGov最近的一項民意調查發現，85％的美國人擔心在網上傳播具有誤導性的深度偽造視頻。

NIST GenAI的推出是NIST對美國總統喬·拜登有關人工智能的行政命令的回應之一。該命令要求AI公司更加透明地介紹其模型的工作原理，並建立了一系列新的標準，包括對由AI生成的內容進行標記。

這也是NIST在任命前OpenAI研究員Paul Christiano為該機構AI安全研究所負責人之後的第一個與AI相關的公告。

由於他的“厭世主義”觀點，Christiano的任命引起了爭議；他曾經預測“AI的發展有50％的機會導致人類的毀滅”。據報導，包括NIST內的科學家在內的人士擔心，克里斯蒂亞諾可能會鼓勵AI安全研究所專注於“幻想情景”，而不是來自AI的現實且更為直接的風險。

NIST表示，NIST GenAI將為AI安全研究所的工作提供指導。