美國商務部的國家標準與技術研究所（NIST）是一個開發和測試美國政府、公司和廣大公眾使用的技術的機構。他們最近推出了一個名為NIST GenAI的項目，旨在評估生成式人工智能技術，包括文本生成和圖像生成的AI。
NIST GenAI將發布基準測試，幫助創建“內容真實性”檢測系統（即深度偽造檢測），並鼓勵開發軟件以發現假冒或誤導性的AI生成信息的來源，NIST在新推出的[NIST GenAI網站](https://ai-challenges.nist.gov/genai)和一份[新聞稿](https://www.commerce.gov/news/press-releases/2024/04/department-commerce-announces-new-actions-implement-president-bidens)中解釋。
新聞稿中寫道：“NIST GenAI計劃將發布一系列挑戰問題，旨在評估和衡量生成式人工智能技術的能力和限制。這些評估將用於確定促進信息完整性的策略，並指導數字內容的安全和負責任使用。” NIST GenAI的第一個項目是一項試點研究，旨在建立能夠可靠區分人類創作和AI生成的媒體的系統，首先是文本。（盡管有許多服務聲稱能夠檢測深度偽造，但研究和我們自己的測試顯示，它們在文本方面尤其是不穩定。）NIST GenAI邀請來自學術界、行業和研究實驗室的團隊提交“生成器”（用於生成內容的AI系統）或“鑑別器”（旨在識別AI生成內容的系統）。
研究中的生成器必須根據一個主題和一組文件生成250字以下的摘要，而鑑別器必須檢測一個給定的摘要是否可能是由AI寫的。為了確保公平，NIST GenAI將提供測試生成器所需的數據。NIST表示，那些在公開可用的數據上訓練且不“符合適用的法律法規”的系統將不被接受。試點項目的註冊將於5月1日開始，第一輪將於8月2日截止。研究的最終結果預計將於2025年2月發表。NIST GenAI的推出和對深度偽造的研究是因為AI生成的虛假信息和誤導信息的數量呈指數級增長。根據深度偽造檢測公司Clarity的數據，今年創建並發布的深度偽造比去年同期增加了900％。這引起了人們的擔憂，可以理解。YouGov最近的一項民意調查發現，85％的美國人擔心在線傳播誤導性的深度偽造。
NIST GenAI的推出是NIST對美國總統喬·拜登關於人工智能的行政命令的回應，該行政命令要求AI公司更加透明地公開其模型的工作原理，並建立了一系列新的標準，包括AI生成內容的標籤。
這也是NIST在任命了前OpenAI研究員保羅·克里斯蒂安諾（Paul Christiano）為該機構的AI安全研究所之後的第一個與AI相關的公告。
克里斯蒂安諾因其“末日論者”的觀點而引起爭議；他曾經預測“AI的發展有50％的機會導致人類的毀滅”。據報導，包括NIST內的科學家在內的批評者擔心，克里斯蒂安諾可能會鼓勵AI安全研究所專注於“幻想情景”，而不是來自AI的現實和更緊迫的風險。
NIST表示，NIST GenAI將為AI安全研究所的工作提供信息。
Share this content:
