美國商務部的國家標準與技術研究所（NIST）旗下的NIST GenAI計劃，旨在評估生成式人工智能技術，包括文本和圖像生成AI。該計劃將發布基準，幫助建立“內容真實性”檢測系統（即檢測深度偽造），並鼓勵開發用於查找假冒或誤導性AI生成信息來源的軟件。
NIST GenAI的首個項目是進行一項試點研究，構建可以可靠地區分人類創造和AI生成媒體的系統，從文本開始。（儘管許多服務聲稱能夠檢測到深度偽造，但研究和我們自己的測試顯示，這些服務在文本方面表現出色，但在文本方面表現出色，尤其是在文本方面） NIST GenAI邀請來自學術界、行業和研究實驗室的團隊提交“生成器”（用於生成內容的AI系統）或“鑑別器”（用於識別AI生成內容的系統）。
在該研究中，生成器必須根據提供的主題和一系列文檔生成250字以下的摘要，而鑑別器必須檢測給定摘要是否可能是由AI生成的。為了確保公平，NIST GenAI將提供測試生成器所需的數據。NIST表示，不接受使用公開可用數據進行訓練且不“符合適用法律法規”的系統。試點計劃的註冊將於5月1日開始，第一輪計劃將於8月2日結束。預計試驗結果將於2025年2月發布。NIST GenAI的推出和深度偽造研究的進行，正值AI生成的虛假信息和誤導性信息的數量呈指數級增長。根據深度偽造檢測公司Clarity的數據，與去年同期相比，今年創建和發佈的深度偽造數量增加了900％。這引起了人們的擔憂，可以理解。YouGov最近的一項民意調查發現，85％的美國人擔心在線傳播具有誤導性的深度偽造。
NIST GenAI的推出是NIST對美國總統喬·拜登關於人工智能的行政命令的回應的一部分，該命令要求AI公司更透明地公開其模型的工作方式，並建立了一系列新的標準，包括對AI生成內容進行標註。
這也是NIST在將前OpenAI研究員保羅·基督教（Paul Christiano）任命為該機構AI安全研究所之後的首個與AI相關的公告。
基督教是一個具爭議的選擇，因為他的“悲觀主義”觀點。他曾經預測：“AI發展有50％的機會導致人類的毀滅。”據報導，包括NIST內部科學家在內的批評人士擔心，基督教可能會鼓勵AI安全研究所專注於“幻想情節”，而不是來自AI的現實和更具即刻性的風險。
NIST表示，NIST GenAI將為AI安全研究所的工作提供指導。
Share this content:
