“`html
人工智慧（AI）技術的快速發展，使得大型語言模型（LLM）的應用越來越廣泛。然而，以往這些模型往往需要依賴雲端伺服器才能運行，對於隱私、延遲和網路依賴性等方面存在諸多限制。AMD 近期宣布，其處理器和顯示卡透過新驅動程式的優化，已能在 Windows AI PC 本機運行 OpenAI gpt-oss 20b 和 120b 模型，這項突破性的進展將為 AI 應用帶來全新的可能性。
AMD 如何實現本機運行大型語言模型？
AMD 透過其 Ryzen AI 處理器和 Radeon 顯示卡的強大運算能力，結合專門優化的 Adrenalin 驅動程式，實現了在 Windows AI PC 上本機運行大型語言模型。Ryzen AI 主要負責處理 AI 推理任務，而 Radeon 顯示卡則提供額外的運算加速，共同提升模型的運行效率。
AMD 採用 LM Studio 作為模型部署和運行的平台。LM Studio 是一個易於使用的工具，可以幫助使用者快速部署和運行各種大型語言模型，無需複雜的配置和程式碼編寫。
AMD 為此發布了全新的 Adrenalin 25.8.1 WHQL 驅動程式，該驅動程式針對 Ryzen 處理器和 Radeon 顯示卡進行了深度優化，可以有效提升模型運算效能，並降低資源消耗。
運行效能如何？
根據 AMD 官方數據，搭載指定 Ryzen 處理器或 Radeon 顯示卡的 Windows AI PC 在執行 gpt-oss 20b 和 120b 模型時，最高可達到每秒 30 組字詞（Token）的運算效能。這個效能足以滿足許多日常 AI 應用需求，例如文本生成、問答系統、內容摘要等。
相關實例
想像一下，你可以直接在你的筆記型電腦上運行一個強大的 AI 助手，它能夠幫助你撰寫郵件、生成文章、翻譯文本，甚至進行程式碼編寫，而無需連接網路。這不僅可以提高工作效率，還可以保護你的隱私資料，避免敏感資訊洩露。
優勢和劣勢的影響分析
- 隱私保護： 資料無需上傳雲端，降低隱私洩露風險。
- 低延遲： 本機運算速度更快，回應更即時。
- 離線可用： 即使沒有網路連接，也能正常使用 AI 功能。
- 成本效益： 減少對雲端伺服器的依賴，降低運營成本。
- 硬體要求： 需要較高的硬體配置，才能順暢運行大型語言模型。
- 模型更新： 模型更新需要下載和部署，不如雲端更新方便。
- 模型大小： 本機儲存空間有限，可能無法容納所有模型。
相關連結：
Share this content:
