
“`html
Mac 離線 AI 新體驗:GPT-OSS 本地運行,安全又暢快!
隨著生成式 AI 的普及,我們越來越依賴 AI 工具來解決問題、提升效率。然而,對網路連線的依賴一直是個痛點。現在,OpenAI 開源的 GPT-OSS 讓你在 Mac 上也能享受離線 AI 的便利,不再受限於網路,資料安全更有保障。本文將帶你體驗如何在 Mac 本地運行 GPT-OSS,享受真正的離線 AI 體驗。
GPT-OSS 的核心優勢
GPT-OSS (Open Source Series) 由 OpenAI 發布,採用 Apache 2.0 授權,允許自由使用、修改與商業應用。所有推理操作都在本地電腦進行,無需連接 OpenAI 伺服器,真正實現資料不出門,保障用戶私隱。
GPT-OSS 採用 Mixture-of-Experts 技術,總參數量高達 210 億,但實際運算時僅啟動一小部分參數,降低記憶體與運算需求。配合 Apple Silicon 專屬的 MLX 模型版本,讓 Mac Studio 等 M 系列裝置以驚人的流暢度完成 AI 推理,體驗接近 GPT-4 小型版本。
Mac 本地運行 GPT-OSS 模型,只需兩步!
現在,讓我們看看如何在你的 Mac 上輕鬆運行 GPT-OSS 模型:
步驟一:使用 LM Studio 搜尋並下載 GPT-OSS 模型(MLX 版本)
首先,你需要下載 LM Studio,這是一款本地運行 AI 模型的工具,支援 Mac、Windows 和 Linux。以 Mac 版本為例:
- 下載並安裝 LM Studio。
- 開啟 LM Studio,在搜尋欄輸入 “gpt-oss”。
- 在搜尋結果中找到 OpenAI 官方釋出的 `openai/gpt-oss-20b` 模型。
- 選擇適合 Mac 的 MLX + 8bit 精簡版(容量約 22.26 GB)。這個版本經過特殊量化壓縮,能在記憶體 24GB 左右的 Apple 裝置順暢運行。
- 點選右側的 Download 按鈕,開始下載。
MLX 模型是專為 Apple Silicon 設計的模型格式,由 Apple 開發的 MLX 框架支援,充分發揮 M 系列晶片的效能。相比其他格式,MLX 模型在 Mac 上執行速度更快、佔用資源更低,並支援 Metal 加速,讓 GPT-OSS 20B 等大型語言模型也能在本地流暢運作。
步驟二:選擇模型並啟用對話模式開始使用
- 下載完成後,在 LM Studio 的模型選單中,選擇剛安裝的 `OpenAI’s gpt-oss 20B 8bit MLX` 模型。
- 進入模型推理介面,即可開始與 AI 對話。
- 在介面中輸入提示詞,例如:「你是什麼
相關連結:
Share this content: