在人工智慧（AI）領域，推論運算扮演著至關重要的角色，它允許AI模型在接收輸入資料後進行預測和推斷。為了滿足日益增長的AI推論需求，NVIDIA 積極推動硬體和軟體技術的革新，最新推出的 NVIDIA GB200 NVL72 機架規模解決方案，就是 NVIDIA 在 AI 推論領域的重要突破。
NVIDIA GB200 NVL72：AI 推論效能的驚人突破
NVIDIA GB200 NVL72 機架規模解決方案相較於前一代產品 H200 NVL8，在 AI 推論效能方面實現了驚人的 30 倍提升。這得益於 NVIDIA 在 GPU 架構、記憶體技術和軟體優化方面的創新，讓 GB200 NVL72 能夠更有效地處理龐大的 AI 模型和資料。
NVIDIA 在最新的 MLPerf 5.0 推論測試中，使用 GB200 NVL72 進行測試，結果證明了其在處理各種 AI 工作負載方面的優勢，包括參數數量超大的 Llama 3.1 405B 大型語言模型（LLM）、更嚴格要求延遲的 Llama 2 70B Interactive LLM，以及 R-GAT 圖像注意力網路等項目。
NVIDIA GB200 NVL72 採用了靈活的 Scale Up 與 Scale Out 架構，使用者可以根據自身需求選擇適當的配置，以滿足不同規模的 AI 推論應用。
NVIDIA GB200 NVL72 的關鍵優勢
NVIDIA GB200 NVL72 的應用範例
NVIDIA GB200 NVL72 的影響分析
NVIDIA GB200 NVL72 的未來展望
常見問題 QA
A：NVIDIA GB200 NVL72 的價格會因配置而異，請諮詢 NVIDIA 授權經銷商。
A：NVIDIA GB200 NVL72 支援 NVIDIA CUDA、TensorRT 等軟體平台，以及多種深度學習框架。
相關連結：
Share this content:
