隨著人工智慧（AI）技術的快速發展，推理式AI運算在各行各業的應用日益廣泛，而提升推理式AI運算效能並降低執行成本成為當今產業發展的重要課題。NVIDIA在GTC 2025春季場發表多款AI伺服器與企業應用相關軟、硬體，並推出Blackwell Ultra GPU，其目標正是為了突破現有技術限制，加速推理式AI運算效能，為各產業帶來全新發展契機。
NVIDIA AI Scaling AI：提升推理式AI運算效能的三大法則
NVIDIA加速運算事業體副總裁Ian Buck在GTC 2025春季場會前簡報中，提出了AI Scaling AI，強調透過三個法則來提升推理式AI運算效能：
- 規模化：透過擴展GPU數量，將模型分散到多個GPU上進行運算，藉此提升運算速度，縮短推理時間。
- 優化：針對特定模型和任務，進行軟體和硬體的優化，以提升運算效率，降低資源消耗。
- 精簡：針對模型進行精簡，減少模型的參數量，降低推理所需資源，同時保持一定的準確度。
Blackwell Ultra GPU：效能突破30倍，開啟推理式AI新紀元
Blackwell Ultra GPU是NVIDIA最新一代的GPU，採用NVIDIA Ampere架構，其特色包括：
- 高性能運算核心：採用更強大的CUDA核心，提供更快的運算速度。
- 高頻寬記憶體：搭載高速 HBM3 記憶體，大幅提升數據傳輸速度。
- 高效能互聯：支援 NVIDIA NVLink 技術，實現高效的GPU之間互聯，提升模型訓練和推理的效率。
AI 伺服器：滿足不同需求，提供多元化解決方案
NVIDIA在GTC 2025春季場發表了多款AI伺服器，包括：
- DGX Station A600：為企業提供高性能的 AI 伺服器，適合大型模型訓練和推理。
- DGX POD：針對超大型模型訓練和推理需求，提供可擴展的 AI 伺服器集群。
- NVIDIA AI Enterprise：提供涵蓋硬體、軟體、服務的 AI 企業解決方案，幫助企業快速部署和應用 AI 技術。
NVIDIA企業應用軟硬體：打造全方位 AI 應用生態系
NVIDIA提供了完善的AI企業應用軟硬體，涵蓋：
- NVIDIA CUDA：提供GPU加速運算的開發平台，讓開發者可以輕鬆將AI模型部署到GPU上進行加速運算。
- NVIDIA TensorRT：是一個高性能推理引擎，可以加速深度學習模型的推理速度。
- NVIDIA Triton Inference Server：提供了一個高性能的推理服務平台，可以將 AI 模型部署到雲端或邊緣設備上。
NVIDIA AI Scaling AI 的優勢
NVIDIA AI Scaling AI 為企業帶來多項優勢：
- 提升推理式AI運算效能：透過規模化、優化、精簡等手段，大幅提升推理式AI運算效能，降低執行成本。
- 加速AI應用落地：幫助企業更快地將AI應用部署到實際業務中，創造更多商業價值。
- 擴大AI
相關連結：
Share this content:
