Cerebras 挑戰 Nvidia:推出全球最快 AI 推理服務

Featured Image

Cerebras 系統挑戰 Nvidia,帶來前所未有的 AI 推理速度!

– 人工智慧 (AI) 的蓬勃發展帶來了 AI 推理服務的熱潮,推理服務是將訓練好的 AI 模型應用於實際數據以進行預測或解決任務的關鍵。隨著 AI 應用的普及,推理服務的需求也隨之激增,成為雲端工作負載中增長最快的部分。然而,現有的 AI 推理服務並無法滿足所有客戶的需求,這使得 Cerebras 系統公司推出的「全球最快 AI 推理服務」成為眾人關注的焦點。

Cerebras 系統挑戰 Nvidia 的霸主地位

  • Cerebras 系統公司是一家專注於 AI 運算晶片的初創公司,其目標是挑戰 Nvidia 在 AI 晶片市場的領導地位。 Cerebras 系統公司相信,其推出的新型「高速推理」服務將成為 AI 產業的里程碑,能夠達到每秒 1000 個 tokens 的速度,這將為 AI 應用開創新的機遇。

    專為 AI 設計的強大晶片:WSE-3

  • Cerebras 系統公司的核心競爭力來自其自主研發的專用晶片。 公司的旗艦產品 WSE-3(Wafer Scale Engine 3)處理器於今年三月正式發布,這款基於五奈米製程的先進晶片擁有 1.4 兆個晶體管、超過 90 萬個運算核心及 44GB 的靜態隨機存取記憶體 (SRAM),是其前代產品 WSE-2 的兩倍性能。與 Nvidia 的 H100 GPU 相比,WSE-3 具有 52 倍以上的核心數和 7000 倍的記憶體頻寬,這使得其推理速度更快,且成本更低。
  • WSE-3 處理器被集成於 Cerebras CS-3 系統中,該系統大小與小型冰箱相當,處理器本身則約有一個披薩大小,並內建冷卻和電力模組。 根據 Cerebras 的數據,WSE-3 的峰值速度可達到 125 petaflops(一 petaflop 等於每秒一千兆次運算),為推理服務提供了強大的運算支援。

    驚人的速度與成本效益

  • Cerebras 推出的 AI 推理服務,號稱速度比使用 Nvidia 最強大 GPU 的雲端推理服務快 20 倍。 以開源的 Llama 3.1 8B 模型為例,Cerebras 的推理服務能夠達到每秒 1800 個標記的速度,而對於 Llama 3.1 70B 模型,則可達到每秒 450 個標記。與此同時,該服務的價格極具競爭力,起步價僅為每百萬個標記 10 美分,這意味著其 AI 推理工作負載的性價比是現有服務的 100 倍。
  • 這項推理服務特別適合於「代理型 AI」(agentic AI)工作負載,這類應用需要頻繁地提示其基礎模型,以完成用戶指定的任務。 Cerebras 的推理服務在速度與成本上皆具顯著優勢,特別是針對那些需要實時或高頻度運行的 AI 應用。

    記憶體頻寬突破

  • 大多數 AI 推理服務速度緩慢的原因在於大型語言模型 (LLM) 的順序性和對記憶體頻寬的高需求。 例如,Llama 3.1 70B 模型擁有 700 億個參數,每個參數需要 2 個位元的儲存空間,整個模型需要 140GB 的記憶體。由於 GPU 僅有約 200MB 的片上記憶體,模型無法完全儲存於片上,每次生成輸出標記時都需要將整個模型從記憶體移至運算核心進行推理運算。這導致了推理速度的極大限制。
  • 然而,Cerebras 透過其獨特的晶圓級設計,成功將 44GB 的 SRAM 整合到一顆晶片上,進而消除了對外部記憶體的依賴以及外部記憶體與運算核心之間的緩慢傳輸瓶頸。 WSE-3 擁有 21

    相關連結:

    Homepage | Cerebras

    Home – Cerebras

    Company – Cerebras

    Share this content:

  • 熱門内容

    • AI資訊
    • AI工具
    • AI繪圖指令
    • 食譜
    • ai生成圖片

      Introduction MyEdit  Midjourney DALL·E3 Stable Diffusio…

      Read more


    • Janitor Ai

      Introduction Platform Overview 1 Account Terminati…

      Read more


    • Stable Video Diffusion 穩定的圖片轉動畫Demo

      Stable Video Diffusion 穩定的圖片轉動畫Demo

      Stable Video Diffusion能讓你用一張圖片變成動畫. 限制 Share this conte…

      Read more


    • HappyAccidents

      HappyAccidents

      HappyAccidents是一個提供預先訓練的AI模型庫的平台,讓使用者能夠輕鬆生成圖像而無需手動下載和上傳…

      Read more


    • 文心一格

      文心一格

      「文心一格」是百度推出的一個基於文心大模型能力的AI藝術和創意輔助平台。該平台於2022年8月正式發布,利用百…

      Read more


    • Ai Gallery

      Ai Gallery

      Ai Gallery為用戶提供了一個強大的工具,利用人工智慧技術根據用戶輸入提示產生令人驚嘆的圖像。但是要強調…

      Read more


    • Graviti Diffus

      Graviti Diffus

      Graviti Diffus 是一個免部署的在線平台,專注於提供穩定擴散(Stable Diffusion)的…

      Read more


    • Aitubo

      Aitubo

      Aitubo是一個AI創作工具,它提供了方便且強大的功能,讓使用者能夠透過文本和照片輸入來生成藝術作品。 Ai…

      Read more


    • SeaArt

      SeaArt

      SeaArt AI是一款免費且強大的AI繪畫工具,它能夠幫助使用者無需專業技能,輕鬆生成高品質的繪畫作品。 S…

      Read more


    • Diffusion Art

      Diffusion Art

      DiffusionArt是一個精選的開源AI藝術模型庫,專注於藝術、動漫和照片逼真圖像的生成,涵蓋數十個類別。…

      Read more