Cerebras 挑戰 Nvidia:推出全球最快 AI 推理服務

Featured Image

Cerebras 系統挑戰 Nvidia,帶來前所未有的 AI 推理速度!

– 人工智慧 (AI) 的蓬勃發展帶來了 AI 推理服務的熱潮,推理服務是將訓練好的 AI 模型應用於實際數據以進行預測或解決任務的關鍵。隨著 AI 應用的普及,推理服務的需求也隨之激增,成為雲端工作負載中增長最快的部分。然而,現有的 AI 推理服務並無法滿足所有客戶的需求,這使得 Cerebras 系統公司推出的「全球最快 AI 推理服務」成為眾人關注的焦點。

Cerebras 系統挑戰 Nvidia 的霸主地位

  • Cerebras 系統公司是一家專注於 AI 運算晶片的初創公司,其目標是挑戰 Nvidia 在 AI 晶片市場的領導地位。 Cerebras 系統公司相信,其推出的新型「高速推理」服務將成為 AI 產業的里程碑,能夠達到每秒 1000 個 tokens 的速度,這將為 AI 應用開創新的機遇。

    專為 AI 設計的強大晶片:WSE-3

  • Cerebras 系統公司的核心競爭力來自其自主研發的專用晶片。 公司的旗艦產品 WSE-3(Wafer Scale Engine 3)處理器於今年三月正式發布,這款基於五奈米製程的先進晶片擁有 1.4 兆個晶體管、超過 90 萬個運算核心及 44GB 的靜態隨機存取記憶體 (SRAM),是其前代產品 WSE-2 的兩倍性能。與 Nvidia 的 H100 GPU 相比,WSE-3 具有 52 倍以上的核心數和 7000 倍的記憶體頻寬,這使得其推理速度更快,且成本更低。
  • WSE-3 處理器被集成於 Cerebras CS-3 系統中,該系統大小與小型冰箱相當,處理器本身則約有一個披薩大小,並內建冷卻和電力模組。 根據 Cerebras 的數據,WSE-3 的峰值速度可達到 125 petaflops(一 petaflop 等於每秒一千兆次運算),為推理服務提供了強大的運算支援。

    驚人的速度與成本效益

  • Cerebras 推出的 AI 推理服務,號稱速度比使用 Nvidia 最強大 GPU 的雲端推理服務快 20 倍。 以開源的 Llama 3.1 8B 模型為例,Cerebras 的推理服務能夠達到每秒 1800 個標記的速度,而對於 Llama 3.1 70B 模型,則可達到每秒 450 個標記。與此同時,該服務的價格極具競爭力,起步價僅為每百萬個標記 10 美分,這意味著其 AI 推理工作負載的性價比是現有服務的 100 倍。
  • 這項推理服務特別適合於「代理型 AI」(agentic AI)工作負載,這類應用需要頻繁地提示其基礎模型,以完成用戶指定的任務。 Cerebras 的推理服務在速度與成本上皆具顯著優勢,特別是針對那些需要實時或高頻度運行的 AI 應用。

    記憶體頻寬突破

  • 大多數 AI 推理服務速度緩慢的原因在於大型語言模型 (LLM) 的順序性和對記憶體頻寬的高需求。 例如,Llama 3.1 70B 模型擁有 700 億個參數,每個參數需要 2 個位元的儲存空間,整個模型需要 140GB 的記憶體。由於 GPU 僅有約 200MB 的片上記憶體,模型無法完全儲存於片上,每次生成輸出標記時都需要將整個模型從記憶體移至運算核心進行推理運算。這導致了推理速度的極大限制。
  • 然而,Cerebras 透過其獨特的晶圓級設計,成功將 44GB 的 SRAM 整合到一顆晶片上,進而消除了對外部記憶體的依賴以及外部記憶體與運算核心之間的緩慢傳輸瓶頸。 WSE-3 擁有 21

    相關連結:

    Homepage | Cerebras

    Home – Cerebras

    Company – Cerebras

    Share this content:

  • 熱門内容

    • AI資訊
    • AI工具
    • AI繪圖指令
    • 食譜
    • ai生成圖片

      Introduction MyEdit  Midjourney DALL·E3 Stable Diffusio…

      Read more


    • Janitor Ai

      Introduction Platform Overview 1 Account Terminati…

      Read more


    • Stable Video Diffusion 穩定的圖片轉動畫Demo

      Stable Video Diffusion 穩定的圖片轉動畫Demo

      Stable Video Diffusion能讓你用一張圖片變成動畫. 限制 Share this conte…

      Read more


    • HappyAccidents

      HappyAccidents

      HappyAccidents是一個提供預先訓練的AI模型庫的平台,讓使用者能夠輕鬆生成圖像而無需手動下載和上傳…

      Read more


    • 文心一格

      文心一格

      「文心一格」是百度推出的一個基於文心大模型能力的AI藝術和創意輔助平台。該平台於2022年8月正式發布,利用百…

      Read more


    • Ai Gallery

      Ai Gallery

      Ai Gallery為用戶提供了一個強大的工具,利用人工智慧技術根據用戶輸入提示產生令人驚嘆的圖像。但是要強調…

      Read more


    • Graviti Diffus

      Graviti Diffus

      Graviti Diffus 是一個免部署的在線平台,專注於提供穩定擴散(Stable Diffusion)的…

      Read more


    • Aitubo

      Aitubo

      Aitubo是一個AI創作工具,它提供了方便且強大的功能,讓使用者能夠透過文本和照片輸入來生成藝術作品。 Ai…

      Read more


    • SeaArt

      SeaArt

      SeaArt AI是一款免費且強大的AI繪畫工具,它能夠幫助使用者無需專業技能,輕鬆生成高品質的繪畫作品。 S…

      Read more


    • Diffusion Art

      Diffusion Art

      DiffusionArt是一個精選的開源AI藝術模型庫,專注於藝術、動漫和照片逼真圖像的生成,涵蓋數十個類別。…

      Read more


    • 立冬暖身黑豆茶

      立冬暖身黑豆茶簡介:立冬時節,以黑豆為基底,自製暖身黑豆茶,補腎養生,簡單易做,驅散寒意。準備時間:5分鐘烹飪…

      Read more


    • 清酒煮蜆

      清酒煮蜆簡介:這道菜簡單快捷,以清酒帶出蜆的鮮甜,滋味無窮,非常適合忙碌的都市人。準備時間:5分鐘烹飪時間:1…

      Read more


    • 抹茶流心巴斯克蛋糕

      抹茶流心巴斯克蛋糕簡介:這款蛋糕結合了巴斯克蛋糕的焦香外皮和抹茶的清新,內餡呈現濃郁的流心質地,口感豐富,適合…

      Read more


    • 抹茶流心巴斯克蛋糕

      抹茶流心巴斯克蛋糕簡介:這款蛋糕將抹茶的微苦與巴斯克蛋糕的焦香完美結合,內餡呈現流心狀態,口感濃郁香甜,適合下…

      Read more


    • 椰香咖哩蝦佐香烤麵包丁

      椰香咖哩蝦佐香烤麵包丁簡介:這道菜靈感來自Jeremy Fall的《Waves》第5集,將濃郁的椰奶咖哩與鮮美…

      Read more


    • 蘋果燕麥早餐杯

      蘋果燕麥早餐杯簡介:這款早餐杯結合了蘋果的香甜、燕麥的營養和乳酪的豐富口感,簡單易做,營養豐富,非常適合忙碌的…

      Read more


    • 秋日野餐迷你梳乎厘蛋糕

      秋日野餐迷你梳乎厘蛋糕簡介:輕盈蓬鬆的迷你梳乎厘蛋糕,口感細膩,非常適合秋日野餐,方便攜帶,一口一個,享受甜蜜…

      Read more


    • 秋日暖心湯:節瓜瑤柱雞雜湯

      節瓜瑤柱雞雜湯簡介:秋風起,宜滋補。這道湯品以當季節瓜、瑤柱和雞雜為主要食材,湯頭清甜,暖心暖胃,富含營養。準…

      Read more


    • 秋日滋補:節瓜瑤柱雞雜湯

      秋日滋補:節瓜瑤柱雞雜湯簡介:這款湯品以當季的節瓜搭配瑤柱和雞雜,清甜滋補,適合秋季飲用,能有效緩解乾燥。準備…

      Read more


    • 卡邦尼烏冬麵

      卡邦尼烏冬麵簡介:這道菜是將經典的義大利卡邦尼醬汁與日式烏冬麵巧妙結合,口感濃郁順滑,充滿創意。準備時間:15…

      Read more