語音AI情緒保留是這篇文章討論的核心




語音 AI 的「去文字化」革命:Block Dessa 為何讓矽谷工程師集體失眠?
Dessa 的野心不是「聽得懂」,而是把聲音裡的停頓、嘆氣與笑聲全部留住。(Photo by Thomas Lineweaver / Pexels)

💡 核心結論:Block 的 Dessa 是首個「完全不用文字」的對話式語音模型,它直接拿掉 ASR→LLM→TTS 這條三段式傳送帶,讓聲音進、聲音出,情緒與時序不再被轉譯成乾巴巴的字串而流失。

📊 關鍵數據:Dessa 訓練只需單組 Nvidia GB200 系統,並可在搭載 M4 Max 晶片的 MacBook Pro 上本機執行。對照 2027 年全球 AI 市場普遍被喊上「兆美元」量級,語音互動被視為下一個兆級入口,誰先把延遲與隱私成本壓到零,誰就先卡位。

🛠️ 行動指南:想卡位的團隊,先別急著追 demo。把自家的「語音資料資產」盤點出來——真實對話錄音比任何文字標註都稀缺,這才是純語音模型的燃料。

⚠️ 風險預警:目前 Dessa 仍屬研究預覽,沒有公開 benchmark、沒有 API、沒有定價,僅開放給少數 AI 安全研究人員申請。Demo 好聽,不等於可商用,別把行銷影片當成績單。

我把 Block 官方釋出的 Dessa demo 反覆聽了不只一遍,那種感覺其實有點毛——不是因為它像人,而是因為它「太會在對的時間停頓」。開頭那句「Interacting with current voice AI can just plain suck」很直白,但接下來它示範的東西很狠:一邊聽一邊講、抓得到諷刺、會自然插話、還會笑。這不是又一次語音助理的小升級,而是一場把「文字中介」直接拆掉的外科手術。過去我們習慣的語音 AI,本質上是三台機器接力——先把你說的話變成文字(ASR),再讓語言模型用文字思考(LLM),最後再把文字唸回聲音(TTS)。問題是,這一轉譯來、轉譯去,你語氣裡的遲疑、尾音的上揚、那一聲無奈的嘆氣,全都掉在地上。Dessa 想做的,就是把這些掉在地上的碎片,一次撿回來。

一、「完全不用文字」的語音模型,到底解決了什麼痛點?

傳統三段式 pipeline 的最大病灶,叫做資訊不可逆的流失。當你講出「這真是個好主意」時,文字轉錄只留下這七個字,但諷刺的語氣、微微拉長的尾音、搭配的白眼,通通被抹平。模型拿到的是平鋪直敘的字串,自然也就回你一個平淡到不行的答案。Block 在官方頁面上把這件事講得很白:現行語音 AI「把你的聲音變成文字,扔掉了數量驚人的資訊」。

Dessa 的做法是把整條傳送帶砍掉,改成真正的全雙工(full-duplex)語音對語音。它不在文字空間裡思考,而是直接從對話音訊中學「怎麼接話」。結果就是它能處理「邊聽邊說」,能精準捕捉諷刺與情緒等細微線索,也能自然地插話或發出笑聲。這種節奏感,才是人類對話真正的骨幹——我們從來不是輪流講完才換人,而是常常在對方話還沒落地時就已經開始回應。

傳統文字中介語音架構與 Dessa 端到端語音架構的資訊保留率比較長條圖比較傳統 ASR 轉 LLM 轉 TTS 架構與 Dessa 純語音架構在情緒諷刺辨識、對話時序、語氣細節與資訊完整度上的保留率,Dessa 在四項指標皆明顯較高。語音資訊保留率:傳統架構 vs Dessa傳統 ASR→LLM→TTSDessa 端到端35%92%情緒/諷刺40%95%對話時序30%90%語氣細節45%96%資訊完整度示意圖:數值為概念化對比,非官方 benchmark

🧠 Pro Tip|專家見解:很多人以為 Dessa 的賣點是「更像人」,其實真正的殺手鐧是它把「知識」也綁進了對話資料裡。Block 明確表示 Dessa 的知識來自它所學的對話資料,而不是外掛一座大型語言模型。這意味著它的世界觀被對話語料框住——優點是語氣一致、不會人格分裂,缺點是知識廣度先天受限。評估這類模型時,別只問「像不像人」,要問「它的知識天花板在哪」。

二、Dessa 真的能在 MacBook 上跑?單機 GB200 訓練代表什麼?

這是我覺得整份公告裡最「反直覺」的一段。一直以來,訓練一個像樣的語音模型,背後是幾百、幾千張 GPU 燒出來的電費帳單。但 Block 說,Dessa 的訓練只用了單組 Nvidia GB200 系統,而且推論端可以跑到搭載 M4 Max 的 MacBook Pro 上,完全本機執行。

先說 GB200 這台機器有多猛。以 GB200 NVL72 為例,它把 72 顆 Blackwell GPU 跟 36 顆 Grace CPU 塞進一個機櫃,透過第五代 NVLink 串成單一網域,GPU 之間的通訊頻寬高達每秒 130 TB,整櫃池化的 HBM3e 記憶體約 13.8 TB,功耗上看 120 kW。用這樣一台「單櫃超算」來訓練,對比過去動輒跨機房、跨叢集的規模,效率提升不是一點半點。更關鍵的是「本機執行」——當模型能塞進一台筆電,延遲、隱私、連線成本三個老問題,瞬間被改寫。

對開發者來說,這件事的意義是部署門檻被砍到地板。過去你要做語音產品,得先想 API 費用、資料出境合規、網路抖動;現在理論上,一台高效能筆電就能離線跑一場對話。金融、醫療、法律這些對資料落地極度敏感的場景,終於看到一條不用把錄音送上雲端的路。

三、語音對語音的架構,會如何改寫 2026 年後的 AI 產業鏈?

把時間拉到 2026 年之後,我認為衝擊會沿著三條線擴散。第一條是價值鏈的位移。三段式 pipeline 的年代,ASR、LLM、TTS 各自是獨立供應商,中間靠 API 串接、層層抽成。端到端模型把這三段縫成一塊,等於同時對三家供應商喊「你被繞過了」。這會逼著中間層玩家往兩邊靠——要嘛往上游做資料,要嘛往下游做場景。

第二條是資料的重新定價。文字語料早就被爬爛了,但「真實的人類對話錄音」是稀缺資源,而且帶著情緒、時序這些無法用文字複製的標籤。誰握有高品質對話語料,誰就握有下一代語音模型的入場券。這也解釋了為什麼 Dessa 一開始只開放給少數 AI 安全研究人員——這類模型的門檻,已經從算力轉移到資料。

第三條是互動入口的洗牌。當語音互動的延遲與成本被壓到接近零,「開口問」會重新變成主流。以 2027 年全球 AI 市場被普遍喊上兆美元量級來看,語音作為最自然的介面,極可能吃掉其中一大塊。客服、陪伴、車載、穿戴裝置,全都會被重新設計一遍。

🛠️ Pro Tip|專家見解:如果你正在規劃語音產品,別急著選邊站。短期內,端到端模型在「知識廣度」上仍打不過外掛大語言模型的組合;長期看,它勝在自然與低延遲。務實的做法是先把產品架構做成「可替換的大腦」——把對話體驗層與知識檢索層解耦,未來哪邊強就換哪邊,才不會被單一技術綁死。

四、Block 這家支付公司,為何突然殺進語音 AI 戰場?

這題很多人第一時間的反應是「蛤?」。Block 這家公司,2009 年由 Jack Dorsey 創立,前身是 Square,靠一個方形讀卡機讓小商家用手機就能收信用卡;後來又長出 Cash App、Afterpay、Bitkey、Tidal 一整串產品線。表面上,它跟語音模型八竿子打不著。

但把兩件事疊起來看就通了。Block 的護城河一直是「交易與互動的介面」——從刷卡到轉帳到買賣,它反覆在做的是「讓人和錢、服務之間的互動更順」。語音,恰恰是下一個、也是最自然的互動介面。當你能用講話完成付款、理財、客服,誰先把語音體驗做到「像跟真人講話」,誰就把入口握在手上。Dessa 由 Block 自家的 AI 研究實驗室操刀,實驗室成員 Ragavan Thurairatnam 也在公告同步於 X 上發文,這種「支付公司養一座語音研究實驗室」的組合,本身就說明了他們的盤算:語音不是終點,是通往下一代入店與交易動線的閘門。

而且別忘了,Block 手上有大量真實的商家與消費者互動場景——這正是訓練純語音模型最缺的燃料。從這個角度看,推出 Dessa 不是跨界,而是往自家生態的核心再鑽深一層。

五、常見問題 FAQ

Dessa 現在可以用了嗎?一般開發者能申請嗎?

目前 Dessa 仍處於研究預覽階段,Block 開放了公開等待名單(waitlist),並優先給一小群 AI 安全研究人員早期存取權。也就是說,現在還沒有公開 API、沒有定價、也沒有正式商用授權。想試的人可以先排隊,但別預期明天就能拿來接產品。

Dessa 完全不用文字,那它的知識從哪裡來?

根據 Block 的說法,Dessa 的知識來自它所訓練的人類對話資料本身,而不是外掛一座大型語言模型做知識檢索。這讓它的語氣與人格更一致,但也代表它的知識廣度會被對話語料的天花板限制,遇到需要大量事實查詢的任務,未必佔優勢。

「本機執行」是真的嗎?一般筆電跑得動嗎?

Block 表示 Dessa 支援在搭載 M4 Max 晶片的 MacBook Pro 上本機執行,訓練端則只需單組 Nvidia GB200 系統。不過要注意,這是官方針對特定高階硬體的說法,並不代表所有筆電都能跑;實際的延遲、記憶體占用與對話品質,仍需等獨立測試出來才能驗證。

想讓你的產品也「開口像真人」?

語音互動的門檻正在被重新定義,從雲端走向裝置、從文字走向聲音,這一波沒跟上,下一波就更難追。如果你正在評估語音 AI 的落地場景——不管是客服、陪伴、車載還是金融交易——歡迎直接找我們聊聊,把你的場景講給我們聽。

👉 預約語音 AI 策略諮詢

Share this content: