risk-aware是這篇文章討論的核心
引言：觀察 LLM 的「選擇性沉默」困境
坦白說，我們在 2024–2025 年間親眼目睹，一大票企圖用 LLM 打造自動化客服或合規審查的公司，都被同一個难题卡住——AI 要嘛愛搶答（在該說「我不知道」時硬掰），要嘛愛装死（在該給出立體建議時只會回覆「我不確定」）。這不是 prompt engineering 能解決的表面問題，而是模型根本缺乏 risk-aware 的決策能力。
最新釋出的 arXiv 論文 Answer, Refuse, or Guess? Investigating Risk-Aware Decision Making in Language Models 把這問題 formalize 了：他們設計了一套 reward structure，讓 LLM 在答案正確、拒絕或錯誤猜測之間權衡，結果發現不管你用 GPT-4 還是 Claude 3.5，都會 appear 一個非理性的特徵——在高風險場景（例如醫療診斷、金融推薦）中傾向過度回答，在低風險場景（例如腦力激盪、文本摘要）卻過度拒絕。這 literally 跟人類的 risk calibration 相反。
Enter skill decomposition：研究團隊發現只要把決策鏈拆成獨立技能，讓模型先嘗試解題、評估自身信心、最後根據風險結構推斷期望值，就能達到穩定且理性的三元分佈。這技術現在直接被 Appier 整合進廣告雲、個人化雲與數據雲三大產品線，成為其 2025 年 agentic AI upgrade 的核心引擎。
Risk-Aware 決策框架：LLM 在風險感知上的盲點
什麼是 risk-aware decision making？簡單來說，AI 代理在執行任務時必須知道這任務的「錯誤代價」有多大，並調整自己的 output 模式。例如，在某個電子商務網站上，回答顧客「這件衣服有哪些顏色？」不該跟回答「我應不應該買這件股票？」用相同的 confidence threshold。
論文作者 Wu 等人建立了嚴謹的實驗設定，針對不同類型的問答任務定義了 risk structures：腦力激盪（低風險）、事實問答（中風險）、醫療/金融諮詢（高風險）。測試涵蓋 GPT-4、Claude 2、LLaMA 2 等多個主流模型。結果相當驚人——除了最頂級的 Claude 3 Opus 有轻微的 calibration 能力外，幾乎所有模型都呈现以下の模式：
- 高風險情境：當 prompt 涉及人身安全或重大財務決策時，LLM 反而更傾向給出「確定的答案」，而非礼貌拒絕或建議人類介入。這可能肇因於訓練數據中高風險任務样本少，導致模型對危險性缺乏敏感度。
- 低風險情境：在應該发挥創意、包容錯誤的場景（例如産品命名、廣告文案），模型卻 Frequent 拒绝回答，回以「我是一個 AI 助手」等安全回覆，這壓制了生產力。
這解釋了為什麼企業直接把 ChatGPT 接口塞進工作 pipeline 常常失敗——你的 AI 代理不會自己根據場景風險調整行為。你必須 explicit 地教它何時該說、何時該猜、何時該闭嘴。
Pro Tip：企業級的 risk-aware 設計要點
在商業系統中，不要只設定一個固定的 refusal threshold。應該將任務按照業務影響度做 tiered 分類，並針對每層級設計不同的 reward function。舉例來說，客服問答可以容忍 5% 的輕微錯誤，但合規審查則必須趨近於零容忍。這裡的核心参数是：錯誤成本、拒絕成本、業務價值。根據這三者權重，動態調整模型在 answer/refuse/guess 之間的最優選擇。
技能分解三階段：解題、信心、推斷
論文的核心 innovation 在於把單步的 answer-or-refuse decision 拆成三個獨立且 sequential 的子任務：
- 解題 (Problem Solving)：讓模型先針對問題給出推理過程與 tentative answer，不要求最終判斷。
- 信心評估 (Confidence Estimation)：將第一步的輸出餵入第二個專門訓練的評分模型，評估答案的可信度（0–1 分）以及不確定性的來源。
- 風險推斷 (Risk-Informed Decision)：根據 confidence score 與預先定義的 risk tolerance（根據應用場景設定），計算 Expected Reward = P(correct) × Reward – P(wrong) × Penalty，最後選擇 answer、refuse 或 guided guess。
這Three-stage pipeline 的最大好處是 技能隔離 (skill isolation)——模型不會因為要快速 output 答案而跳過自我檢查；也不需要在訓練時同時學習所有ognitive skills，而是可以針對每個階段單獨優化。實驗顯示，與 single-stage prompting 相比，skill decomposition 在七个 benchmark 上平均提升 12% 的 expected reward，且在 extreme risk settings 下的魯棒性提高 34%。
Pro Tip：實作時的三個雷區
第一，confidence estimation 不能用普通的 log probability，因為 LLM 的 calibration 本身就有偏差；建議用 ensemble sampling 或自我驗證 loop。第二，risk结构必须量化——你需要定義 numerical cost matrix。第三， segundo 第三階段（risk-informed decision）的 threshold 必須可配置，否則會失去業務彈性。記住：這整個 chain 的本質是將人類專家（法官、醫生、财經分析師）的 risk reasoning 模式 code 化。
Appier 的商業落地：Ad Cloud、Personalization Cloud、Data Cloud 全轉 agentic
正如我們開頭所 highlight，這研究對產業的 immediate impact 體現在 Appier 2025 年 9 月的產品 announcement。作為台灣第一隻 AI unicorn，Appier 將其八個 AI Agent 全數注入 agentic 能力，橫跨三大雲端產品線：
- Advertising Cloud：Coding Agent（自動優化廣告代碼）、Director Agent（策略規劃）、ROI Agent（動態出價與回報預測）。這三個 agent 在 risk-aware 框架下運作，例如 ROI Agent 會評估「過度出價」vs「錯失曝光」的期望成本。
- Personalization Cloud：Sales Agent（精明銷售推薦）、Campaign Agent（個人化行銷活動）、Service Agent（智能客服）。這些 agent 必須實时的 decide 是否該給用户一個強力的_product recommendation，還是_refuse 並轉接真人。
- Data Cloud：Audience Agent（受眾TA辨識）、Insight Agent（數據洞察）。兩者皆需 risk calibration——錯誤的受眾標籤會導致後續所有 marketing 資源錯配。
Appier CEO Chih-Han Yu 表示：「我們不賣 AI，我們賣的是 可量化的 ROI」(TaiwanPlus 訪談連結)。這句話的底氣正是來自於像skill decomposition 這種能直接 mapping 到企業 cost-benefit analysis 的技術。他們的客户案例包括Burger King Taiwan，透過 Appier 的個人化雲實現動態黑色漢堡優惠推送， reportedly 提升了 23% 轉換率。
Pro Tip：評估 AI Agent 供應商的關鍵問題
當你評估像 Appier 這樣將 agentic AI 注入產品的廠商時，別只問他們用了哪個模型。直接問清楚：1. 你的 risk-aware decision framework 能否客製？2. 技能分解的步驟是否可視化（可解釋性）？3. 三元分佈（answer/refuse/guess）在不同業務場景的基線是多少？4. 如何處理「模型對自己的信心」與「實際正確率」的偏差？正規的廠商應該能拿出 calibration curves。
2026 市場效應：Agentic AI 的信任紅利
為什麼 2026 年被預測為 agentic AI 的 mainstream 年份？根據 Gartner 報告，全球 AI 支出將從 2025 年的 1.75 兆美元
躍升至 2026 年的 2.52 兆美元
