
Google 近期推出了一項名為「隱性快取」(implicit caching)的新功能,這項功能為開發者提供更便利和低成本的模型,並無須再額外設定,這對開發者來說是一個重大的突破,特別是那些面臨成本壓力的開發者。
什麼是「隱性快取」?
隱性快取是一種自動化的快取機制,它可以自動儲存模型的輸出結果,並在後續相同的請求中直接使用這些結果,以減少模型運作的成本。
與過去的「顯性快取」相比,隱性快取無需開發者手動定義常用提示,省去繁瑣設定並避免意外的API費用。
隱性快取的影響
開發者可以節省高達 75% 的模型運作成本,讓他們能夠更加輕鬆地使用 Gemini API,並將更多資源投入到其他方面的開發工作。
此功能可能為 Google 贏得更多開發者的青睞,並進一步鞏固其在 AI 領域的領導地位。
隱性快取的未來
隨著 AI 技術的發展,Google 可能會繼續改進和完善「隱性快取」功能,以提供更優化的體驗。
考慮到「隱性快取」的優點,它很有可能成為未來 AI 模型的標準功能。
常見問題QA
目前僅適用於 Gemini 2.5 Pro 和 2.5 Flash 模型。
Google 建議開發者在請求開頭放置重複上下文,變化內容置於末尾。
相關連結:
Share this content: