兩年半開發兩個 AI 模型，獲 NVIDIA 千萬美元投資的 Twelve Labs 強在哪？
生成式 AI 掀起科技革命，各大科技巨頭紛紛投入戰局。 Twelve Labs 開發 AI。 Twelve Labs 的 AI 專攻影片分析，用戶只要說：「幫我找到狗狗打滾的影片。」AI 就能馬上找到。看似簡單，其實背後需要理解影片個動作、聲音和情緒代表的意思，背後是 Twelve Labs 僅花兩年就推出的 AI 模型。
超越 MUM 的客製化 AI 模型，Twelve Labs 解決 AI 訓練影片痛點 MUM 是多任務統一模型，能從使用者搜尋語句判斷關鍵字關聯性，找出多條資料，並比對分析使用者用文字、影像或語音問的問題，更全面判斷使用者提問。
其實 Google 很早就推出 MUM AI 模型，能了解人類語言不同情況有不同意思，如「住在這很方便」和「我去方便一下」，兩句話的「方便」意思就不同。 Google MUM 聚焦提供更精準搜尋結果，Twelve Labs 則著重影片 AI 訓練。Twelve Labs 公開 AI 模型給客戶，依據自己需求調整模型並開發應用，建立 API 將 AI 用於各自領域。
「我們最初目的是讓使用者就像用『ctrl+f』網頁快速搜尋需要的詞語，也能快速找到需要的片段」，Twelve Labs 共同創辦人暨執行長 Jae Lee 說，許多訓練 AI 處理影片的公司較「土法煉鋼」：手動標記影片片段，30 秒長影片可能就有幾千萬個標記點，耗時又費力。 Twelve Labs 採更有效訓練法。如傳統做法是將每片段同時標上動作、元素、聲音等標籤來訓練，Twelve Labs 則水平分割：整部影片動作、聲音、圖像幾個元素分開訓練和分析。 如根據音頻波形，訓練 AI 辨別人群聲、鳥叫聲或樹葉聲；也透過人物關係互動和時間變化，讓 AI 分辨人物動作和關係。最後將這些 AI 訓練成果結合，打造出能理解影片內容的 AI 模型。
Twelve Labs AI 功能三大特色，加速影片自動化開發 Twelve Labs 的 AI 功能結合影片搜尋、語言生成、自動分類及產出摘要，透過 API 以三大功能幫助簡化影片和內容工作者的後製流程。 影片搜尋和語言生成結合：Twelve Labs 的 AI 搜尋配合語言生成的方式，可以透過 AI 找到需要的片段。後製工作者不需看完整部影片，就可找到編輯片段，是相當省時的工具，像是狗狗影片告訴 AI：「請幫我找到狗狗在草地打滾的片段」或烹飪料理影片，詢問 AI 用到哪些食材或調味料，對較長影片也能請 AI 提供影片摘要，找出人物和核心重點是什麼。
自動標記影片：YouTube 某些影片也有片段標記，可透過 Twelve Labs 的 AI 自動下標功能，找出需要標記的片段。 如創業家影片，AI 會自動標記「3:16~6:26 是創業家故事」、「15:36~18:37 是產品技術解釋」，加速後製人員下標速度，節省編輯時間。
自動分類影片：最後功能是針對有大量影片瀏覽需求的公司。透過 Twelve Labs 的 AI 分類功能，能從影片作品或歷年影音報導快速找到需要材料，節省在海量影片翻找和篩選的時間。
Twelve Labs 有推出不同使用者收費方案，90 天 600 分鐘免費版方案、個人開發者方案和企業方案，後兩者可依單日或單月計算，並有圖片、聲音和影片標記等 AI 需求每分鐘收費。
兩年半開發兩個 AI 模型，影片 AI 模型獲投資青睞 Twelve Labs 的 AI 功能已有約三萬多名開發人員使用，包括內容創作者及訓練生成式 AI 的各領域企業。 團隊也與企業合作，2022 年幫助 NVIDIA 訓練 A100 和 H100 GPU，達影片分類、摘要和推薦等自動化影片功能。今年也幫助線上影片編輯網站 Blackbird，利用 AI 加速自動標註影片效率，讓創作者和後製人員更專注影片，不用反覆確認影片後製細節，提高人員工作效率。
去年 Twelve Labs 推出第一個 AI 模型 Pegasus，成功將長短影片和語言生成 AI 結合，從 4 秒到 20 分鐘影片都能讓使用者與 AI 文字對話，請 AI 回答影片所有問題。今年 3 月又推出第二個 AI 模型 Marengo，經歷訓練 6 千萬支影片及 5 億多張圖片，可回答更多影片圖片和聲音等多模型 AI。 Twelve Labs 創辦至今兩年多，完成兩個 AI 模型。 Jae Lee 和 Twelve Labs 技術長 Aiden Lee 也從最初集合五位核心成員成長到 40 人團隊，並陸續從歐洲創投 Index Ventures 和加拿大投資公司 Radical Ventures 等募得 3,000 萬美元（約新台幣 9 億元）種子資金，更在近兩年與 NVIDIA、英特爾和三星建立合作關係，後續將用 NVIDIA 這筆資金，持續研發精進 AI 模型。
Share this content:
