DeepMind新創AI技術:V2A將為影片生成配樂與音效

Featured Image
DeepMind是Google的AI研究實驗室,表示他們正在開發用於視頻配樂的AI技術。在官方博客中,DeepMind表示他們將這項技術(簡稱為“video-to-audio”或V2A)視為AI生成媒體拼圖中的一個關鍵部分。儘管許多組織已經開發了視頻生成的AI模型,但這些模型無法創建與生成的視頻同步的音效。“視頻生成模型正在以驚人的速度發展,但是許多現有系統只能生成無聲的輸出,”DeepMind寫道。“V2A技術可能成為使生成的電影變得生動的一種有前景的方法。”DeepMind的V2A技術將音軌的描述(例如“水下脈動的水母,海洋生物,海洋”)與視頻配對,創建與視頻中的角色和調性相匹配的音樂、音效甚至對話。DeepMind的V2A技術由SynthID提供支持,SynthID是一種抵抗深度偽造的AI模型。根據DeepMind的說法,V2A的AI模型通過對聲音和對話文本以及視頻剪輯的綜合訓練而得到,該技術通過訓練學會將特定的音頻事件與各種視覺場景相關聯,同時對提供的注釋或文本信息作出反應。目前還不清楚訓練數據中是否包含有版權的內容,以及數據的創作者是否被告知DeepMind的工作。我們已經聯繫DeepMind以獲取進一步的澄清,如果有回應,我們將更新這篇文章。AI生成音效的工具並不新奇。Stability AI創立的初創公司去年剛推出了一種,而ElevenLabs也推出了一種類似的工具。同樣,創建視頻音效的模型也並不罕見。微軟可以根據靜態圖像生成說話和唱歌的視頻,而像Jukin Media和Unsplash這樣的平台則訓練了模型,可以根據視頻場景最佳猜測適合的音樂或音效。DeepMind聲稱他們的V2A技術在於它能夠理解視頻中的原始像素並自動將生成的音效與視頻同步,甚至無需描述。然而,V2A並不完美,DeepMind也承認了這一點。由於底層模型在訓練時並沒有使用大量包含瑕疵或失真的視頻,因此它無法為這些視頻生成特別高質量的音頻。一般情況下,生成的音頻並不是非常令人信服;我的同事Natasha Lomas形容它為“一個典型音效的大雜燴”,我不能不同意。出於這些原因,並為了防止被誤用,DeepMind表示他們不會很快或可能永遠不會向公眾公開這項技術。“為了確保我們的V2A技術對創意社區產生積極影響,我們正在收集領先創作者和電影製片人的多樣化觀點和見解,並使用這些寶貴的反饋信息來指導我們不斷的研究和開發工作,”DeepMind寫道。“在我們考慮向廣大公眾開放之前,我們的V2A技術將經過嚴格的安全評估和測試。”DeepMind將他們的V2A技術推銷為尤其適用於檔案保管人和處理歷史素材的人士的工具。但是,這類生成式AI也威脅著電影和電視行業。要確保生成媒體工具不會消除就業機會,或者在某種情況下,整個行業,需要嚴格的勞工保護措施。

快去TechCrunch報名參加加州舉辦的2024年舊金山Disrupt科技盛會,贏得10萬美元和展示機會!

Share this content:

熱門内容

  • AI資訊
  • AI工具
  • AI繪圖指令
  • 食譜
  • ai生成圖片

    Introduction MyEdit  Midjourney DALL·E3 Stable Diffusio…

    Read more


  • Janitor Ai

    Introduction Platform Overview 1 Account Terminati…

    Read more


  • Stable Video Diffusion 穩定的圖片轉動畫Demo

    Stable Video Diffusion 穩定的圖片轉動畫Demo

    Stable Video Diffusion能讓你用一張圖片變成動畫. 限制 Share this conte…

    Read more


  • HappyAccidents

    HappyAccidents

    HappyAccidents是一個提供預先訓練的AI模型庫的平台,讓使用者能夠輕鬆生成圖像而無需手動下載和上傳…

    Read more


  • 文心一格

    文心一格

    「文心一格」是百度推出的一個基於文心大模型能力的AI藝術和創意輔助平台。該平台於2022年8月正式發布,利用百…

    Read more


  • Ai Gallery

    Ai Gallery

    Ai Gallery為用戶提供了一個強大的工具,利用人工智慧技術根據用戶輸入提示產生令人驚嘆的圖像。但是要強調…

    Read more


  • Graviti Diffus

    Graviti Diffus

    Graviti Diffus 是一個免部署的在線平台,專注於提供穩定擴散(Stable Diffusion)的…

    Read more


  • Aitubo

    Aitubo

    Aitubo是一個AI創作工具,它提供了方便且強大的功能,讓使用者能夠透過文本和照片輸入來生成藝術作品。 Ai…

    Read more


  • SeaArt

    SeaArt

    SeaArt AI是一款免費且強大的AI繪畫工具,它能夠幫助使用者無需專業技能,輕鬆生成高品質的繪畫作品。 S…

    Read more


  • Diffusion Art

    Diffusion Art

    DiffusionArt是一個精選的開源AI藝術模型庫,專注於藝術、動漫和照片逼真圖像的生成,涵蓋數十個類別。…

    Read more


  • 秋分養生百合蓮子湯

    秋分養生百合蓮子湯簡介:秋分時節,氣候乾燥,適合食用滋潤養生的湯品。這道百合蓮子湯,清甜滋潤,有助於清肺止咳,…

    Read more


  • 薑蔥蠔油炆雞翼

    薑蔥蠔油炆雞翼簡介:這是一道充滿港式風味的家常菜,雞翼經過炆煮,鮮嫩入味,醬汁濃稠,非常下飯。適合秋冬季節食用…

    Read more


  • 蔓越莓咖哩牛肉烏冬

    蔓越莓咖哩牛肉烏冬簡介:結合日式烏冬、美式蔓越莓、及好市多牛小排,創造出意想不到的酸甜辛辣滋味,濃郁咖哩搭配Q…

    Read more


  • 懷舊粵式乾炒牛河

    懷舊粵式乾炒牛河簡介:這道菜是經典的粵菜代表,以河粉、牛肉為主料,搭配豆芽、蔥等配料,經過猛火快炒,鑊氣十足,…

    Read more


  • 味噌鮭魚烤菇

    味噌鮭魚烤菇簡介:這道菜結合了日式味噌的風味和烤箱的烹調方式,將鮭魚和菇類烤至香氣四溢,低卡高蛋白,健康美味,…

    Read more


  • 一周護腎湯水

    一周護腎湯水簡介:根據中醫師的建議,這款護腎湯水能幫助排毒,滋養腎臟。適合港澳台地區的濕熱氣候,每週飲用一次,…

    Read more


  • 味噌鮭魚烤菇

    味噌鮭魚烤菇簡介:這道菜結合了日式味噌的風味和烤箱的烹調方式,將鮭魚和菇類烤至香氣四溢,低卡高蛋白,健康美味。…

    Read more


  • 韓式風味乳酪杯

    韓式風味乳酪杯簡介:這款乳酪杯結合了韓式風味和乳酪的健康,以乳酪為基底,搭配水果和韓式辣醬,口感豐富,酸甜辣交…

    Read more


  • 薑絲蒜蓉炒時蔬

    薑絲蒜蓉炒時蔬簡介:這道菜選用當季新鮮蔬菜,以薑絲和蒜蓉爆香,簡單快炒,保留蔬菜的原汁原味和營養。清淡爽口,適…

    Read more


  • 花膠魚翅撈飯 (深水埗風味)

    花膠魚翅撈飯 (深水埗風味)簡介:這道撈飯是深水埗母子檔的招牌菜,用料十足,花膠和魚翅帶來豐富的膠原蛋白,搭配…

    Read more