深度學習突破:DeepMind推AI技術創造影片配樂

Featured Image
DeepMind,Google的AI研究實驗室,表示正在開發AI技術來為視頻生成配樂。DeepMind在其官方博客上表示,他們將這項技術稱為V2A(即“video-to-audio”,視頻到音頻),並將其視為AI生成媒體拼圖中的重要組成部分。儘管許多組織,包括DeepMind在內,已經開發出可以生成視頻的AI模型,但這些模型無法創建與所生成視頻同步的音效。“視頻生成模型的發展速度驚人,但許多現有系統只能生成無聲輸出。”DeepMind寫道。“V2A技術有望成為為生成的電影注入生命的有前途的方法。”DeepMind的V2A技術通過將配樂的描述(例如“水母在水下脈動,海洋生物,海洋”)與視頻匹配,創建與視頻的角色和語氣相匹配的音樂、音效甚至對話,並由DeepMind的抵抗深偽(SynthID)水印。DeepMind表示,V2A技術的AI模型是通過對聲音和對話文本以及視頻剪輯的結合進行訓練的。“通過對視頻、音頻和附加注釋的訓練,我們的技術學會了將特定的音頻事件與各種視覺場景相關聯,同時對注釋或文本中提供的信息作出反應。”DeepMind表示。對於訓練數據是否具有版權以及數據的創作者是否已經被告知DeepMind的工作,目前我們還不得而知。我們已經聯繫DeepMind以獲得澄清,如果有回應,我們將在本文中進行更新。AI動力的音頻生成工具並不新鮮。初創公司Stability AI去年推出了一款,ElevenLabs也推出了一款。創建視頻音效的模型也已經存在。微軟可以從靜態圖像生成說話和唱歌的視頻,而像Jukin Media和Unsplash這樣的平台已經訓練了模型,可以根據給定場景進行最佳猜測的音樂或效果。DeepMind聲稱,它的V2A技術之所以獨一無二,是因為它可以理解視頻中的原始像素,並自動將生成的聲音與視頻同步,可以選擇性地不使用描述。V2A並不完美,DeepMind也承認了這一點。由於基礎模型沒有在大量帶有異常或失真的視頻上進行訓練,因此它不會為這些視頻創建特別高質量的音頻。而且一般來說,生成的音頻也不是非常令人信服;我的同事Natasha Lomas將其描述為“一個充滿刻板印象的聲音大雜燴”,我不能不同意。出於這些原因,並為了防止誤用,DeepMind表示暫時不會向公眾公開該技術,如果有的話。DeepMind寫道:“為了確保我們的V2A技術對創意社區產生積極影響,我們正在從領先的創作者和電影製片人那裡收集各種觀點和見解,並利用這些寶貴的反饋來指導我們的持續研究和開發。”“在我們考慮向更廣泛的公眾開放之前,我們的V2A技術將經過嚴格的安全評估和測試。”DeepMind將其V2A技術定位為尤其適用於檔案館和處理歷史素材的工作人員的有用工具。但是,這類生成性AI也有可能顛覆電影和電視行業。要確保生成性媒體工具不會消除就業機會,或者情況可能是,從長遠來看,整個行業都將面臨威脅,將需要一些非常強大的勞工保護措施。

Share this content:

熱門内容

  • AI資訊
  • AI工具
  • AI繪圖指令
  • 食譜
  • ai生成圖片

    Introduction MyEdit  Midjourney DALL·E3 Stable Diffusio…

    Read more


  • Janitor Ai

    Introduction Platform Overview 1 Account Terminati…

    Read more


  • Stable Video Diffusion 穩定的圖片轉動畫Demo

    Stable Video Diffusion 穩定的圖片轉動畫Demo

    Stable Video Diffusion能讓你用一張圖片變成動畫. 限制 Share this conte…

    Read more


  • HappyAccidents

    HappyAccidents

    HappyAccidents是一個提供預先訓練的AI模型庫的平台,讓使用者能夠輕鬆生成圖像而無需手動下載和上傳…

    Read more


  • 文心一格

    文心一格

    「文心一格」是百度推出的一個基於文心大模型能力的AI藝術和創意輔助平台。該平台於2022年8月正式發布,利用百…

    Read more


  • Ai Gallery

    Ai Gallery

    Ai Gallery為用戶提供了一個強大的工具,利用人工智慧技術根據用戶輸入提示產生令人驚嘆的圖像。但是要強調…

    Read more


  • Graviti Diffus

    Graviti Diffus

    Graviti Diffus 是一個免部署的在線平台,專注於提供穩定擴散(Stable Diffusion)的…

    Read more


  • Aitubo

    Aitubo

    Aitubo是一個AI創作工具,它提供了方便且強大的功能,讓使用者能夠透過文本和照片輸入來生成藝術作品。 Ai…

    Read more


  • SeaArt

    SeaArt

    SeaArt AI是一款免費且強大的AI繪畫工具,它能夠幫助使用者無需專業技能,輕鬆生成高品質的繪畫作品。 S…

    Read more


  • Diffusion Art

    Diffusion Art

    DiffusionArt是一個精選的開源AI藝術模型庫,專注於藝術、動漫和照片逼真圖像的生成,涵蓋數十個類別。…

    Read more


  • 秋分養生百合蓮子湯

    秋分養生百合蓮子湯簡介:秋分時節,氣候乾燥,適合食用滋潤養生的湯品。這道百合蓮子湯,清甜滋潤,有助於清肺止咳,…

    Read more


  • 薑蔥蠔油炆雞翼

    薑蔥蠔油炆雞翼簡介:這是一道充滿港式風味的家常菜,雞翼經過炆煮,鮮嫩入味,醬汁濃稠,非常下飯。適合秋冬季節食用…

    Read more


  • 蔓越莓咖哩牛肉烏冬

    蔓越莓咖哩牛肉烏冬簡介:結合日式烏冬、美式蔓越莓、及好市多牛小排,創造出意想不到的酸甜辛辣滋味,濃郁咖哩搭配Q…

    Read more


  • 懷舊粵式乾炒牛河

    懷舊粵式乾炒牛河簡介:這道菜是經典的粵菜代表,以河粉、牛肉為主料,搭配豆芽、蔥等配料,經過猛火快炒,鑊氣十足,…

    Read more


  • 味噌鮭魚烤菇

    味噌鮭魚烤菇簡介:這道菜結合了日式味噌的風味和烤箱的烹調方式,將鮭魚和菇類烤至香氣四溢,低卡高蛋白,健康美味,…

    Read more


  • 一周護腎湯水

    一周護腎湯水簡介:根據中醫師的建議,這款護腎湯水能幫助排毒,滋養腎臟。適合港澳台地區的濕熱氣候,每週飲用一次,…

    Read more


  • 味噌鮭魚烤菇

    味噌鮭魚烤菇簡介:這道菜結合了日式味噌的風味和烤箱的烹調方式,將鮭魚和菇類烤至香氣四溢,低卡高蛋白,健康美味。…

    Read more


  • 韓式風味乳酪杯

    韓式風味乳酪杯簡介:這款乳酪杯結合了韓式風味和乳酪的健康,以乳酪為基底,搭配水果和韓式辣醬,口感豐富,酸甜辣交…

    Read more


  • 薑絲蒜蓉炒時蔬

    薑絲蒜蓉炒時蔬簡介:這道菜選用當季新鮮蔬菜,以薑絲和蒜蓉爆香,簡單快炒,保留蔬菜的原汁原味和營養。清淡爽口,適…

    Read more


  • 花膠魚翅撈飯 (深水埗風味)

    花膠魚翅撈飯 (深水埗風味)簡介:這道撈飯是深水埗母子檔的招牌菜,用料十足,花膠和魚翅帶來豐富的膠原蛋白,搭配…

    Read more