“昆仑万维引领:天工3.0大模型,多模态AIGC新里程”

Featured Image
天工多模态大模型的演进落地

文生图、文生音频、文生视频、AI搜索引擎……大模型在多模态的进程可谓是愈演愈烈。

而聚焦在国内,有这么一家公司在AIGC大热潮的前后,单是“首个”就占了四席:

* 发布中国首个开源文本大模型
* 国内首个对标ChatGPT的双千亿级大模型
* 中国首个AI搜索
* 国内首个在线提供服务的MoE大模型

不卖关子,这家公司正是**昆仑万维**,并且就在最近,它还解锁了**“中国首个音乐SOTA模型——天工音乐大模型”**。

那么昆仑万维在多模态大模型的道路中是如何演进的?为何能够如此精准的先迈出每一步?

在本次中国AIGC产业峰会上,**昆仑万维董事长兼CEO方汉**回答了一切。

天工3.0发布,全面超越MoE大模型Grok-1

天工3.0在多轮搜索、搜索“研究模式”、智能体方面能力提升

中国首个音乐AIGC的SOTA模型

以下为方汉演讲全文:

天工3.0正式发布

我今天的演讲主题是“天工多模态大模型的演进落地”。

大家知道昆仑万维是从2022年12月发布了中国首个开源文本大模型,在2023年4月17日「天工1.0」发布,2023年8月23日发布了国内首个AI搜索产品——天工AI搜索。

在今天,我们发布了**「天工3.0」**,这是中国首个在音乐AIGC领域达到SOTA的模型,同时我们将开源4000亿参数全球最大规模的MOE大模型,并且开始启动公测。

首先,「天工3.0」目前性能已经全面超越3140亿参数的MOE大模型Grok-1,是全球第一,这两个大模型目前都是开源的。

我们可以看到在MMbench和MMbench-CN这两个测试集中,我们在性能指标上已经全面超越GPT-4V,综合排名全球领先。

「天工3.0」目前在模型技术支持能力上提升超过20%,在数学、推理、代码、文创能力上提升超过30%。

通过专项的Agent训练,可以应付复杂的需求能力,在内容创作能力上全面升级,目前是能搜能写能读能聊能说能画能听能唱,在多模态能力上非常全面。

下面可以看到,「天工3.0」在**多轮搜索与综合工具的调用能力**上有了大幅提高。

例如,搜索“成都迪斯尼怎么去”大家知道,“成都迪斯尼”是个梗,我们能够准确识别出来“成都迪斯尼”是成都的一个小区,同时,大模型把“成都迪斯尼”的攻略生成出来之后,还会把它总结成一个攻略。

再比如,在问天气怎么样的时候,大模型会把上海的天气以卡片的形式展现给用户,最后生成相对应的图片。

再来看一下 「天工3.0」在搜索能力上的**“研究模式”**,大家可能知道,学生在阅读文献的时候,需要总结大纲,再自己画脑图。

在以前这类工作非常烦琐,现在我们可以自动对搜索内容进行总结、自动生成大纲、拷贝到PowerPoint,就能自动生成PPT,同时最后再自动生成脑图。这对所有的研究工作者非常有帮助。

下面我们看一下「天工3.0」在**智能体**方面的进展,大家可以很方便地通过非代码的形式生成智能体,我们看现在生成的智能体在使用之后,可以生成一个关于特斯拉和小米SU7车型对比的表格,而且是多模态的生成,这个非常方便。

首个音乐AIGC的SOTA模型

目前,昆仑万维以AI大模型为底座,已经拥有AI社交、AI游戏、AI搜索、AI大模型、AI音乐、AI视频等六大业务矩阵。

我再给大家分享一下多模态大模型天工SkyMusic,这是目前**首个音乐AIGC的SOTA模型**。给大家听一下案例,这是庞博(喜剧明星)利用天工AI音乐创作的一首歌曲。

我们天工SkyMusic与SONO V3的版本对比,首先,**在人声&BGM音质、人声自然度、发音可懂度等领域都有明显地提升**。

我们这个技术模型的架构是类似Sora的DiT架构,目前数据集已经将近2000万首音乐,这才能在音乐指标上可以超过SUNO,达到目前的SOTA,也就是技术指标第一。

我们独家优势在于根据示例音源生成音乐的能力,而不是根据标签来生成音乐。

根据示例音源生成音乐的能力可以让很多专业创作者用自己的一段小旋律生成完整的音乐,同时在人声合成方面支持单一语种方案输出能力,目前已经支撑粤语、四川话、北京话、上海话等多个方言。

最后,我们生成更具辨识度的自然人声,大家都知道如何区分每个歌手的人声,在合成上是有比较大的技术难度,我们目前基本上可以根据输入的语音达到更好的克隆。

目前天工SkyMusic音乐创作能力,首先,能够极大降低音乐创作门槛,人人皆可以歌明志。

大家可以看到,今天在我们公测的天工SkyMusic的功能下方,网友们创作的歌曲非常多,创作形式也非常多样。

之前制作一首歌的成本非常昂贵,因为首先要有音乐的基础能力,才能去作曲、才能编曲,还要有乐队帮助你去演奏合成,最后还得有专业的演唱能力,才能完成一首歌的制作。

通过天工SkyMusic,一个人只要花几分钟时间可以完整创作出一首可以发布的歌曲,这样极大降低了音乐创作门槛。让每个人可以创作出自己的歌曲。

同时,极大降低了音乐创作成本,对于全体内容行业来说是一个福音。大家知道,在各行各业使用音乐的地方非常多。

之前都有着比较昂贵的授权费用,在今天可以让各行各业使用的所有通过AI生成,成本可以迅速从几万块钱降到几分钱。

最后,我们也证明了中国研发可以在垂直领域做到全球的SOTA,这也是非常有意义的。大家知道,SOTA这个词是“State of the art”,当前技术指标第一的意思。

OpenAI为什么现在是全球估值最高的大模型企业?

因为在文本大模型以及视频生成大模型方面,它一直是全球的SOTA。对于中国公司来说,能否在垂直领域取得SOTA,也是你的企业能够获得技术红利的一个重要因素。

最后我跟大家分享一下,昆仑万维的使命与目标,是实现通用人工智能,让每个人更好地塑造和表达自我。

为什么我们把这个分成了两段?

实现通用人工智能就是对标AGI,我们坚信通过文本大模型和多模态大模型不断演进,一定会实现通用人工智能;但与此同时,我们也可以通过AIGC能力的不断拓展,让每个人更好地塑造和表达自我。

我们可以看到从文本生成到图像生成,再到音乐生成以及视频生成,AIGC技术的演进能够让全世界创作内容的成本极大降低,从而打破强势文化利用资源来达到的垄断地位,让每个少数族群都能够创作属于自己的内容,实现真正的文化平权。

这也是我们作为一家在全球几十个国家都拥有业务的全球互联网平台企业所希望看到的一个愿景。

_版权所有,未经授权不得以任何形式转载及使用,违者必究。_

Share this content:

熱門内容

  • AI資訊
  • AI工具
  • AI繪圖指令
  • 食譜
  • ai生成圖片

    Introduction MyEdit  Midjourney DALL·E3 Stable Diffusio…

    Read more


  • Janitor Ai

    Janitor Ai

    Introduction Platform Overview 1 Account Terminati…

    Read more


  • Stable Video Diffusion 穩定的圖片轉動畫Demo

    Stable Video Diffusion 穩定的圖片轉動畫Demo

    Stable Video Diffusion能讓你用一張圖片變成動畫. 限制 Share this conte…

    Read more


  • HappyAccidents

    HappyAccidents

    HappyAccidents是一個提供預先訓練的AI模型庫的平台,讓使用者能夠輕鬆生成圖像而無需手動下載和上傳…

    Read more


  • 文心一格

    文心一格

    「文心一格」是百度推出的一個基於文心大模型能力的AI藝術和創意輔助平台。該平台於2022年8月正式發布,利用百…

    Read more


  • Ai Gallery

    Ai Gallery

    Ai Gallery為用戶提供了一個強大的工具,利用人工智慧技術根據用戶輸入提示產生令人驚嘆的圖像。但是要強調…

    Read more


  • Graviti Diffus

    Graviti Diffus

    Graviti Diffus 是一個免部署的在線平台,專注於提供穩定擴散(Stable Diffusion)的…

    Read more


  • Aitubo

    Aitubo

    Aitubo是一個AI創作工具,它提供了方便且強大的功能,讓使用者能夠透過文本和照片輸入來生成藝術作品。 Ai…

    Read more


  • SeaArt

    SeaArt

    SeaArt AI是一款免費且強大的AI繪畫工具,它能夠幫助使用者無需專業技能,輕鬆生成高品質的繪畫作品。 S…

    Read more


  • Diffusion Art

    Diffusion Art

    DiffusionArt是一個精選的開源AI藝術模型庫,專注於藝術、動漫和照片逼真圖像的生成,涵蓋數十個類別。…

    Read more


  • 清爽涼拌黃瓜

    清爽涼拌黃瓜

    清爽涼拌黃瓜簡介:這道菜以新鮮的黃瓜為主要食材,口感清爽,適合夏天食用,消暑解渴。準備時間:10分鐘烹飪時間:…

    Read more


  • 清炒秋葵

    清炒秋葵

    清炒秋葵簡介:這道菜以新鮮的秋葵為主要食材,簡單清炒保留了秋葵的鮮甜口感,是一道清爽可口的家常菜。準備時間:1…

    Read more


  • 清炒時蔬

    清炒時蔬

    清炒時蔬簡介:這道菜以時令蔬菜為主要食材,經過清炒後,保留了蔬菜的鮮甜口感,營養豐富,清淡可口。準備時間:10…

    Read more


  • 涼拌海帶絲

    涼拌海帶絲

    涼拌海帶絲簡介:這道清涼爽口的涼拌海帶絲適合夏日食用,不僅口感爽脆,而且營養豐富。準備時間:15分鐘烹飪時間:…

    Read more


  • 清爽涼拌黃瓜

    清爽涼拌黃瓜

    清爽涼拌黃瓜簡介:這道菜以清爽的黃瓜為主要食材,口感爽脆,清涼解渴,是夏天的最佳選擇。準備時間:10分鐘烹飪時…

    Read more


  • 清炒芥蘭

    清炒芥蘭

    清炒芥蘭簡介:這道菜以新鮮的芥蘭為主要食材,經過快速清炒後,保留了蔬菜的鮮甜味道,是一道營養豐富的健康菜品。準…

    Read more


  • 清爽涼拌黃瓜

    清爽涼拌黃瓜

    清爽涼拌黃瓜簡介:這道清爽的涼拌黃瓜,口感爽脆,清新怡人,是夏日消暑的最佳選擇。準備時間:10分鐘烹飪時間:0…

    Read more


  • 清炒西蘭花

    清炒西蘭花

    清炒西蘭花簡介:這道菜採用新鮮的西蘭花,經過簡單清炒後,保留了原汁原味,清爽可口,是一道健康又美味的家常菜。準…

    Read more


  • 夏日涼拌黃瓜

    夏日涼拌黃瓜

    夏日涼拌黃瓜簡介:清爽涼口的夏日小食,適合作為開胃菜或下酒菜,簡單易做,清涼解渴。準備時間:10分鐘烹飪時間:…

    Read more


  • 涼拌海帶絲

    涼拌海帶絲

    涼拌海帶絲簡介:這道菜清爽爽口,適合夏天食用,海帶絲富含膳食纖維和礦物質,是一道健康美味的涼拌菜。準備時間:1…

    Read more