1374
中國研發(fā)能在垂直領(lǐng)域取得全球的SOTA。2024中國生成式AI大會于4月18-19日在北京舉行，在大會首日的主會場開幕式上，昆侖萬維董事長兼CEO方漢以《從天工SkyMusic音樂大模型談SOTA紅利》為題發(fā)表演講。
方漢強(qiáng)調(diào)了“技術(shù)領(lǐng)先”在AI領(lǐng)域的重要性，不同于互聯(lián)網(wǎng)時代產(chǎn)品的商業(yè)模式導(dǎo)向，大模型時代技術(shù)導(dǎo)向才能帶來市場上的領(lǐng)先優(yōu)勢，吸引大量用戶并獲取紅利。OpenAI在AI創(chuàng)企中的地位，本質(zhì)上是其文本大模型的SOTA（當(dāng)前技術(shù)指標(biāo)第一）能力帶來的。
對于當(dāng)前的AI創(chuàng)業(yè)者，在圖像、視頻、音樂等任何賽道，只要能取得SOTA，就能通過技術(shù)優(yōu)勢獲得大量用戶，后續(xù)再通過產(chǎn)品創(chuàng)新、商業(yè)模式創(chuàng)新把用戶固化在平臺上，形成自己的護(hù)城河。
在AGI和AIGC領(lǐng)域，昆侖萬維研發(fā)出了天工3.0模型，包含音樂大模型SkyMusic和全球最大規(guī)模的開源MoE大模型。其中音樂大模型SkyMusic就處于音樂領(lǐng)域的SOTA地位。
SkyMusic音樂大模型支持多種方言輸出，具有辨識度的自然人聲、降低音樂創(chuàng)作門檻和成本等，便于內(nèi)容行業(yè)發(fā)展?；谝糍|(zhì)、自然度和理解度方面的優(yōu)勢，即使是沒有音樂背景的普通人也能夠利用該技術(shù)進(jìn)行音樂創(chuàng)作，而這也將極大地擴(kuò)展音樂創(chuàng)作的可能性和范圍。
此外，天工3.0大模型數(shù)學(xué)、推理、代碼等方面能力大幅提升，同時具有多輪搜索與綜合工具的調(diào)用能力，將帶來內(nèi)容行業(yè)的爆發(fā)，同時也將促進(jìn)文化平權(quán)和打破壟斷，讓每個人更好地塑造和表達(dá)自我。
以下為方漢的演講實錄：SOTA其實是一個學(xué)術(shù)上用得非常多的專有名詞，全稱是“State of the Art”，這個比較拗口，其實是當(dāng)前技術(shù)指標(biāo)第一的意思。這本來是在機(jī)器學(xué)習(xí)領(lǐng)域用來評估模型的一個技術(shù)指標(biāo)，原本是個學(xué)術(shù)詞，為什么會備受關(guān)注？
1.在垂類領(lǐng)域拿到SOTA，才能將技術(shù)紅利轉(zhuǎn)化市場紅利
縱觀這一波大模型的投資以及創(chuàng)業(yè)浪潮，可以發(fā)現(xiàn)一個明顯的現(xiàn)象。在上一波移動互聯(lián)網(wǎng)，所有創(chuàng)業(yè)公司的CEO或者Leader基本上都是產(chǎn)品或者是商務(wù)背景，也就是說移動互聯(lián)網(wǎng)是商業(yè)模式和產(chǎn)品模式的創(chuàng)新，而這一波AI創(chuàng)業(yè)的大潮，所有AI公司的CEO基本上都是技術(shù)背景。
為什么呢？因為在AI領(lǐng)域技術(shù)遠(yuǎn)遠(yuǎn)超過產(chǎn)品商業(yè)模式，技術(shù)的領(lǐng)先才能帶來業(yè)務(wù)上的紅利。舉幾個例子，首先不可避免要談到這個行業(yè)的第一名，OpenAI。OpenAI為什么現(xiàn)在估值這么高，為什么全世界對它這么期許？因為本質(zhì)上在ChatGPT之后，它在文本大模型上的SOTA地位一直非常穩(wěn)固。直到Claude 3出來之后，才第一次有大模型可以接近GPT-4的位置，所以它趕忙拋出Sora，這是在視頻生成領(lǐng)域的SOTA。也就是說在最泛化的通用人工智能、文本大模型領(lǐng)域，OpenAI的SOTA紅利非常明顯。
但是我們看圖像生成賽道，DALL·E 3出來得非常早，但是很快像Midjourney、Stable Diffusion出來之后，這些中小型的創(chuàng)業(yè)公司獲取大量的用戶，遠(yuǎn)遠(yuǎn)超過OpenAI的DALL·E 3。為什么？就是因為DALL·E 3沒有達(dá)到SOTA。SOTA被Midjourney以及后面的一些中小創(chuàng)業(yè)公司拿到，用戶肯定會選擇中小公司的產(chǎn)品，而不會選擇其他公司的產(chǎn)品。也就是說在任何一個領(lǐng)域，對于我們所有的創(chuàng)業(yè)者和后來者，只要你能在這個領(lǐng)域拿到技術(shù)指標(biāo)上的第一，你就能夠獲取大量的用戶。
在獲取大量用戶之后，才可以用你的產(chǎn)品模式、商業(yè)模式把這些用戶固化在你的平臺上。從長期來看，只要新的大模型和新的競爭者沒有明顯的代際壓制的話，你仍然能夠繼續(xù)靠這些用戶獲取紅利。就像Midjourney V6出來之后，它的SOTA地位已經(jīng)不是很穩(wěn)固了，但是用戶基礎(chǔ)仍然很堅實。
前面是我的一些背景介紹，當(dāng)然中國企業(yè)因為進(jìn)入大模型賽道，其實大家都蠻晚的，但是我們在全球的競爭中心仍然是堅持技術(shù)第一，我們一定要在某個垂類領(lǐng)域拿到SOTA之后，才能夠由技術(shù)上的紅利，轉(zhuǎn)化為用戶和市場上的紅利。
2.以天工大模型為底座，形成六大業(yè)務(wù)矩陣
首先給大家匯報一下昆侖萬維是從什么時候開始做AGI和AIGC這件事情。我們是2020年GPT-3出來的時候就成立了一支團(tuán)隊做文本大模型的預(yù)訓(xùn)練工作，2021年開始做音樂大模型的生成預(yù)研工作，當(dāng)然我們也走過很多彎路，比如音樂大模型一開始走的符號生成，再轉(zhuǎn)到端到端。現(xiàn)在所有垂直賽道到終局一定是端到端。
2022年12月，我們發(fā)布了中國首個開源文本大模型，當(dāng)時海外的各種開源大模型也沒出來，這是來自中國企業(yè)的第一個基于中文的13B開源文本大模型。2023年4月17日，我們發(fā)布了天工1.0；8月23號發(fā)布了國內(nèi)首個AI搜索“天工AI搜索”。今年4月17日，我們發(fā)布天工3.0，包含首個中國的音樂AIGC賽道的SOTA，也就是SkyMusic音樂生成模型，以及4000億參數(shù)的全球最大規(guī)模的開源MoE大模型。
目前我們有六大業(yè)務(wù)矩陣，包括AI大模型、AI搜索、AI音樂、AI視頻、AI社交和AI游戲。雖然矩陣這么多，但我們目標(biāo)非常清晰。首先我們一定要做底座模型——天工大模型，從原來的文本大模型到現(xiàn)在的MoE大模型，再到下一代多模態(tài)大模型，我們一定要在底座大模型上持續(xù)去演進(jìn)。為什么？因為現(xiàn)在有一個明顯的現(xiàn)象，所有垂直賽道的各種垂類模型，不管音頻、音樂、視頻、圖像還是3D模型其實都嚴(yán)重依賴于底座文本大模型的能力，如果底座文本大模型能力不行，各種垂類模型能力上限比較低。社交、音樂、游戲和視頻都屬于AIGC垂類賽道，我們認(rèn)為在這些垂類賽道上只要進(jìn)行持續(xù)和長期的投入，就一定可以達(dá)到SOTA，從而獲取市場上的領(lǐng)先優(yōu)勢。
3.中國首個音樂AIGC上的SOTA，近2000萬首全量音樂數(shù)據(jù)集
首先給大家介紹一下天工音樂大模型SkyMusic，這個現(xiàn)在已經(jīng)對全量用戶開放了，大家在App Store和應(yīng)用商店搜索“天工”，“天工”里面有一個音樂的type，大家可以立刻去使用，這是中國第一個音樂AIGC上的SOTA。這是我們把剁椒魚頭的菜譜做成一首歌的案例演示，是用粵語演唱出來的。
這是天工AI音樂和龐博聯(lián)合的案例，我們把龐博寫的詞做成了一首歌。
下面說一下技術(shù)指標(biāo)，目前SkyMusic和Suno V3版本相比，在人聲、BGM音質(zhì)、人聲自然度、發(fā)音可懂度方面都已經(jīng)擊敗了Suno。我們相信在下一個版本里面可以把這個差距繼續(xù)拉大。
AI音樂大模型，自2021年開始研發(fā)到現(xiàn)在走過三年歷程，我們技術(shù)路線也在不斷地演進(jìn)。去年8月份Sora沒有出來，我們就已經(jīng)轉(zhuǎn)向Diffusion Transformer架構(gòu)，因為這個架構(gòu)是最為Scale up的一種架構(gòu)。我們的數(shù)據(jù)集包含將近兩千萬首全量的音樂數(shù)據(jù)集，并且經(jīng)過三年多的清洗和處理，其數(shù)據(jù)質(zhì)量是有保障的。我們采用類DiT架構(gòu)做了SkyMusic音樂大模型的研發(fā)，目前這個大模型還只是我們的第一個版本，后續(xù)在實驗室版本會實現(xiàn)更多的功能。
下面介紹一下我們有哪些非常獨(dú)特的優(yōu)勢。用過Suno的都知道，你選擇的是文本標(biāo)簽和風(fēng)格。我們現(xiàn)在的制作方法是，上傳一首你喜歡聽的歌，甚至你自己錄的一個旋律，我們都能根據(jù)這個生成音樂。這其實更像傳統(tǒng)的音樂工作者創(chuàng)作音樂的一個邏輯，很多音樂工作者先在腦?；蛘咦彀秃叱鲆欢吻?，然后寫下來，根據(jù)這個再做主歌、副歌、編曲的工作，SkyMusic示例音源生成音樂的能力非常強(qiáng)。
第二，我們支持單一語種方言的輸出能力。目前中文版本已經(jīng)支持四川話、粵語、北京話、天津話、上海話等多種方言版本，這個對于用戶來說是非常有意義的。最后是更具辨識度的自然人聲。人聲的音源質(zhì)量，以及對于各種人群，女聲、男聲、幼兒聲和成人聲，SkyMusic都有非常好的一個泛化。當(dāng)
做到技術(shù)上的SOTA時，怎么把技術(shù)上的SOTA轉(zhuǎn)為產(chǎn)品上的紅利？
我們認(rèn)為所有的AIGC，包括音樂創(chuàng)作的大模型出來后，首先極大降低了音樂創(chuàng)作門檻。就像我發(fā)的朋友圈，“人人皆可以歌明志”。以前我們做一首歌的邏輯是什么？首先要從四五歲就開始學(xué)鋼琴、學(xué)樂理、學(xué)樂譜。我自己的孩子在鋼琴方面可能花了七八年才考到一個專業(yè)級別，這個訓(xùn)練時間很長。如果他能成為一個作曲家，可能還要在大學(xué)里面再學(xué)四年，學(xué)完四年之后這還只是作曲，作完曲還要編曲，編曲完還要找歌手演唱、找錄音棚來錄。
我們在市場上錄一首歌從頭到尾，哪怕用最簡化的配置、最普通的設(shè)備也要兩萬人民幣左右。這就導(dǎo)致了整個音樂創(chuàng)作，實際上僅僅依靠一個人是沒有能力創(chuàng)作歌曲的，但是有了SkyMusic大模型之后，所有人只要花1分鐘時間，只要你有歌詞，就能生成一首完整的歌曲，極大降低了音樂創(chuàng)作的門檻和造福全體內(nèi)容行業(yè)。
以前大家知道所謂的配樂全是拿現(xiàn)有的曲子往視頻內(nèi)容上配，今天可以把這個話題極大泛化，比如今天的主題演講，可以給每一位主題演講者配一首歌，比如微博上每一個大V給他們寫一首關(guān)于他們的歌曲，這個對于全體的內(nèi)容行業(yè)都非常便利。
最后，SkyMusic證明中國研發(fā)也可以在垂直領(lǐng)域取得全球的SOTA，從而讓中國企業(yè)在全球的AIGC市場上去和國外的同行正面競爭，獲取我們應(yīng)有的市場份額。
4.4000億參數(shù)開源MoE大模型天工3.0，拉低全領(lǐng)域創(chuàng)作門檻
下面介紹一下天工3.0，我們4月17日開啟公測的4000億參數(shù)的全球最大規(guī)模的開源MoE大模型，目前性能已經(jīng)全部超越xAI發(fā)布的3140億參數(shù)的MoE大模型Grok-1。這是天工3.0 400B參數(shù)的MoE大模型的技術(shù)底座，目前在MMBench推理能力測試中標(biāo)藍(lán)色的是處于領(lǐng)先的技術(shù)指標(biāo)，我們在這個技術(shù)指標(biāo)上還是遙遙領(lǐng)先的。
天工3.0，功能全面升級，它更聰明，模型的技術(shù)知識能力提升超過20%；數(shù)學(xué)、推理、代碼、文創(chuàng)能力提升30%；內(nèi)容創(chuàng)作能力，包括能搜索、能寫作、能閱讀、能聊天，能夠語音對話，能夠文生圖，能夠給你作詞作曲。給大家演示一下多輪搜索與綜合工具的調(diào)用能力。圖中問題是成都迪士尼怎么去，成都迪士尼實際上是一個梗，它是成都的一個小區(qū)，并不是真正的迪斯尼樂園。這時候通過搜索和大模型結(jié)合就判斷出來成都迪士尼實際上是一個網(wǎng)絡(luò)梗，但它還是把怎么去成都迪士尼這個小區(qū)規(guī)劃做出來。當(dāng)你問到上海迪士尼天氣時候，大模型又生成一張?zhí)鞖饪ㄆ?，告訴你今天上海迪士尼下雨，最后再調(diào)用文生圖給你生成一張圖片。
第二個研究模式，做研究需要寫大綱、寫知識圖譜和思維導(dǎo)圖，而天工3.0在自動搜索之后不僅僅能生成表格，而且可以迅速生成大綱和自動生成腦圖，最后自動生成腦圖，可以即貼即用。智能體廣場可以構(gòu)建超強(qiáng)的AI智能體，去幫助你完成相應(yīng)的工作。例如造一個智能體，幫助研究小米汽車和特斯拉汽車的一個差別，進(jìn)行大量搜索獲取大量資料后，模型開始生成文圖俱備的對比表格，對于做文案工作的同學(xué)非常關(guān)鍵。
5.昆侖萬維新使命：實現(xiàn)AGI，讓每個人更好地塑造和表達(dá)自我
昆侖萬維作為一家中國的互聯(lián)網(wǎng)企業(yè)，現(xiàn)在的戰(zhàn)略是All in AGI與AIGC。我們在2023年宣布了公司的新使命：實現(xiàn)通用人工智能，讓每個人更好地塑造和表達(dá)自我。
為什么要做這樣一個使命的修正？因為實現(xiàn)通用人工智能，本質(zhì)上是基于文本大模型把人類所有的知識壓縮到我們的通用大模型里面，這樣是通向通用人工智能的必經(jīng)之路。但是大家知道通用人工智能在現(xiàn)實中的落地是有先后之分的，什么樣的場景會更容易落地？
其實也比較簡單，有人開玩笑說，大模型剛出來的時候大家都覺得所有做生產(chǎn)工作的同學(xué)會最早失業(yè)，所有做創(chuàng)意藝術(shù)的同學(xué)應(yīng)該是位置是最穩(wěn)固的。但實際上經(jīng)過這段時間的發(fā)展，大家可以看到，所有做文藝創(chuàng)作的同學(xué)失業(yè)概率會更大一些，也就是說在內(nèi)容生成領(lǐng)域，其實AI的落地更容易。很簡單，因為內(nèi)容生成領(lǐng)域容錯率極高，用戶對于內(nèi)容錯誤忍耐度非常高。我們可以容忍我們畫上、視頻的人多一根手指頭、少一根手指頭。但是我們工作中，你哪怕小數(shù)點后面少一位，這都是巨大的生產(chǎn)事故。
也就是說在容錯率高的內(nèi)容賽道，這一波大模型和人工智能的發(fā)揮空間是非常大的。我們在人工智能、AIGC領(lǐng)域，研究目的就是降低創(chuàng)作的門檻。不管是文生圖、文生視頻、文生音樂、文生音效還是文生3D資產(chǎn)，本質(zhì)上就是移除所有前序我們所需要的長期的專業(yè)訓(xùn)練，而讓任何一個人覺得只要你會講故事，就可以創(chuàng)造出相應(yīng)的內(nèi)容來表達(dá)你自己。
這會帶來什么樣的影響？首先大家知道創(chuàng)作內(nèi)容的成本極大降低了，創(chuàng)作內(nèi)容的門檻降低了。我們知道創(chuàng)作內(nèi)容方面只要門檻降低，創(chuàng)作內(nèi)容的人數(shù)會急劇膨脹。舉個例子，我小時候拍視頻都是電視臺記者扛幾十公斤的攝像機(jī)拍，這時候創(chuàng)作者非常少。但是智能手機(jī)出現(xiàn)之后把拍攝者變成全中國十幾億人，人人可以拍視頻，結(jié)果就是短視頻行業(yè)的巨大發(fā)展。這一波AI把全領(lǐng)域的創(chuàng)作門檻都拉低了，結(jié)果是什么？整個內(nèi)容行業(yè)會迎來一個巨大的爆發(fā)。
同時，它還帶來另外一個文化平權(quán)和打破壟斷的作用。為什么？我在非洲待了蠻長時間，在尼日利亞的時候，了解到尼日利亞拍一部在院線上線電影的平均成本是兩萬美金到二十萬美金之間，這樣拍出來的片子和中國四五億人民幣拍出來的《流浪地球》、美國四五億美金拍出來的“漫威”系列電影相比，是毫無競爭力的。但是在我們下一代AIGC技術(shù)出來之后，我們認(rèn)為全世界所有的弱勢文化的人都可以用非常低廉的成本，創(chuàng)造出媲美歐美強(qiáng)勢文化的內(nèi)容。
這樣的結(jié)果是什么？每個弱勢文化的族群都可以通過AIGC技術(shù)來產(chǎn)生適合自己民族的文化、產(chǎn)生適合自己小語種的文化，這個對于全世界的文化平權(quán)是非常有意義的。這也就是第二條，讓每個人更好塑造和表達(dá)自我，這也是研發(fā)人員在文生音樂、文生視頻、文生小說、文生漫畫等內(nèi)容創(chuàng)作領(lǐng)域持續(xù)不斷迭代改進(jìn)的一個終極目的。
以上是方漢演講內(nèi)容的完整整理。
下載ECAD模型
