大模型，化繁為簡歸文心

近兩年，圍繞大模型的技術創(chuàng)新、工具創(chuàng)新層出不窮。在繁花似錦的整體趨勢下，我們似乎也能看到隱藏的問題。比如大模型的門檻依舊偏高，與產(chǎn)業(yè)結合更多偏向案例性質，大范圍應用還有非常多的挑戰(zhàn)。參數(shù)繁榮、技術繁多、種類繁復的大模型，正有待迎接一次轉變。

11月30日，由深度學習技術與應用國家工程研究中心主辦、飛槳承辦的WAVE SUMMIT+ 2022在線上舉行。期間，圍繞文心大模型的一系列更新、升級引發(fā)了開發(fā)者廣泛關注。如果我們?yōu)槲男拇竽Ｐ偷纳夁M行一個簡要描述，或許可以用到“化繁為簡”這個詞。

而在構建智能化基座的過程中，大模型的產(chǎn)業(yè)化路徑，必然是要封裝復雜的模型生產(chǎn)過程，從而高效支撐千行百業(yè)應用。

大模型的復雜技術與研發(fā)挑戰(zhàn)，應該是停留在產(chǎn)業(yè)上游的。具有算法、算力和數(shù)據(jù)綜合優(yōu)勢的企業(yè)，應該將模型生產(chǎn)進行封裝，在產(chǎn)業(yè)鏈上游就解決大數(shù)據(jù)、大算力、大模型的能力挑戰(zhàn)。這樣，應用場景與企業(yè)用戶、開發(fā)者，將得到簡單、易用、工業(yè)化的大模型能力。只有這樣，大模型才能真正落下去、推廣開。

兩點之間，直線最短。大模型已經(jīng)來到了化繁為簡的臨界點，而百度正在用飛槳+文心大模型，在技術與產(chǎn)業(yè)之間畫出這條直線。

在目前階段，大模型正處在高速發(fā)展期。我們近乎每個月，甚至每星期都可以看到產(chǎn)業(yè)界、學術界公布大模型創(chuàng)新。并且在今天，已經(jīng)很少看到大模型創(chuàng)新過分執(zhí)著參數(shù)對比，更多是進行不同技術路線、不同應用領域的多樣化創(chuàng)新。

與此同時，伴隨著大模型種類、功能的繁復多樣，輔助大模型的開發(fā)工具、軟硬件基礎設施、開源開放平臺也豐富了起來，圍繞大模型的產(chǎn)業(yè)生態(tài)開始壯大。

然而在這種情況下，我們依舊會發(fā)現(xiàn)大模型發(fā)展中有一個客觀存在的核心問題：產(chǎn)業(yè)主要提升的，是“訓大模型”的能力，而不是“用大模型”的能力。

一般來說，前者關注如何讓大模型更加“繁華”；但后者卻需要考慮實際場景，消弭應用門檻。在某種程度上需要反過來，化繁為簡。

2.想要應用成熟的大模型，又往往缺少產(chǎn)業(yè)示范與行業(yè)路徑。不知道自己的行業(yè)該用哪種大模型，行業(yè)知識與行業(yè)需求如何與大模型對齊。

3.即使選到想用的大模型，又會發(fā)現(xiàn)本地環(huán)境難以兼容適配。大模型應用的工程化能力很難讓人滿意。

面對這些問題，千行百業(yè)需要從基礎模型、開發(fā)工具、開發(fā)社區(qū)，到行業(yè)路徑的一系列幫助與加持，打通從大模型到產(chǎn)業(yè)的一系列關節(jié)。這種圍繞行業(yè)需求與產(chǎn)業(yè)應用進行創(chuàng)新，而不是圍繞大模型本身進行提升的思路，就是百度發(fā)展文心大模型，以及構建飛槳+文心產(chǎn)業(yè)智能化基座的獨特思路。

WAVE SUMMIT+ 2022所展現(xiàn)的，就是這種思路的進一步完備與壯大。

面向這種困難，只有一個個行業(yè)去探索，在重點行業(yè)形成有效的大模型落地參考路徑。這或許是“最重”的選擇，但同時也是“最優(yōu)解”。

今年5月，文心大模型面向具體的行業(yè)需求，發(fā)布了行業(yè)大模型這一全新發(fā)展路徑。其通過文心大模型的基礎模型能力，搭配對海量行業(yè)數(shù)據(jù)的挖掘，以及由合作機構、行業(yè)客戶提供的行業(yè)特色數(shù)據(jù)和知識，加上行業(yè)特色的專家經(jīng)驗多方結合，進行相應的行業(yè)訓練任務設計，最終形成了文心行業(yè)大模型。

在與行業(yè)結合的過程中，文心大模型知識增強與產(chǎn)業(yè)級兩大特色得以充分發(fā)揮，形成了行業(yè)知識增強的關鍵路徑。這一路徑不僅解決了大模型的應用挑戰(zhàn)，還凝結成了一系列面向重點行業(yè)的大模型產(chǎn)業(yè)落地方法。實現(xiàn)了大模型在行業(yè)場景中“不但能用還便捷好用”的價值。

在本次峰會上，文心行業(yè)大模型持續(xù)升級，在原有能源、金融、航天、傳媒等行業(yè)的基礎上，進一步升級到了11個行業(yè)大模型，將行業(yè)大模型延伸到了制造業(yè)、城市管理、汽車等關鍵領域?？梢哉f，行業(yè)大模型已經(jīng)從先鋒、探索性質，發(fā)展到了覆蓋行業(yè)眾多、體系完備的新階段。從應用效果與行業(yè)覆蓋上來說，都已經(jīng)實現(xiàn)了蔚為大觀。

在哈爾濱，近年來冰城探索了一系列AI技術賦能城市高質量發(fā)展、東北老工業(yè)基地振興的嘗試，取得了顯著成效。而就在剛剛，哈爾濱市政府攜手百度，聯(lián)合發(fā)布面向城市領域的行業(yè)大模型——冰城-百度·文心。

冰城-百度·文心大模型，可以將城市中跨業(yè)務、跨結構、跨部門的數(shù)據(jù)知識和多種任務算法進行融合，基于百度文心NLP大模型ERNIE 3.0，打造統(tǒng)一預訓練模型，提供強大的語言理解、語義分析等能力，支撐城市中各領域的AI規(guī)?；Ч嵘?。文心行業(yè)大模型，至此可以從城市治理、產(chǎn)業(yè)發(fā)展、公共服務等多個領域支持哈爾濱的數(shù)字化發(fā)展。從產(chǎn)業(yè)路徑上看，這一聯(lián)合發(fā)布、聯(lián)合打造，將大模型與智慧城市需求有效結合在了一起，為更多城市獲得大模型價值提供了參考路徑。

如今，行業(yè)大模型已經(jīng)在多個領域取得可信的成果。比如文心大模型與電影頻道結合，可以實現(xiàn)每天修復28.5萬幀老舊影片。即使是精修，文心大模型的修復速度也較人工效率提升了3到4倍。在能源、金融等一系列領域，行業(yè)大模型已經(jīng)形成了產(chǎn)業(yè)智能化的發(fā)展路標。

當然，除了行業(yè)大模型之外，文心大模型還以更多方式融入更廣泛的行業(yè)應用。比如從2019年3月文心ERNIE1.0發(fā)布以來，幾乎百度全系列產(chǎn)品都在逐步使用文心大模型。在千行百業(yè)，文心大模型已通過飛槳開源開放平臺、百度智能云等賦能到工業(yè)、能源、金融、通信、媒體、教育等各行各業(yè)。

行業(yè)有路徑，是文心大模型持續(xù)升級的首要目標。

在真實的應用場景中，企業(yè)和開發(fā)者需要接入大模型的方式是十分多樣的。有的企業(yè)確實需要自己開發(fā)大模型；也有企業(yè)需要以最低成本完成大模型適配；還有一些企業(yè)可能需要具有特殊能力的模型；有一部分企業(yè)需要產(chǎn)品級、可API接入的大模型能力。

只有從模型到工具，再到產(chǎn)品、社區(qū)都有完善、完整的技術儲備，才有能力降低大模型應用門檻，才有機會成為產(chǎn)業(yè)智能化的基座。

為此，百度全面升級了文心大模型的全景圖，既豐富了大模型的種類。同時也在大模型開發(fā)工具、產(chǎn)品能力、社區(qū)建設上進行了升級。

同時，在跨模態(tài)領域，百度發(fā)布跨模態(tài)理解大模型ERNIE ViL 2.0、跨模態(tài)生成大模型ERNIE ViLG 2.0、文檔智能大模型 ERNIE-Layout。在生物計算方面，最新發(fā)布了蛋白質預測模型HelixFold-Single。而在任務大模型方面，則發(fā)布了代碼大模型ERNIE-Code。其可以通過多語言學習的形式，在語料上更加豐富多樣，使得模型能力更強，并且能夠支持多個語種。

在一系列新加入的模型之外，百度也在推動大模型開發(fā)工具建設、產(chǎn)品化升級與社區(qū)建設。在工具與平臺的技術升級上，百度提供面向場景化，以及行業(yè)大模型的配套能力。比如在模型精調方面提供的技術工具更加豐富，大模型的API當中將包含更豐富的精調能力。同時，在大模型訓練中也會添加一系列可信學習工具，滿足開發(fā)者對大模型的安全、可控需求。

在文心大模型的產(chǎn)品和社區(qū)方面，百度保留了旸谷社區(qū)作為創(chuàng)意社區(qū)。同時增加了兩款以大模型為核心驅動的產(chǎn)品。這些產(chǎn)品既可以直接賦能給有相關需求的產(chǎn)業(yè)用戶和泛科技用戶，豐富大模型的應用價值。同時也為行業(yè)起到了示范作用，展示了大模型產(chǎn)品化的技術路徑。

在最近備受關注的AIGC方面，百度打造的文心一格，在本次峰會上進行了一系列新能力的發(fā)布。比如近期非?；鸨囊詧D生圖能力、圖片通過文字進行編輯的能力，以及一鍵生成視頻的能力。

從新的模型、新的工具，到產(chǎn)品與社區(qū)的升級，文心大模型可以說從多角度、全方位升級了技術儲備。這些技術能力對應著不同類型開發(fā)者、企業(yè)對大模型的多樣化需求。只有滿足這些具體的需求，打通一個個關隘，大模型才能去向它最應該去的地方——應用。

為了解決這些問題，百度的思考是盡量畫一條直線，讓開發(fā)者與行業(yè)可以不走彎路，以最高效率直接抵達大模型的內(nèi)在價值。

這條直線，需要包含工具集成性、技術豐富性、行業(yè)路徑完善性等等價值。只有把這些能力合而為一，才能實現(xiàn)將化繁為簡的目標。面向大模型的產(chǎn)業(yè)需求、應用場景，不僅需要做到有模型、有工具，同時需要將大模型與深度學習平臺結合起來，滿足企業(yè)、開發(fā)者從算力到應用的全流程需求。

為了更好幫助企業(yè)與開發(fā)者，實現(xiàn)從開發(fā)大模型到應用大模型的全流程實踐，百度勾勒出了飛槳+文心，即深度學習平臺+大模型的產(chǎn)業(yè)路徑。二者結合，開發(fā)者可以獲得從算力、框架、模型庫，再到大模型調用、大模型行業(yè)化的所有能力，獲得了完善、穩(wěn)固的產(chǎn)業(yè)智能化基座。自然也就完成了從大模型到產(chǎn)業(yè)的最短距離直達。

至此，我們可以看到百度在搭建飛槳+文心產(chǎn)業(yè)基座，賦能大模型開發(fā)過程中的清晰思路：大模型并不僅僅是某種技術的創(chuàng)新，或者一個平臺的搭建。而是需要從最終用戶，最開發(fā)者與企業(yè)的應用需求出發(fā)。一步步倒推需要哪些支持，每一個環(huán)節(jié)還有哪些阻礙？

只要將這些阻礙一個個解決掉，將支持一個個搭建好，將所有復雜且具有挑戰(zhàn)的事先行完成，那么開發(fā)者和企業(yè)最終就將得到最簡單、可用的大模型。大模型與產(chǎn)業(yè)之間，也就實現(xiàn)了兩點之間，直線最短的連接。

這就是百度式的大模型發(fā)展思路，這就是化繁為簡歸文心。