百度NLP的十年、今夕與未來

七夕是什么？

對于中國人來說，七夕絕不僅僅是一個關于愛情和浪漫的節(jié)日記憶。它是對美好的詩性眷戀，對想象的包容，對不可能的掙脫，對星辰大海與人間煙火的歸一。

而今人與古人最大的區(qū)別在于，今天我們有了科學的工具。在古人只能想象牛郎織女的故事時，在同樣的七夕，今人可以自己動手去變不可能為可能。

英國詩人塞繆爾·約翰遜說，語言是科學的唯一工具。古時候，人類很早就有了巴別塔的傳說，希望讓不同國家、族群的人享受無界限的語言；而在今天，各行各業(yè)都需要語音、語義、知識相關的自然語言技術，來提高產(chǎn)業(yè)智能化水準，升級工作間的溝通與交流效率；面向未來，人類還希望通過自然語言與機器對話，與萬物交互，讓語言跨過人機交互的界限。

這些希望，就像這個時代關于牽?？椗膲艟常珔^(qū)別在于，這個七夕有人正在努力讓夢境變成現(xiàn)實。并且為了這個目標，他們已經(jīng)奔跑了整整十年。

用技術破解語言的謎題的實現(xiàn)方式，就是 AI 的重要分支 NLP 技術。而國內(nèi)最著名的 NLP 技術團隊與產(chǎn)業(yè)旗幟，就是百度 NLP。

8 月 25 日七夕這天，以“掌握知識、理解語言、擁有智能”為主題的百度大腦語言與知識技術峰會在線上開啟。百度 CTO 王海峰發(fā)表主旨演講，解讀百度語言與知識技術的發(fā)展歷程與最新成果，與產(chǎn)學研各界分享技術及產(chǎn)業(yè)發(fā)展趨勢和展望。

百度集團副總裁吳甜和百度技術委員會主席吳華分別發(fā)布百度語言與知識技術系列產(chǎn)品和數(shù)據(jù)集共建計劃，推出 3 大新品和 6 項升級，全面加速 NLP 技術大規(guī)模產(chǎn)業(yè)應用。

成立十年以來，百度 NLP 團隊始終都是中國 NLP 在學術探索與產(chǎn)業(yè)落地方面的雙向引領者。王海峰認為，“在百度語言與知識技術的布局和發(fā)展中，我們始終在注意把握兩個趨勢，即技術發(fā)展趨勢和產(chǎn)業(yè)發(fā)展趨勢，并力爭引領趨勢?！?/p>

從研究方法、研究對象、研究方向、產(chǎn)業(yè)應用等各個層面來看，百度 NLP 都是今天中國布局最完整，與產(chǎn)業(yè)接軌最成熟，技術前沿性最豐富的產(chǎn)業(yè)力量。十年來，百度在 NLP 領域獲得包括國家科技進步獎在內(nèi)的 20 多個獎項，30 多項國際競賽冠軍，發(fā)表學術論文超過 300 篇，申請專利 2000 多項。同時也積極推動 NLP 技術產(chǎn)業(yè)落地，與行業(yè)發(fā)展緊密結(jié)合，將 NLP 技術優(yōu)勢平臺化開放給廣大開發(fā)者，引領智能語言技術與千行萬業(yè)結(jié)合。

如果說，古人想象的最大界限，就是牛郎織女間的銀河，那么全球化的今天，人與人、人與機器間的最大界限，就是語言的界限。神話的鵲橋橫穿銀河兩端，今天百度 NLP 所做的事情，就是為智能時代搭建一座新的語言鵲橋。解析這場峰會，我們可以讀懂：

過去十年，百度打造了怎樣的 NLP 藍圖？

此刻的產(chǎn)業(yè)機遇期，百度如何為千行萬業(yè)提供 NLP 的動力與加速度？

面向未來，人類的新巴別塔上，還有哪些待解之謎？

一座語言的鵲橋，在此刻的煙火塵世與未來的智能時代間凝結(jié)——以百度 NLP 之名。

往昔的耕耘：十年蘊育百度 NLP 藍圖

十年發(fā)展的百度 NLP，確實已經(jīng)積累了太多技術、應用與產(chǎn)業(yè)案例。但百度今天的 NLP 實力，又是牢牢建立在過往十年的產(chǎn)業(yè)發(fā)展底座上。所以在百度大腦語言與知識技術峰會中，王海峰首先全面分享了百度在語言與知識技術領域的完整布局和最新成果。為我們展示了一張歷時十年，耕耘而出的百度 NLP 全景圖：

在堪稱 NLP 底座的知識領域，百度打造了世界上最大規(guī)模知識圖譜，擁有超過 50 億實體和 5500 億事實，并在不斷演進和更新。百度知識圖譜應用于各行各業(yè)，每天的調(diào)用次數(shù)超過 400 億次。

在此基礎上，百度不斷強化堪稱 NLP 核心的語義理解技術能力。2019 年 3 月，百度提出知識增強的語義理解框架 ERNIE，在深度學習的基礎上融入知識，具備人類一樣的學習能力，曾一舉登頂全球權威數(shù)據(jù)集 GLUE 榜單，首次突破 90 分大關?；谥R圖譜和語義表示，實現(xiàn)了閱讀理解、對話理解以及跨模態(tài)深度語義理解。

為了讓人機交互自然流暢，語言生成技術是 NLP 體驗的關鍵。基于預訓練技術的成功經(jīng)驗，百度提出基于多流機制的語言生成預訓練技術，兼顧詞、短語等不同粒度的語義信息，顯著提升生成效果。百度也探索了多文檔摘要生成，通過圖結(jié)構語義表示引入篇章知識，在單文檔和多文檔摘要生成效果都有提升。

這些技術藍圖流入產(chǎn)業(yè)譜系，就構成了百度 NLP 技術在應用層面的深耕與實踐。在對話系統(tǒng)領域，百度提出了知識圖譜驅(qū)動的對話控制技術，以及首個基于隱空間的大規(guī)模開放域?qū)υ捘Ｐ?PLATO 等，并推出智能對話定制和服務平臺 UNIT，可幫助開發(fā)者高效構建智能對話系統(tǒng)，實現(xiàn)規(guī)?；瘧谩?/p>

在另一個重要的 NLP 應用機器翻譯領域，百度翻譯目前能夠支持 200 多種語言，每日響應超過千億字符的翻譯請求，支持超過 40 多萬家第三方應用，技術上，提出了多智能體聯(lián)合學習、基于語義單元的同傳模型、稀缺語種分組混合訓練算法等。

百度大腦語言與知識技術的探索，同時還以平臺化的方式輸出，賦能千行萬業(yè)，提升社會生產(chǎn)的普遍智能化水準。

從這張根據(jù)公開數(shù)據(jù)整理的全球 NLP 巨頭產(chǎn)業(yè)布局對比圖中，我們可以發(fā)現(xiàn)百度 NLP 在核心技術、產(chǎn)品應用布局，以及研發(fā)力量儲備上，都已經(jīng)具備了國際一流水準，可以與谷歌、微軟兩大 AI 巨頭一教高下。百度 NLP 的產(chǎn)業(yè)成績，已經(jīng)客觀達成了國內(nèi)最強、世界頂級，開啟了代表中國 NLP 產(chǎn)業(yè)向未來航行的領軍者態(tài)勢。

十年蘊育成了百度 NLP 藍圖，同時也蘊育了百度在語言與知識領域的不斷突破與創(chuàng)新能力。今天，百度 NLP 并沒有停下腳步，而是為千行萬業(yè)與廣大 AI 開發(fā)者帶來了最浪漫的七夕禮物。

此刻的浪漫：5 款新產(chǎn)品、2 大計劃，推動 NLP 邂逅產(chǎn)業(yè)

推動 NLP 技術走向產(chǎn)業(yè)，融入智能化進程，是以深度學習為代表的 AI 第四次興起周期中最重要的產(chǎn)業(yè)議題之一。而這一目標，是建立在大量可規(guī)?；瘡陀谩⒛軌蛑喂I(yè)級應用的 NLP 技術與產(chǎn)品基礎上的。為此，百度在七夕這天帶來了重磅的 NLP 禮物——百度集團副總裁吳甜接續(xù)發(fā)布文心（ERNIE）、TextMind、AI 同傳會議解決方案、智能創(chuàng)作平臺、智能對話定制與服務平臺 UNIT 等 5 款新產(chǎn)品：

百度推出的語義理解技術與平臺文心（ERNIE），基于深度學習平臺飛槳打造，提供一站式 NLP 開發(fā)與服務，將減少開發(fā)者 90%數(shù)據(jù)標注量、90%算力投入、85%模型開發(fā)時長，進而全面降低 NLP 定制開發(fā)的成本，讓開發(fā)者更簡單、高效地定制企業(yè)級 NLP 模型。

全新發(fā)布 TextMind 智能文檔分析平臺，基于 OCR、NLP 技術，以文檔解析為核心能力，支持文檔對比與文檔審核，具備“多快好省”的核心優(yōu)勢，促進企業(yè)辦公智能升級。

全新發(fā)布 AI 同傳會議解決方案，覆蓋會議全場景、全流程，旨在打造用戶隨身的“會議同傳專家”。在邀測期間，百度 AI 同傳會議解決方案已經(jīng)支持了上百場會議，覆蓋數(shù)十個領域，包括線上遠程會議、線下會議。

百度大腦智能創(chuàng)作平臺針對媒體應用場景再升級，全新推出智能策劃、智能采編、智能審校三大媒體場景方案，進一步助力媒體效率，加強采編能力。

智能對話定制與服務平臺 UNIT 升級 3 大特性：更智能的任務式對話理解、極致便捷的表格問答和融合通用的新引擎。截至目前，UNIT 平臺已有 2.7 萬開發(fā)者，10 萬應用，累計交互 4200 億，并積累知識 2.4 億。此次 UNIT 全新推出的三大能力，將進一步降低任務式對話、智能問答的定制成本，并融合通用對話能力，提升交互體驗。

在 NLP 產(chǎn)業(yè)化落地中，另一個長期挑戰(zhàn)是數(shù)據(jù)匱乏、算力不足。為應對挑戰(zhàn)，百度聯(lián)合中國計算機學會、中國中文信息學會發(fā)起全球首個中文自然語言處理數(shù)據(jù)共建計劃——千言，解決數(shù)據(jù)稀缺問題。

千言一期由來自國內(nèi) 11 家高校和企業(yè)的數(shù)據(jù)資源研發(fā)者共同建設，已涵蓋開放域?qū)υ?、閱讀理解等 7 大任務，20 余個中文開源數(shù)據(jù)集。百度技術委員會主席吳華表示，百度計劃在未來 3 年，面向 20 余個任務，收集和建設不少于 100 個中文自然語言處理數(shù)據(jù)集，覆蓋語言與知識技術全部領域。

吳華還發(fā)布了百度語言與知識技術算力共享計劃，通過百度 AI STUDIO 平臺提供算力支持，讓廣大開發(fā)者破除算力桎梏，專注于技術創(chuàng)新。

全新的技術、產(chǎn)品與產(chǎn)業(yè)合作計劃，構成了百度 NLP 與千行萬業(yè)智能升級進一步“相知相戀”的契機。在這個七夕里，最好的禮物是美好的未來，而這也是百度 NLP 的長久努力方向。

未來的銀河：從 NLP 到智能時代

十年堅守，是為未來。

在 AI 技術推動第四次工業(yè)革命到來的關鍵契機中，NLP 技術構成了變局的核心。從技術特征上看，NLP 最大的潛力在于其探索深度是近乎無限的，并且將始終激發(fā)新的需求、新的產(chǎn)業(yè)邏輯與落地場景。

無論是從百度過往布局的技術藍圖，還是今天推動的新技術、新產(chǎn)品，百度 NLP 始終在指向宏偉的未來，也就是百度 NLP 在部門成立時提出的“掌握知識、理解語言、擁有智能”。為了不斷走近 NLP 指向的智能時代，百度 NLP 始終堅持人才為本，不斷在發(fā)展過程中培養(yǎng)、吸引全球頂尖人才，為長期發(fā)展探索做出堅實準備。在峰會上，百度推出以王海峰為代表的百度 NLP“十年十人”，也正是他們的十年堅守，不忘初心，才讓 NLP 技術從科幻作品中走到現(xiàn)實，變成通往未來的康莊大道。

今天的 NLP 技術發(fā)展，還遠遠沒有走到盡頭。雖然百度 NLP 成果輝煌，但我們眼前更多的是未知與挑戰(zhàn)。峰會上，王海峰也提到了語言與知識技術發(fā)展面臨的難題。他表示，復雜知識表示和快速構建技術，知識與深度學習進一步融合，深度融合感知和認知的跨模態(tài)語義理解技術，模型可解釋性和魯棒性等等，仍有很多技術難題需要持續(xù)研究和解決。

而正是始終有未知，始終在探索，才讓未來的銀河絢爛于今夜的七夕。百度 NLP 的技術藍圖、新品發(fā)布，更遠處指向著智能時代的洪流，指向著解開語言之謎的可能與執(zhí)著。

關于百度 NLP 的未來發(fā)展，王海峰提出：“我們致力于更好的與學術界、產(chǎn)業(yè)界攜手，推動語言與知識技術發(fā)展，進而推動人工智能技術持續(xù)進步，為產(chǎn)業(yè)持續(xù)升級、社會經(jīng)濟高質(zhì)量發(fā)展貢獻力量。我們對未來充滿信心，堅持掌握知識、理解語言、擁有智能，繼續(xù)突破和創(chuàng)新，為技術和社會進步做出更大貢獻。”

當自然語言的奧秘，邂逅千行萬業(yè)的智能化升級——金風玉露一相逢，便勝卻人間無數(shù)。