天津公司打造智能語(yǔ)音情感分析系統(tǒng)“青鸞”，實(shí)現(xiàn)AI中臺(tái)驅(qū)動(dòng)的客戶服務(wù)精準(zhǔn)運(yùn)營(yíng)

隨著行業(yè)內(nèi)針對(duì)智能客戶服務(wù)的要求運(yùn)營(yíng)質(zhì)量展現(xiàn)出爆發(fā)式提高，為了提升客戶服務(wù)感知、解決“場(chǎng)景服務(wù)碎片化、效率低下”等問(wèn)題，天津公司打造了語(yǔ)音認(rèn)知分析系統(tǒng)“青鳶”，面向分析、推薦、維系、預(yù)測(cè)四大場(chǎng)景進(jìn)行應(yīng)用，致力建設(shè)“大數(shù)據(jù)+AI”協(xié)同的服務(wù)運(yùn)營(yíng)體系，實(shí)現(xiàn)AI中臺(tái)驅(qū)動(dòng)的客戶服務(wù)精準(zhǔn)運(yùn)營(yíng)。

團(tuán)隊(duì)介紹

△趙東明，項(xiàng)目負(fù)責(zé)人，博士，浙江大學(xué)博士后，中國(guó)移動(dòng)AI中臺(tái)專家/“高層次”專家/IT高級(jí)專家，天津移動(dòng)AI實(shí)驗(yàn)室負(fù)責(zé)人，累計(jì)獲得119項(xiàng)科技獎(jiǎng)勵(lì)及榮譽(yù)，16項(xiàng)發(fā)明專利，30余篇高水平論文，負(fù)責(zé)產(chǎn)品的語(yǔ)音情感、認(rèn)知圖譜研發(fā)、算法研究。

△田雷，技術(shù)負(fù)責(zé)人，北大數(shù)學(xué)系碩士，天津中心大數(shù)據(jù)架構(gòu)專家，積累了大量數(shù)據(jù)倉(cāng)庫(kù)和大數(shù)據(jù)平臺(tái)的系統(tǒng)架構(gòu)、數(shù)據(jù)模型、需求開(kāi)發(fā)的先進(jìn)經(jīng)驗(yàn)，負(fù)責(zé)產(chǎn)品的大數(shù)據(jù)倉(cāng)庫(kù)算法、大數(shù)據(jù)支撐工作。

△陳晨，大數(shù)據(jù)架構(gòu)師，北京交通大學(xué)碩士，大數(shù)據(jù)專家，長(zhǎng)期鉆研客戶需求深度挖掘，基于AI算法促進(jìn)存量客戶價(jià)值循環(huán)升檔研究，負(fù)責(zé)產(chǎn)品的滿意度預(yù)測(cè)機(jī)器學(xué)習(xí)算法及工程實(shí)現(xiàn)。

△石理，算法工程師，南開(kāi)大學(xué)碩士，集團(tuán)AI中臺(tái)專家，在人工智能、計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)方面具有較豐富的研發(fā)經(jīng)驗(yàn)，負(fù)責(zé)產(chǎn)品的基礎(chǔ)平臺(tái)支撐和應(yīng)用拓展。

△孫武，數(shù)據(jù)工程師，碩士，大數(shù)據(jù)專家，負(fù)責(zé)產(chǎn)品交互界面的設(shè)計(jì)、開(kāi)發(fā)，以及大數(shù)據(jù)+AI模型的標(biāo)準(zhǔn)、運(yùn)營(yíng)和優(yōu)化。

1、項(xiàng)目背景

客戶服務(wù)的場(chǎng)景化運(yùn)營(yíng)質(zhì)量與維系、服務(wù)的措施息息相關(guān)，為了解決中國(guó)移動(dòng)“運(yùn)營(yíng)場(chǎng)景碎片化、策略簡(jiǎn)單、效率低、服務(wù)方式過(guò)于被動(dòng)化”的痛點(diǎn)，急需引入大數(shù)據(jù)、智能語(yǔ)音和知識(shí)圖譜能力，跟蹤客戶語(yǔ)音情感變化、異動(dòng)變化、滿意度變化，構(gòu)建智能語(yǔ)音認(rèn)知分析系統(tǒng)，實(shí)現(xiàn)“面向場(chǎng)景、面向需求、面向情感”的服務(wù)運(yùn)營(yíng)體系。同時(shí)，中國(guó)移動(dòng)積累了大量客戶服務(wù)數(shù)據(jù)（10086語(yǔ)音、外呼語(yǔ)音、投訴工單、在線服務(wù)記錄、服務(wù)標(biāo)簽），投訴數(shù)據(jù)價(jià)值挖掘的方面存在不足。通過(guò)挖掘投訴語(yǔ)音文件的價(jià)值，并基于識(shí)別的客戶情緒、語(yǔ)義信息等為運(yùn)營(yíng)提供決策支持，可提前獲知客戶的潛在不滿意傾向/離網(wǎng)傾向，可以持續(xù)提升中國(guó)移動(dòng)的服務(wù)體驗(yàn)。

為了持續(xù)提升客戶服務(wù)感知，天津公司人工智能實(shí)驗(yàn)室在集團(tuán)智慧中臺(tái)戰(zhàn)略指導(dǎo)下，基于集團(tuán)九天AI平臺(tái)的算力、算法能力，打造了以精益服務(wù)、存量保拓為目標(biāo)的語(yǔ)音情感認(rèn)知分析系統(tǒng)“青鸞”，重點(diǎn)建設(shè)智能語(yǔ)音情感分析、文本語(yǔ)義挖掘、滿意度預(yù)測(cè)、認(rèn)知圖譜推理四個(gè)方面的AI能力，典型場(chǎng)景定位為存量運(yùn)營(yíng)、滿意度提升、感知監(jiān)控，客戶體驗(yàn)分析等，覆蓋服務(wù)、無(wú)線、資費(fèi)、家寬、存量、價(jià)值等場(chǎng)景，有效推動(dòng)“大數(shù)據(jù)+AI”協(xié)同的服務(wù)運(yùn)營(yíng)體系的建設(shè)。

2、系統(tǒng)功能

智能語(yǔ)音情感認(rèn)知分析系統(tǒng)命名為“青鸞”，是山海經(jīng)中代表吉祥如意的神鳥(niǎo)，其意為“鸞音鶴信”，名字取自羅隱的著名唐詩(shī)“鸞音鶴信杳難回，鳳駕龍車早晚來(lái)”，寓意是打造語(yǔ)音情感AI能力，給客戶“仙境般”的服務(wù)體驗(yàn)。“青鸞”系統(tǒng)基于海量熱線語(yǔ)音數(shù)據(jù)進(jìn)行智能情感分析，輸出關(guān)鍵標(biāo)簽和結(jié)構(gòu)化情感分類，生成個(gè)性化語(yǔ)音理解分析報(bào)告，以日?qǐng)?bào)月報(bào)、智能大屏、分析圖表、專題報(bào)告等方式呈現(xiàn)給運(yùn)營(yíng)服務(wù)管理人員，提供語(yǔ)音結(jié)構(gòu)化檢索、情感語(yǔ)義理解、認(rèn)知方案生成、業(yè)務(wù)運(yùn)營(yíng)決策輔助等能力，提供接口、租戶兩種賦能方式，面向分析、推薦、維系、預(yù)測(cè)四大類場(chǎng)景進(jìn)行應(yīng)用，并通過(guò)數(shù)據(jù)可視化運(yùn)營(yíng)分析界面方式進(jìn)行展示。

“青鸞”智能語(yǔ)音情感認(rèn)知分析系統(tǒng)主要有四大功能域：

智能語(yǔ)音情感能力分析：基于在線10086每日15萬(wàn)條語(yǔ)音數(shù)據(jù)、投訴外呼語(yǔ)音每日600條條等，構(gòu)建多模態(tài)語(yǔ)音情感分類模型，提供“情感分類、情感量化、情感分析報(bào)告”能力。

語(yǔ)音轉(zhuǎn)寫文本挖掘分析：基于集團(tuán)科大訊飛ASR的語(yǔ)音轉(zhuǎn)寫文本，打造篇章段落分析、深度語(yǔ)義理解、核心語(yǔ)義提取、自動(dòng)分析報(bào)告等AI模型。

認(rèn)知圖譜滿意度預(yù)測(cè)：融合資費(fèi)、無(wú)線、家寬等全域服務(wù)數(shù)據(jù)，構(gòu)建認(rèn)知圖譜引擎，以種子用戶鏈接全量用戶，精準(zhǔn)預(yù)測(cè)用戶的潛在投訴/不滿意概率，對(duì)接IOP實(shí)現(xiàn)客群輸出。

可視化服務(wù)運(yùn)營(yíng)管理：以分布圖、趨勢(shì)圖、地圖等方式進(jìn)行可視化展示，體現(xiàn)底層AI和大數(shù)據(jù)能力，支撐運(yùn)營(yíng)人員快速完成查詢、下載、任務(wù)執(zhí)行。

（1）技術(shù)架構(gòu)

“青鸞”系統(tǒng)架構(gòu)自底向上為：基礎(chǔ)數(shù)據(jù)層、數(shù)據(jù)預(yù)處理層、情感/語(yǔ)義理解層、能力輸出層、應(yīng)用層。存儲(chǔ)層將從投訴語(yǔ)音及相關(guān)標(biāo)簽記錄進(jìn)行統(tǒng)一存儲(chǔ)；數(shù)據(jù)預(yù)處理層對(duì)語(yǔ)音進(jìn)行預(yù)處理，提取多模態(tài)信息特征并初步進(jìn)行段落分配；情感語(yǔ)義理解層主要將語(yǔ)音進(jìn)行精細(xì)化的情感及語(yǔ)義分析，理解用戶的意圖；能力輸出層將情感語(yǔ)義能力進(jìn)行統(tǒng)一開(kāi)放，包括URL頁(yè)面嵌入開(kāi)放及接口開(kāi)放；應(yīng)用層通過(guò)對(duì)接前端業(yè)務(wù)系統(tǒng)，場(chǎng)景賦能。

（2）系統(tǒng)構(gòu)建

“青鸞”語(yǔ)音情感分析系統(tǒng)打造了“要素-引擎-能力-場(chǎng)景”系統(tǒng)構(gòu)建方式，實(shí)現(xiàn)了數(shù)據(jù)融通，匯聚了10086熱線呼入語(yǔ)音、10088熱線外呼語(yǔ)音、大數(shù)據(jù)標(biāo)簽庫(kù)、經(jīng)分資料庫(kù)、評(píng)測(cè)數(shù)據(jù)、歷史工單數(shù)據(jù)等，對(duì)接集團(tuán)統(tǒng)一AI平臺(tái)的訊飛ASR進(jìn)行語(yǔ)音轉(zhuǎn)寫，打造語(yǔ)音情感、文本挖掘系列AI能力，實(shí)現(xiàn)了“要素-引擎-能力-場(chǎng)景”的系統(tǒng)構(gòu)建新方式。

（3）主體流程

“青鸞”語(yǔ)音情感分析系統(tǒng)主體流程：數(shù)據(jù)處理、篇章段落分析、特征提取及對(duì)齊、情感及語(yǔ)義理解、結(jié)果輸出五大步驟。首先獲取用戶語(yǔ)音文件及相應(yīng)會(huì)話記錄，對(duì)語(yǔ)音進(jìn)行轉(zhuǎn)文字處理，然后將文本按照篇章段落進(jìn)行語(yǔ)義劃分，提取子段落的音頻及文本特征，實(shí)現(xiàn)情感及語(yǔ)義的深度理解，最終生成分析報(bào)告、維系策略，輔助客服服務(wù)和存量運(yùn)營(yíng)。語(yǔ)音識(shí)別利用集團(tuán)ASR能力，語(yǔ)音情感建?；诩瘓F(tuán)九天AI平臺(tái)能力，數(shù)據(jù)來(lái)源于梧桐大數(shù)據(jù)+省公司系統(tǒng)。

3、應(yīng)用場(chǎng)景實(shí)例

（1）面向熱線語(yǔ)音的情感分析和情感修補(bǔ)

針對(duì)10086熱線呼入、10088呼出及網(wǎng)絡(luò)投訴處理外呼的語(yǔ)音，“青鸞”基于獨(dú)創(chuàng)的多模態(tài)信息處理技術(shù)實(shí)現(xiàn)語(yǔ)音情感分類及情感強(qiáng)度量化，以實(shí)時(shí)和離線兩種模式對(duì)外開(kāi)放能力，實(shí)時(shí)接口對(duì)外提供“情感分類、情感量化”服務(wù)，離線接口提供“情感分析報(bào)告”能力。省公司、分公司、網(wǎng)格的服務(wù)運(yùn)營(yíng)人員，通過(guò)用戶的情緒波動(dòng)，分析服務(wù)質(zhì)量，主動(dòng)進(jìn)行客戶情感修補(bǔ)和存量維系，并適時(shí)地進(jìn)行熱點(diǎn)業(yè)務(wù)推薦。

（2）深度理解語(yǔ)音場(chǎng)景，提供情感分析報(bào)告

“青鸞”通過(guò)對(duì)語(yǔ)音的深度理解分析，實(shí)現(xiàn)對(duì)語(yǔ)音的結(jié)構(gòu)化梳理，對(duì)整篇熱線語(yǔ)音細(xì)分為若干語(yǔ)義段落：用戶提出問(wèn)題、客服給出解答、溝通交流、最終反饋等，生成詳細(xì)的情感曲線、情緒強(qiáng)度及語(yǔ)義要素的分析報(bào)告，支持對(duì)語(yǔ)音進(jìn)行在線播放，輔助客服人員進(jìn)行運(yùn)營(yíng)決策。

（3）構(gòu)建客戶服務(wù)認(rèn)知視圖，深挖不滿原因

“青鸞”融合用戶、產(chǎn)品、行為、語(yǔ)音、投訴等全域客服數(shù)據(jù)，形成客戶服務(wù)認(rèn)知圖譜體系，基于熱線語(yǔ)音蘊(yùn)含的新對(duì)服務(wù)過(guò)程進(jìn)行認(rèn)知推理。認(rèn)知圖譜以“客戶本體-關(guān)系-屬性實(shí)體”方式構(gòu)建，鏈接全量用戶，精準(zhǔn)感知每名客戶的訴求，基于現(xiàn)有投訴/不滿意客戶的屬性智能推理其他用戶的潛在投訴/不滿意概率。

（4）智能識(shí)別特殊事件，構(gòu)建客戶感知體系

“青鸞”為省公司服務(wù)運(yùn)營(yíng)人員提供熱線服務(wù)數(shù)據(jù)中發(fā)現(xiàn)特殊事件的能力，以針對(duì)熱點(diǎn)、突發(fā)、異動(dòng)事件進(jìn)行發(fā)現(xiàn)、篩選、分析、監(jiān)控。針對(duì)多模態(tài)數(shù)據(jù)（語(yǔ)音情感、語(yǔ)音轉(zhuǎn)文本、投訴文本）進(jìn)行綜合根因分析，情感+語(yǔ)義實(shí)現(xiàn)服事件主題的自動(dòng)監(jiān)控。通過(guò)熱線數(shù)據(jù)的深入挖掘，以及對(duì)客戶進(jìn)行情感、語(yǔ)義、服務(wù)質(zhì)量等層面的感知識(shí)別，構(gòu)建客戶真實(shí)感知體系，幫助服務(wù)滿意度提升。

（5）打造滿意度預(yù)測(cè)功能，解決服務(wù)難點(diǎn)

“青鸞”接入B域的全量大數(shù)據(jù)標(biāo)簽數(shù)據(jù)，省公司客響中心提供的家寬用戶感知探測(cè)數(shù)據(jù)，以及省公司無(wú)線中心提供的無(wú)線網(wǎng)絡(luò)異常感知數(shù)據(jù)，具備BOM三域融通的數(shù)據(jù)基礎(chǔ)，基于認(rèn)知圖譜技術(shù)，打造了全場(chǎng)景、多功能域的滿意度預(yù)測(cè)體系。根據(jù)用戶資費(fèi)、家寬、集客等資費(fèi)使用情況，以種子用戶推理全量用戶的業(yè)務(wù)滿意度情況，預(yù)估全量非沉默用戶對(duì)業(yè)務(wù)、服務(wù)、資費(fèi)的滿意度。系統(tǒng)以可視化方式輸出，并給出具體的不滿意原因，幫助分公司、網(wǎng)格的服務(wù)運(yùn)營(yíng)人員針對(duì)性做好用戶服務(wù)和精準(zhǔn)營(yíng)銷。

4、重點(diǎn)AI能力

（1）多模態(tài)語(yǔ)音情感分類能力

針對(duì)10086呼入（日均15萬(wàn)條）、10088外呼（日均2000條）及轉(zhuǎn)寫的文本，將聲音特征和文本特征進(jìn)行綜合分析，通過(guò)監(jiān)督模型的標(biāo)注數(shù)據(jù)訓(xùn)練，實(shí)現(xiàn)情感的分類預(yù)測(cè)。模型架構(gòu)考慮盡可能地納入更多特征，并使用attention網(wǎng)絡(luò)進(jìn)行特征對(duì)齊，最終多模態(tài)情感分類的負(fù)面情緒（厭惡、生氣、憤怒）精度達(dá)81%，業(yè)界領(lǐng)先。

（2）語(yǔ)音對(duì)話文本分析能力

針對(duì)10086語(yǔ)音轉(zhuǎn)寫的非結(jié)構(gòu)化文本進(jìn)行語(yǔ)義解析，提取重點(diǎn)句、核心詞、情感，智能生成長(zhǎng)文本摘要，并將整體溝通過(guò)程劃分為多個(gè)段落，每個(gè)段落生成精細(xì)化標(biāo)簽，減輕運(yùn)營(yíng)人員聽(tīng)取錄音的壓力，提升運(yùn)營(yíng)效率。模型對(duì)坐席和用戶的溝通文本進(jìn)行分析，輸出重點(diǎn)句、關(guān)鍵詞、摘要、篇章段落等分析結(jié)果，人工校驗(yàn)的準(zhǔn)確率為80%。

（3）認(rèn)知圖譜語(yǔ)義推理能力

以“場(chǎng)景-原因概念-基本概念-原子”架構(gòu)實(shí)現(xiàn)知識(shí)圖譜架構(gòu)升級(jí)，面向離網(wǎng)預(yù)警、滿意度預(yù)測(cè)、指標(biāo)分析等場(chǎng)景提供可理解、可解釋的運(yùn)營(yíng)策略。認(rèn)知圖譜包含面向用戶問(wèn)題的現(xiàn)象層（現(xiàn)象標(biāo)簽），面向運(yùn)營(yíng)場(chǎng)景的原因概念層（概念標(biāo)簽），基本概念層（特性），原子層（原子標(biāo)簽），運(yùn)營(yíng)策略庫(kù)。納入全量大數(shù)據(jù)標(biāo)簽、家寬感知標(biāo)簽，形成百億級(jí)推薦鏈路的認(rèn)知大腦，實(shí)現(xiàn)一套系統(tǒng)支撐存量、服務(wù)、運(yùn)營(yíng)全場(chǎng)景，面向權(quán)益、換機(jī)、升檔、在網(wǎng)等提供AI核心計(jì)算引擎，提升推薦成功率，增強(qiáng)推薦理由的可讀性，整體推進(jìn)準(zhǔn)確率達(dá)90%。

5、應(yīng)用和推廣

“青鸞”系統(tǒng)于2021年1月20日正式上線，已實(shí)現(xiàn)面向天津公司900萬(wàn)用戶的語(yǔ)音情感監(jiān)測(cè)評(píng)估，納入每日15萬(wàn)條10086熱線語(yǔ)音、每日1.1萬(wàn)條10088外呼語(yǔ)音，以及累計(jì)10.9萬(wàn)條家寬投訴外呼語(yǔ)音，實(shí)現(xiàn)全量語(yǔ)音數(shù)據(jù)的服務(wù)感知閉環(huán)管理，及時(shí)發(fā)現(xiàn)潛在不滿情況，給予情感修補(bǔ)和維系。

基于認(rèn)知圖譜技術(shù)，每月輸出90萬(wàn)資費(fèi)潛在不滿意客戶群，自2020年11月以來(lái)累計(jì)輸出307萬(wàn)?；诳晚懼行娜胀降娜?30萬(wàn)用戶家寬感知特征數(shù)據(jù)，每日輸出9.1萬(wàn)家寬潛在不滿意客戶群及原因分布。基于無(wú)線中心潛在網(wǎng)絡(luò)不滿意用戶，對(duì)5.2萬(wàn)無(wú)線不滿意客戶進(jìn)行原因挖掘并可視化展示。每日可挖掘到服務(wù)異常事件120余次，每日識(shí)別的語(yǔ)音負(fù)面情感用戶達(dá)1.6萬(wàn)戶。

“青鸞”系統(tǒng)已在天津客服領(lǐng)域推廣試用，已實(shí)現(xiàn)入駐集團(tuán)九天AI平臺(tái)的“AI超市”，以能力和應(yīng)用案例兩種方式對(duì)外賦能，支持一點(diǎn)支撐全網(wǎng)，同批次共上架7項(xiàng)AI能力和3項(xiàng)AI案例，已和江西公司達(dá)成智能語(yǔ)音系統(tǒng)研發(fā)合作意向，共同進(jìn)行10088外呼語(yǔ)音質(zhì)檢、10088外呼營(yíng)銷質(zhì)量評(píng)測(cè)等場(chǎng)景的推廣。

“青鸞”為天津公司首創(chuàng)的基于智能語(yǔ)音技術(shù)的智慧服務(wù)解決方案，以AI實(shí)驗(yàn)室研發(fā)能力為基礎(chǔ)，與浙江大學(xué)、河北工業(yè)大學(xué)等知名高校實(shí)現(xiàn)產(chǎn)學(xué)研合作。牽頭總部的《中國(guó)移動(dòng)全網(wǎng)知識(shí)圖譜試點(diǎn)工作》，和江蘇、浙江一起負(fù)責(zé)知識(shí)圖譜規(guī)劃，項(xiàng)目的認(rèn)知圖譜等方案納入集團(tuán)統(tǒng)一規(guī)劃。“青鸞”項(xiàng)目輸出3項(xiàng)國(guó)家發(fā)明專利，2篇國(guó)家級(jí)期刊論文，完成1項(xiàng)集團(tuán)公司省級(jí)自立研發(fā)計(jì)劃并結(jié)題。