將人類(lèi)知識(shí)轉(zhuǎn)移到人工智能

圖源: phoelixDE/ShutterStock.com

2020年，超過(guò)44億互聯(lián)網(wǎng)用戶(hù)通過(guò)社交媒體帖子、評(píng)論、推薦以及類(lèi)似的互動(dòng)產(chǎn)生了驚人的數(shù)據(jù)量。從這些數(shù)據(jù)中收集的見(jiàn)解對(duì)于指導(dǎo)企業(yè)和創(chuàng)新者進(jìn)行產(chǎn)品開(kāi)發(fā)、市場(chǎng)營(yíng)銷(xiāo)和客戶(hù)支持都是無(wú)價(jià)之寶。但是，由于人類(lèi)語(yǔ)言和文化背景的復(fù)雜性，讓機(jī)器很難理解和解釋客戶(hù)提供的觀(guān)點(diǎn)性數(shù)據(jù)，因此提取見(jiàn)解極具挑戰(zhàn)性。自然語(yǔ)言處理（NLP）和機(jī)器學(xué)習(xí)（ML）等工具使計(jì)算機(jī)能夠理解人類(lèi)語(yǔ)言以及含義。此外，情感分析是人工智能（AI）研究的一個(gè)前沿領(lǐng)域，它可以幫助機(jī)器理解客戶(hù)提供的非結(jié)構(gòu)化數(shù)據(jù)，并將觀(guān)點(diǎn)解釋為肯定、否定或中立。

01

語(yǔ)義分析中的語(yǔ)言復(fù)雜性

為了解自然語(yǔ)言處理中的情感分析，讓我們先來(lái)看看餐廳點(diǎn)評(píng)中的一個(gè)簡(jiǎn)單表述：“湯很不錯(cuò)”，對(duì)其中情感的分析包括三個(gè)步驟：

STEP-1

確定表述、語(yǔ)句或全文中是否包含觀(guān)點(diǎn)。

STEP-2

了解這些觀(guān)點(diǎn)是肯定、否定還是中立的（也就是所謂的極性）。

STEP-3

確定觀(guān)點(diǎn)的目標(biāo)。

在本例中，對(duì)于餐廳提供的特定餐品，情感分析得出的無(wú)疑是正面結(jié)論。但是，其他例子則不太直接，例如與之類(lèi)似的另一個(gè)表述：“啤酒很涼”。許多人會(huì)認(rèn)為這種觀(guān)點(diǎn)是正面的，因?yàn)樗麄兿矚g這樣的啤酒，但是涼這個(gè)詞如果換到其他語(yǔ)境中，它的“極性”可能就是負(fù)面的。例如，“咖啡很涼”這個(gè)表述的結(jié)構(gòu)和形容詞完全相同，但許多人都不會(huì)認(rèn)為咖啡涼了是一件好事。

其他語(yǔ)言復(fù)雜性也帶來(lái)了更多的挑戰(zhàn)，例如包含多種情感的表述，比如說(shuō)：“菜不錯(cuò)，就是湯有點(diǎn)涼”。在這里，我們根據(jù)客戶(hù)對(duì)湯冷、湯熱的偏好，會(huì)得出正面、負(fù)面和模棱兩可的情緒。同樣，如果說(shuō)“湯熱乎乎的，但是啤酒很涼”，對(duì)大多數(shù)人來(lái)說(shuō)這都是一種正面表述，但在某種潛在的客戶(hù)語(yǔ)境下卻模棱兩可。

修飾語(yǔ)進(jìn)一步模糊了“極性”之間的界限。例如，可以想象一下這樣一條意見(jiàn)：“工作人員太過(guò)熱情了”，此時(shí)，我們還必須考慮諷刺、嘲諷或修辭手法，這也就為正確識(shí)別情緒帶來(lái)了難題。例如“我們等了一個(gè)多小時(shí)了，這服務(wù)也太好了吧！”這種表述在訓(xùn)練數(shù)據(jù)中往往不多見(jiàn)，并且很難通過(guò)系統(tǒng)性的方式來(lái)手動(dòng)編碼。

02

語(yǔ)義分析中的文化變量

將個(gè)人、文化或環(huán)境偏好納入考量后，判斷觀(guān)點(diǎn)的“極性”就變得更具挑戰(zhàn)性。例如，現(xiàn)在我們來(lái)分析一下客戶(hù)對(duì)日式旅館的評(píng)論。傳統(tǒng)的日式旅館往往都豪華昂貴，但配備的沐浴設(shè)施是公共洗浴區(qū)而非獨(dú)立浴室。

將有無(wú)某種東西歸類(lèi)為正面或負(fù)面看起來(lái)似乎直截了當(dāng)。例如：“淋浴間有污垢”或“有一個(gè)兒童游泳池”。然而日式旅館的例子說(shuō)明了為什么將文化變量和個(gè)人喜好納入考慮對(duì)于獲得有用的數(shù)據(jù)見(jiàn)解至關(guān)重要。在日本，客人認(rèn)為公共洗浴區(qū)是一個(gè)正面的屬性；相比之下，大多數(shù)歐洲游客會(huì)對(duì)此持負(fù)面看法，對(duì)費(fèi)用較高的酒店而言尤其如此。這個(gè)例子所表現(xiàn)的還只是一個(gè)特征和兩種文化。

03

解決自然語(yǔ)言處理中的語(yǔ)言和文化多樣性問(wèn)題

在自然語(yǔ)言處理中，可能需要在整個(gè)文檔級(jí)別以及段落和句子級(jí)別分析情感，往往做完了這一步才能匯總出結(jié)果。全文檔分析非常有用，而段落和句子級(jí)別的分析可以產(chǎn)生更細(xì)粒度和相對(duì)準(zhǔn)確的結(jié)果（即除了可以識(shí)別對(duì)產(chǎn)品整體的情感外，還可以識(shí)別有關(guān)特定產(chǎn)品特征的情感）。這一過(guò)程的挑戰(zhàn)來(lái)自于如何制訂出一套詞匯，并將這套詞匯作為一組規(guī)則，讓機(jī)器用它來(lái)將情感分類(lèi)為正面、負(fù)面或中立。

對(duì)此，我們可以先從許多免費(fèi)工具和資源入手，它們都已經(jīng)在公開(kāi)數(shù)據(jù)上進(jìn)行過(guò)訓(xùn)練。例如，Natural Language Toolkit、spaCy和TextBlob等軟件庫(kù)都包括情緒模型，而且還允許使用用戶(hù)數(shù)據(jù)進(jìn)行再訓(xùn)練。如果您不喜歡寫(xiě)代碼，那么Google Cloud Platform或Microsoft Azure等云服務(wù)也可以讓您立即開(kāi)始進(jìn)行情緒分析：只需將需要分析的文本粘貼到瀏覽器中，然后就可以構(gòu)建您的應(yīng)用了。

除了原型之外，數(shù)據(jù)集和機(jī)器學(xué)習(xí)模型還應(yīng)進(jìn)一步解決語(yǔ)言和文化復(fù)雜性的問(wèn)題。這就意味著：

在計(jì)劃上：需要找出一種結(jié)構(gòu)化的方法來(lái)發(fā)現(xiàn)多樣性和有用的深入見(jiàn)解。例如，分析您的數(shù)據(jù)以了解深層的語(yǔ)言和文化、語(yǔ)氣、來(lái)源、作者群體特征，然后咨詢(xún)語(yǔ)言學(xué)家以解釋這些要素。通過(guò)采訪(fǎng)與作者同屬一個(gè)群體的人來(lái)進(jìn)一步細(xì)化您的方法，以準(zhǔn)確了解微妙差別和語(yǔ)境。

在訓(xùn)練數(shù)據(jù)上：需要確定多樣化處理所需的示例，并添加人工提供的注釋。這也可能意味著查閱諸如詞典等知識(shí)庫(kù)、為特定問(wèn)題添加更多訓(xùn)練數(shù)據(jù)，或者在某些情況下，從數(shù)據(jù)中刪除對(duì)結(jié)果的客觀(guān)真實(shí)性構(gòu)成損害的不良或誤導(dǎo)性?xún)?nèi)容。

在建模上：需要找到相應(yīng)的方法，以數(shù)學(xué)上可處理的方式來(lái)表示句子。例如，將任意文本表示為數(shù)值向量的詞嵌入，這種方法可用來(lái)將語(yǔ)境中使用的單詞映射為相應(yīng)的正面、負(fù)面或中立情緒。

理想情況下，數(shù)據(jù)分析會(huì)顯式或隱式地基于各客戶(hù)的偏好進(jìn)行。但是，這種分析相當(dāng)麻煩，而且在許多情況下，如果用戶(hù)資料無(wú)法辨識(shí)，就無(wú)法進(jìn)行分析。更易采用的方法是根據(jù)地區(qū)和語(yǔ)言分析數(shù)據(jù)，然后使用單獨(dú)的訓(xùn)練示例對(duì)文化差異進(jìn)行建模。

04

結(jié)論

客戶(hù)在媒體帖子、評(píng)論、推薦中提供的數(shù)據(jù)為企業(yè)和創(chuàng)新者提供了寶貴的見(jiàn)解。自然語(yǔ)言和文化的復(fù)雜性讓由人工智能驅(qū)動(dòng)的機(jī)器難以理解客戶(hù)的觀(guān)點(diǎn)；但是，情感分析可以幫助確保這些方面被捕獲并反映在見(jiàn)解中。

您可以從使用免費(fèi)工具和資源入手，但是解決語(yǔ)言和文化復(fù)雜性的問(wèn)題具有挑戰(zhàn)性，需要大量的計(jì)劃、數(shù)據(jù)準(zhǔn)備和建模。提高對(duì)語(yǔ)言和文化復(fù)雜性的認(rèn)識(shí)是獲得有用的見(jiàn)解的良好起點(diǎn)，也是一條極有價(jià)值的途徑，讓您能夠進(jìn)一步了解客戶(hù)和他們的需求。