入門必讀！寫給初學(xué)者的人工智能簡史！

在論文中，他們提出了一種適用于多層感知器（MLP）的算法，叫做反向傳播算法（Backpropagation，簡稱BP算法）。

該算法通過在輸入層和輸出層之間設(shè)定一個中間層（隱藏層），以反向傳播的方式實現(xiàn)機器的自我學(xué)習(xí)。

算法咱們以后再研究。大家只需要記住，BP算法不僅為多層神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定了基礎(chǔ)，也打破了馬文·明斯基當(dāng)年提出的“神經(jīng)網(wǎng)絡(luò)具有局限性”魔咒，意義非常重大。

1980年代是人工智能研究方向發(fā)生重大轉(zhuǎn)折的時期。機器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)（聯(lián)結(jié)主義）加速崛起，逐漸取代專家系統(tǒng)（符號主義），成為人工智能的主要研究方向。
我們也可以理解為，人工智能原本由知識驅(qū)動的方式，逐漸變成了由數(shù)據(jù)驅(qū)動。

機器學(xué)習(xí)的代表性算法包括決策樹、支持向量機、隨機森林等。

1995年，克里娜·柯爾特斯（Corinna Cortes）和弗拉基米爾·萬普尼克（Vladimir Vapnik）開發(fā)了支持向量機（Support Vector Machine，SVM）。支持向量機是一種映射和識別類似數(shù)據(jù)的系統(tǒng)，可以視為在感知機基礎(chǔ)上的改進。

神經(jīng)網(wǎng)絡(luò)方面，非常重要的CNN（Convolutional Neural Network，卷積神經(jīng)網(wǎng)絡(luò)）和RNN（Recursive Neural Networks，遞歸神經(jīng)網(wǎng)絡(luò)），也在那一時期崛起了。

1988年，貝爾實驗室的Yann LeCun（他是法國人，網(wǎng)上翻譯的中文名有很多：楊立昆、楊樂春、燕樂存、揚·勒丘恩）等人，提出了卷積神經(jīng)網(wǎng)絡(luò)。大家應(yīng)該比較熟悉，這是一種專門用于處理圖像數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)模型。

1990年，美國認知科學(xué)家、心理語言學(xué)家杰弗里·艾爾曼（Jeffrey Elman）提出了首個遞歸神經(jīng)網(wǎng)絡(luò)——艾爾曼網(wǎng)絡(luò)模型。遞歸神經(jīng)網(wǎng)絡(luò)能夠在訓(xùn)練時維持數(shù)據(jù)本身的先后順序性質(zhì)，非常適合于自然語言處理領(lǐng)域的應(yīng)用。

1997年，德國計算機科學(xué)家瑟普·霍克賴特（Sepp Hochreiter）及其導(dǎo)師于爾根·施密德胡伯（Jürgen Schmidhuber）開發(fā)了用于遞歸神經(jīng)網(wǎng)絡(luò)的LSTM（長短期記憶網(wǎng)絡(luò)）。

1998年，Yann LeCun等人提出了LeNet，一個用于手寫數(shù)字識別的卷積神經(jīng)網(wǎng)絡(luò)，初步展示了神經(jīng)網(wǎng)絡(luò)在圖像識別領(lǐng)域的潛力。

總而言之，20世紀90年代，神經(jīng)網(wǎng)絡(luò)在開始商用于文字圖像識別、語音識別、數(shù)據(jù)挖掘以及金融預(yù)測。在模式識別、信號處理、控制工程等領(lǐng)域，也有嘗試應(yīng)用，盡管當(dāng)時受到計算資源限制，應(yīng)用范圍和規(guī)模有限。

想要推動人工智能技術(shù)的進一步爆發(fā)，既需要算法模型的持續(xù)演進，也需要算力的深入增強。此外，還有一個短板，也需要補充，那就是數(shù)據(jù)。

大家應(yīng)該看出來了，AI的三要素，就是算法、算力和數(shù)據(jù)。

深藍

1990年代最重要的AI事件，當(dāng)然是1997年IBM超級電腦“深藍（DEEP BLUE）”與國際象棋大師卡斯帕洛夫（KASPAROV）的世紀之戰(zhàn)。

此前的1996年2月，深藍已經(jīng)向卡斯帕洛夫發(fā)起過一次挑戰(zhàn)，結(jié)果以2-4敗北。

1997年5月3日至11日，“深藍”再次挑戰(zhàn)卡斯帕羅夫。在經(jīng)過六盤大戰(zhàn)后，最終“深藍”以2勝1負3平的成績，險勝卡斯帕羅夫，震驚了世界。

這是AI發(fā)展史上，人工智能首次戰(zhàn)勝人類。

作為80后的小棗君，對這件事情也印象深刻。當(dāng)時“深藍”所引起的熱潮，絲毫不亞于后來的ChatGPT。幾乎所有的人都在想——人工智能時代是否真的到來了？人工智能，到底會不會取代人類？

深度學(xué)習(xí)

進入21世紀，得益于計算機算力的進一步飛躍，以及云計算、大數(shù)據(jù)的爆發(fā)，人工智能開始進入一個更加波瀾壯闊的發(fā)展階段。

2006年，多倫多大學(xué)的杰弗里·辛頓（就是1986年發(fā)表論文的那個大神）在science期刊上，發(fā)表了重要的論文《Reducing the dimensionality of data with neural networks（用神經(jīng)網(wǎng)絡(luò)降低數(shù)據(jù)維數(shù)）》，提出深度信念網(wǎng)絡(luò)（Deep Belief Networks，DBNs）。

深度學(xué)習(xí)（Deeping Learning），正式誕生了。

2006年被后人稱為深度學(xué)習(xí)元年，杰弗里·辛頓也因此被稱為“深度學(xué)習(xí)之父”。

深度學(xué)習(xí)是機器學(xué)習(xí)的一個重要分支。更準確來說，機器學(xué)習(xí)底下有一條“神經(jīng)網(wǎng)絡(luò)”路線，而深度學(xué)習(xí)，是加強版的“神經(jīng)網(wǎng)絡(luò)”學(xué)習(xí)。

經(jīng)典機器學(xué)習(xí)算法使用的神經(jīng)網(wǎng)絡(luò)，具有輸入層、一個或兩個“隱藏”層和一個輸出層。數(shù)據(jù)需要由人類專家進行結(jié)構(gòu)化或標記（監(jiān)督學(xué)習(xí)），以便算法能夠從數(shù)據(jù)中提取特征。

深度學(xué)習(xí)算法使用“隱藏”層更多（數(shù)百個）的深度神經(jīng)網(wǎng)絡(luò)。它的能力更強，可以自動從海量的數(shù)據(jù)集中提取特征，不需要人工干預(yù)（無監(jiān)督學(xué)習(xí)）。

2006年，在斯坦福任教的華裔科學(xué)家李飛飛，意識到了業(yè)界在研究AI算法的過程中，沒有一個強大的圖片數(shù)據(jù)樣本庫提供支撐。于是，2007年，她發(fā)起創(chuàng)建了ImageNet項目，號召民眾上傳圖像并標注圖像內(nèi)容。

2009年，大型圖像數(shù)據(jù)集——ImageNet，正式發(fā)布。這個數(shù)據(jù)庫包括了1400萬張圖片數(shù)據(jù)，超過2萬個類別，為全球AI研究（神經(jīng)網(wǎng)絡(luò)訓(xùn)練）提供了強大支持。

從2010年開始，ImageNet每年舉行大規(guī)模視覺識別挑戰(zhàn)賽，邀請全球開發(fā)者和研究機構(gòu)參加，進行人工智能圖像識別算法評比。

2012年，杰弗里·辛頓和他的學(xué)生伊利亞·蘇茨克沃（Ilya Sutskever）和亞歷克斯·克里切夫斯基（Alex Krizhevsky）參加了這個比賽。

他們設(shè)計的深度神經(jīng)網(wǎng)絡(luò)模型AlexNet在這次競賽中大獲全勝，以壓倒性優(yōu)勢獲得第一名（將Top-5錯誤率降到了15.3%，比第二名低10.8%），引起了業(yè)界轟動，甚至一度被懷疑是作弊。

值得一提的是，他們?nèi)擞糜谟?xùn)練模型的，只是2張英偉達GTX 580顯卡。GPU在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練上表現(xiàn)出的驚人能力，不僅讓他們自己嚇了一跳，也讓黃仁勛和英偉達公司嚇了一跳。

作為對比，2012年的早些時候，谷歌“Google Brain”項目的研究人員吳恩達（華裔美國人，1976年生于倫敦）、杰夫·迪恩（Jeff Dean）等人，也搗鼓了一個神經(jīng)網(wǎng)絡(luò)（10億參數(shù)），用來訓(xùn)練對貓的識別。

他們的訓(xùn)練數(shù)據(jù)是來自youtube的1000萬個貓臉圖片，用了1.6萬個CPU，整整訓(xùn)練了3天。

“深度神經(jīng)網(wǎng)絡(luò)+GPU”的優(yōu)勢，顯露無疑。很多人和很多公司的命運，從此改變了。

2013年，辛頓師徒三人共同成立了一家名為DNNresearch的公司。后來，這個只有三個人且沒有任何產(chǎn)品和計劃的公司，被谷歌以幾千萬美元的價格競購（百度也跑去買，和谷歌爭到最后，沒成功）。

AlphaGo

2013年-2018年，谷歌是人工智能領(lǐng)域最活躍的公司。

2014年，谷歌公司收購了專注于深度學(xué)習(xí)和強化學(xué)習(xí)技術(shù)的人工智能公司——DeepMind公司。

2016年3月，DeepMind開發(fā)的人工智能圍棋程序AlphaGo（阿爾法狗），對戰(zhàn)世界圍棋冠軍、職業(yè)九段選手李世石，并以4:1的總比分獲勝，震驚了全世界。

AlphaGo具有很強的自我學(xué)習(xí)能力，能夠搜集大量圍棋對弈數(shù)據(jù)和名人棋譜，學(xué)習(xí)并模仿人類下棋。

一年后，AlphaGo的第四代版本AlphaGoZero問世。在無任何數(shù)據(jù)輸入的情況下，僅用了3天時間自學(xué)圍棋，就以100:0的巨大優(yōu)勢，橫掃了第二代版本AlphaGo。學(xué)習(xí)40天后，AlphaGoZero又戰(zhàn)勝了第三代版本AlphaGo。

當(dāng)時，全世界都在熱議AlphaGoZero的強悍自學(xué)能力，甚至一度引起了人類的恐慌情緒。

谷歌在AI圈出盡風(fēng)頭，但他們估計也沒有想到，一家在2015年悄然成立的公司（確切說，當(dāng)時是非營利性組織），會很快取代他們的主角地位。這家公司（組織），就是如今大紅大紫的OpenAI。

OpenAI的創(chuàng)始人，除了埃隆·馬斯克（Elon Musk）之外，還有薩姆·奧爾特曼（Sam Altman）、彼得·泰爾（Peter Thiel）、里德·霍夫曼（Reid Hoffman）。辛頓的那個徒弟，伊利亞·蘇茨克沃，也跑去當(dāng)了研發(fā)主管。

AIGC

深度學(xué)習(xí)崛起之后，大家應(yīng)該注意到，都是用于一些判別類的場景，判斷貓、狗之類的。那么，深度學(xué)習(xí)，是否可以創(chuàng)造（生成）一些什么呢？

2014 年，蒙特利爾大學(xué)博士生伊恩· 古德費洛（Ian Goodfellow），從博弈論中的“二人零和博弈”得到啟發(fā)，提出了生成對抗網(wǎng)絡(luò)（GANs，Generative Adversarial Networks）。

生成對抗網(wǎng)絡(luò)用兩個神經(jīng)網(wǎng)絡(luò)即生成器（Generator）和判別器（Discriminator）進行對抗。在兩個神經(jīng)網(wǎng)絡(luò)的對抗和自我迭代中，GAN會逐漸演化出強大的能力。

生成對抗網(wǎng)絡(luò)的出現(xiàn)，對無監(jiān)督學(xué)習(xí)、圖片生成等領(lǐng)域的研究，起到極大的促進作用，后來也拓展到計算機視覺的各個領(lǐng)域。

2017年12月，Google機器翻譯團隊在行業(yè)頂級會議NIPS上，丟下了一顆重磅炸彈。他們發(fā)表了一篇里程碑式的論文，名字叫做《Attention is all you need（你所需要的，就是注意力）》。

論文提出只使用“自我注意力（Self Attention）”機制來訓(xùn)練自然語言模型，并給這種架構(gòu)起了個霸氣的名字——Transformer（轉(zhuǎn)換器、變壓器，和“變形金剛”是一個詞）。

所謂"自我注意力"機制，就是只關(guān)心輸入信息之間的關(guān)系，而不再關(guān)注輸入和對應(yīng)輸出的關(guān)系，無需再進行昂貴的人工標注。這是一個革命性的變化。

Transformer的出現(xiàn)，徹底改變了深度學(xué)習(xí)的發(fā)展方向。它不僅對序列到序列任務(wù)、機器翻譯和其它自然語言處理任務(wù)產(chǎn)生了深遠的影響，也為后來AIGC的崛起打下了堅實的基礎(chǔ)。

終于，AIGC的時代，要到來了。

2018年6月，年輕的OpenAI，發(fā)布了第一版的GPT系列模型——GPT-1。同時，他們還發(fā)表了論文《Improving Language Understanding by Generative Pre-training（通過生成式預(yù)訓(xùn)練改進語言理解）》。

GPT，就是Generative Pre.trained Transfommer的縮寫，生成式預(yù)訓(xùn)練變換器。

Generative（生成式），表示該模型能夠生成連續(xù)的、有邏輯的文本內(nèi)容，比如完成對話、創(chuàng)作故事、編寫代碼或者寫詩寫歌等。

Pre.trained（預(yù)訓(xùn)練），表示該模型會先在一個大規(guī)模未標注文本語料庫上進行訓(xùn)練，學(xué)習(xí)語言的統(tǒng)計規(guī)律和潛在結(jié)構(gòu)。

Transfommer，剛才說過了，就是那個很厲害的轉(zhuǎn)換器模型。

谷歌緊隨其后。2018年10月，他們發(fā)布了有3億參數(shù)的BERT（Bidirectional Encoder Representation from Transformers）模型，意思是“來自Transformers的雙向編碼表示”模型。

GPT-1和BERT都使用了深度學(xué)習(xí)和注意力機制，具備較強的自然語言理解能力。兩者的區(qū)別是，BERT使用文本的上下文來訓(xùn)練模型。而專注于“文本生成”的GPT-1，使用的是上文?；凇半p向編碼”的能力，BERT的性能在當(dāng)時明顯優(yōu)異于GPT-1。

谷歌的領(lǐng)先是暫時的。2019年和2020年，OpenAI接連發(fā)布了GPT-2和GPT-3。2022年11月，OpenAI發(fā)布了基于GPT模型的人工智能對話應(yīng)用服務(wù)——ChatGPT（也可以理解為GPT-3.5），徹底引爆了全世界。

ChatGPT結(jié)合了人類生成的對話數(shù)據(jù)進行訓(xùn)練，展現(xiàn)出豐富的世界知識、復(fù)雜問題求解能力、多輪對話上下文追蹤與建模能力，以及與人類價值觀對齊的能力。

它在人機對話方面的出色表現(xiàn)，引發(fā)了社會的高度關(guān)注，在全球范圍內(nèi)掀起了一股AI巨浪。

后面的事情，大家都比較清楚了。

繼ChatGPT后，OpenAI又發(fā)布了GPT-4、GPT-4V、GPT-4 Turbo、GPT-4o，形成了如今難以撼動的領(lǐng)導(dǎo)者地位。谷歌雖然也發(fā)布號稱最強AI大模型的Gemini，但仍然難以在風(fēng)頭上蓋過OpenAI。

除了文本生成，生成式AI也積極向多模態(tài)發(fā)展，能夠處理圖像、音頻、視頻等多種媒體形式。

例如DALL-E、Stable Diffusion、Midjourney等圖像生成模型，Suno、Jukebox音樂生成模型，以及SoRa視頻生成模型。

全球面向各個垂直領(lǐng)域的“大模型之戰(zhàn)”，仍在硝煙彌漫地進行之中。。。

█?結(jié)語

寫到這里，這篇洋洋灑灑一萬多字的文章，終于要結(jié)束了。

我總結(jié)一下：

人工智能起步于1950年代，早期主要是符號主義占主流，并引發(fā)了第一次（政府投資）和第二次AI浪潮（企業(yè)投資）。

到1980年代，符號主義逐漸走弱，機器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)開始崛起，成為主流。

1994-現(xiàn)在，雖然叫做第三次AI浪潮，但也分兩個階段。1994-2006（其實是1980-2006），是機器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)的早期積累階段，打基礎(chǔ)。

2006年，神經(jīng)網(wǎng)絡(luò)進入深度學(xué)習(xí)階段，就徹底開始了AI的爆發(fā)。

從2018年開始，人工智能逐漸進入了Transformer和大模型時代，能力有了巨大的提升，也掀起了AI巨浪。

如今的人工智能，已經(jīng)是全世界關(guān)注的焦點，也處于一個前所未有的白金發(fā)展階段。

隨著深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、生成式AI等技術(shù)的不斷突破，人工智能已經(jīng)在工業(yè)、教育、醫(yī)療、金融、交通、娛樂等幾乎所有領(lǐng)域?qū)崿F(xiàn)了落地。人工智能在計算機視覺、自然語言處理、機器人等方面所具備的能力，已經(jīng)被應(yīng)用到大量的垂直場景，并產(chǎn)生了可觀的經(jīng)濟效益。

在人工智能熱潮的帶動下，軟件、半導(dǎo)體、通信等ICT產(chǎn)業(yè)，都獲得了不錯的商業(yè)機會。圍繞人工智能的幾家大公司，包括英偉達、微軟、蘋果、Alphabet（谷歌母公司）、亞馬遜、Meta、特斯拉，目前在股票市場被譽為“七巨頭”，市值屢破紀錄。

當(dāng)然了，這股熱潮究竟會走向何方，我們還不得而知。也許，它會繼續(xù)增長一段時間，甚至長期持續(xù)下去，將人類徹底帶入智能時代。也許，我們會進入第三次AI低谷，泡沫破碎，一地雞毛，又進入一個新的周期。

未來如何，就讓時間來告訴我們答案吧。

參考文獻：

1、《人工智能簡史》，尼克；2、《人工智能發(fā)展簡史》孫凌云、孟辰燁、李澤健；3、《人工智能 60 年技術(shù)簡史》，李理；4、《深度學(xué)習(xí)簡史》，Keith D. Foote；5、《AI是什么 將帶我們?nèi)ツ膬海俊?，李開復(fù)；6、《人工智能的五個定義：哪個最不可?。俊?，李開復(fù)；7、《一文讀懂人工智能發(fā)展史：從誕生，到實現(xiàn)產(chǎn)業(yè)化》，李彎彎；8、《你一定愛讀的人工智能簡史》，山本一成；9、《AlphaGo背后：深度學(xué)習(xí)的勝利》，曹玲；10、《三張圖講述一部AI進化史》，產(chǎn)品二姐（知乎）；11、《GPT的背后，從命運多舛到顛覆世界，人工神經(jīng)網(wǎng)絡(luò)的跌宕80年》，孫睿晨；12、百度百科、維基百科等。