從2023年底開始,英偉達(dá)開啟了暴漲模式,三個(gè)月翻了快一倍,女神節(jié)那天最高漲到926.69美元,總市值達(dá)到2.32萬億美元,僅次于微軟和蘋果,成為全球市值第三大的公司,而且只離蘋果一步之遙。單從數(shù)字來看,英偉達(dá)的2.32萬億市值已經(jīng)超過地球上絕大多數(shù)國家的GDP,僅次于美中德日印英法,排名第八。
眼看英偉達(dá)富可敵國、遙遙領(lǐng)先,買了英偉達(dá)股票的人在財(cái)富暴漲的同時(shí)、期待著英偉達(dá)股價(jià)超過1000美元;沒買英偉達(dá)的人一邊說著泡沫太大,一邊祈禱這趟飛馳的列車什么時(shí)候能停一停讓他們上車。而整個(gè)科技圈和全球投資者都在尋找,看誰會(huì)成為下一個(gè)英偉達(dá)。
從傳統(tǒng)的芯片巨頭,到初創(chuàng)公司,再到互聯(lián)網(wǎng)大廠和人工智能公司,算力已經(jīng)成了人工智能時(shí)代最重要的鏟子。誰能掌握鏟子的銷售權(quán),誰就拿到了通往萬億市值的鑰匙。
今天要討論的這家公司,和芯片沒毛線關(guān)系。但在人工智能領(lǐng)域,它已經(jīng)是像英偉達(dá)那樣遙遙領(lǐng)先的存在了。更有意思的是,它是算力這把鏟子的最大買家,或許也是英偉達(dá)最大的金主爸爸。
是的,這家公司就是OpenAI。OpenAI這個(gè)濃眉大眼的家伙,也要自己造芯片了,而且一出手就是七萬億美元。不僅要造芯,如今又傳出OpenAI要和微軟共建一個(gè)地表最強(qiáng)的AI數(shù)據(jù)中心,代號(hào)「星際之門」,耗資1150億美元。
這些操作,簡直和英偉達(dá)的布局一毛一樣。那么問題來了,OpenAI能否成為下一個(gè)英偉達(dá)?
英偉達(dá),如何成為英偉達(dá)?
在詳細(xì)分析OpenAI的造芯前景之前,我們得先弄明白英偉達(dá)走到現(xiàn)在的高度,到底是因?yàn)槭裁丛?、它到底做?duì)了什么。先說結(jié)論,在我看來英偉達(dá)做對(duì)了四點(diǎn),分別是領(lǐng)導(dǎo)者、技術(shù)、生態(tài)、運(yùn)氣,缺一不可。
先說領(lǐng)導(dǎo)者。打工人肯定都有體會(huì),一個(gè)靠譜的老大是多重要。不過我們這里說的領(lǐng)導(dǎo)者,顯然要更高一層,是帶領(lǐng)整個(gè)公司甚至行業(yè)發(fā)展的真正領(lǐng)袖。不用多說,英偉達(dá)老大黃仁勛應(yīng)該是當(dāng)前全球最炙手可熱、而且還在一線工作的科技領(lǐng)袖之一。
31年前,老黃在美國加州的一個(gè)小餐廳里創(chuàng)立英偉達(dá),目標(biāo)是要開拓一個(gè)「0億美元市場」,也就是從0到1進(jìn)軍一個(gè)大家從未聽說過的領(lǐng)域,而不是在存量市場里不斷內(nèi)卷。事實(shí)證明,正是因?yàn)槔宵S非凡的想象力和前瞻性,帶領(lǐng)英偉達(dá)踩中了過去三十年的幾乎所有風(fēng)口,也把英偉達(dá)帶到了現(xiàn)在前所未有的高度。
所以對(duì)于科技領(lǐng)袖來說,最重要的就是「預(yù)見未來」的能力、以及開疆破土的勇氣。所有萬億美元的產(chǎn)業(yè),都是來自于0億美元的市場。這對(duì)于我們的創(chuàng)業(yè)者來說也是一個(gè)很重要的啟示。比如在ChatGPT出現(xiàn)之后,一堆初創(chuàng)公司去自研大模型,并不是說這沒有意義,而是或許這并不是個(gè)0億美元的市場。如何把握公司的未來方向,領(lǐng)導(dǎo)者起到的作用至關(guān)重要。
再來說技術(shù)和生態(tài)。這是英偉達(dá)遙遙領(lǐng)先的兩個(gè)最重要護(hù)城河,之前視頻里也說過多次了。一方面通過對(duì)GPU架構(gòu)的不斷優(yōu)化,集成更多AI算力,讓GPU成為人工智能掘金路上不可或缺的鏟子。另一方面通過CUDA構(gòu)建軟件和開發(fā)者生態(tài),培養(yǎng)加強(qiáng)AI從業(yè)者對(duì)英偉達(dá)GPU的依賴。
就像我們從小學(xué)中文;長大后是可以再學(xué)英語法語,但肯定不如母語用起來順手。技術(shù)和生態(tài)構(gòu)成了一個(gè)不斷旋轉(zhuǎn)的飛輪,芯片和技術(shù)做的好,會(huì)吸引更多人來用,從而形成了生態(tài);生態(tài)做的好,用戶就習(xí)慣留在這里,同時(shí)提出更多需求,幫助下一代芯片再上一個(gè)臺(tái)階。其他公司想要成為下一個(gè)英偉達(dá),技術(shù)和生態(tài)缺一不可。
最后再說運(yùn)氣。不管是99%的努力加1%的運(yùn)氣,還是1%的努力加99%的運(yùn)氣,運(yùn)氣本身都是取得成功的必要因素。英偉達(dá)之所以達(dá)到今天富可敵國的程度,很重要的原因就是踩中了過去三十年幾乎所有的風(fēng)口。從游戲到云計(jì)算到數(shù)字貨幣挖礦到元宇宙到汽車再到現(xiàn)在的人工智能,無一例外。
但是,我想說的并不是創(chuàng)業(yè)公司要像「周處除三害」里的陳桂林一樣去找關(guān)圣帝笅杯占卜,而是要不斷提升好運(yùn)到來的概率,這樣當(dāng)運(yùn)氣沒來時(shí)蟄伏、運(yùn)氣一旦來到就能一把抓住。就像英偉達(dá)本質(zhì)上并不是在追風(fēng)口,而是構(gòu)建GPU的基礎(chǔ)技術(shù),讓它靈活到能適用于前面說的這么多領(lǐng)域,但又足夠強(qiáng)大,能成為風(fēng)口到來時(shí)的唯一選擇。當(dāng)然,運(yùn)氣和產(chǎn)業(yè)本身的發(fā)展?fàn)顟B(tài)、甚至和領(lǐng)導(dǎo)者的造勢能力也有很大關(guān)系。
所以,領(lǐng)導(dǎo)者、技術(shù)、生態(tài)、運(yùn)氣這四點(diǎn),是衡量一個(gè)公司未來發(fā)展的重要因素。接下來我們就用這個(gè)框架來看看,到底OpenAI能否成為下一個(gè)英偉達(dá)。
OpenAI造芯,到底是誰瘋了?
很多朋友應(yīng)該會(huì)疑惑,OpenAI不是做大模型的人工智能公司嗎?他應(yīng)該是英偉達(dá)的金主爸爸啊。但事實(shí)上在大模型領(lǐng)域,算力和模型,誰是爸爸誰是兒子還不一定。由于訓(xùn)練一個(gè)大模型特別吃GPU算力,所有公司都在瘋狂買卡,這就形成了一個(gè)賣方占主導(dǎo)的市場。
強(qiáng)如OpenAI,雖然有微軟數(shù)據(jù)中心近乎all-in的強(qiáng)力支持,也逐漸遇到了算力瓶頸。要知道GPT3的訓(xùn)練成本大概400萬美元,到了GPT4就飆升到1億,有人預(yù)估GPT-5的訓(xùn)練成本會(huì)高達(dá)驚人的25億美元,其中絕大部分都要用來買英偉達(dá)的GPU算力。
于是,OpenAI的CEO Sam Altman大筆一揮,宣布要籌措7萬億美元自己造芯(后來他在Lex Freddman的播客里說「我從來沒說過7萬億」,Lex說「OK,但你說了8萬億」……)。聽到這個(gè)消息,我感覺不是他瘋了,就是我瘋了。根據(jù)他的說法,要用這筆錢徹底改造全球的半導(dǎo)體行業(yè)。所以他不止要做芯片設(shè)計(jì),還要自己造晶圓廠。
7萬億美元是什么概念呢,網(wǎng)友也幫我們算了一筆賬,7萬億可以買下包括英偉達(dá)在內(nèi)的全球前20名芯片公司,外加Meta,然后奧特曼還能剩下三千億美元,就是這么夸張。你把所有芯片公司都買了,搞個(gè)OpenChip公司自己玩就行了唄。為此,硅仙人Jim Keller現(xiàn)場打臉,在社交媒體隔空喊話,說這些事兒給我一萬億就搞定了。
話說回來,且不論7萬億美元造芯有多瘋狂,我覺得OpenAI造芯是在算力緊缺情況下的一個(gè)理智的選擇。那么套用我們的領(lǐng)導(dǎo)者-技術(shù)-生態(tài)-運(yùn)氣框架,OpenAI能否成為下一個(gè)英偉達(dá)呢?領(lǐng)導(dǎo)者方面,Sam Altman可以說是現(xiàn)在全球科技圈最有名的八零后領(lǐng)袖。不管是ChatGPT、GPT應(yīng)用商店,還是年初發(fā)布的Sora,OpenAI在他的帶領(lǐng)下已然成為了人工智能領(lǐng)域創(chuàng)業(yè)公司的王者公司。他自己的個(gè)性也很鮮明,把硅谷搞成了好萊塢,把OpenAI搞成了宮斗現(xiàn)場,還上演了熹貴妃歸來的大戲。不過和老黃相比,奧特曼個(gè)性有余、從容親和略顯不足。
所以領(lǐng)導(dǎo)者這一項(xiàng),我給OpenAI四顆星。
再來看技術(shù)維度,OpenAI七萬億造芯到底能干成嗎?先看芯片架構(gòu)的選擇。根據(jù)現(xiàn)在披露的非常有限的信息,我們不知道OpenAI是做專用芯片還是通用芯片,但我猜大概率是以AI專用芯片開始,可能會(huì)通過收購一些初創(chuàng)AI芯片公司快速起步,之前就有傳言說OpenAI看上了來自英國的Graphcore,這也是很多大廠自研芯片的常用套路。外加OpenAI的看家本領(lǐng)是大模型本身,因此會(huì)為芯片設(shè)計(jì)提供非常理想的應(yīng)用和優(yōu)化的場景。所以如果OpenAI真的下場造芯,我毫不懷疑他們能設(shè)計(jì)出一個(gè)高性能的AI芯片。
不過,在奧特曼的七萬億規(guī)劃中,還包含芯片制造的部分,這就有點(diǎn)不靠譜了。當(dāng)前芯片行業(yè)的主流模式是fabless、也就是無晶圓廠模式。這個(gè)模式的核心是絕大部分芯片公司只負(fù)責(zé)芯片設(shè)計(jì),只有少數(shù)公司負(fù)責(zé)芯片制造,讓大家專注在擅長的領(lǐng)域、發(fā)揮各自的優(yōu)勢,不用既要又要還要,從而實(shí)現(xiàn)資源的合理分配。這種無晶圓廠模式也是芯片行業(yè)經(jīng)過幾十年的發(fā)展分工逐漸形成的穩(wěn)定而高效的模式。
具體來看芯片制造,如今有高端芯片制造能力的公司只有三個(gè):臺(tái)積電、三星和英特爾。這是個(gè)資本和技術(shù)極度密集且門檻極高的行業(yè),沒錢不行,只有錢也是萬萬不夠的,必須得有幾十年行業(yè)經(jīng)驗(yàn)和工程實(shí)踐的技術(shù)積累。這么說吧,如果你從來沒做過包子,想在你家小區(qū)旁邊開一家包子鋪應(yīng)該都費(fèi)勁。更不用說從來沒做過芯片的人上來就去蓋芯片廠了。這么深的水,我怕你把握不住。
也有分析說,奧特曼為了動(dòng)用鈔能力彎道超車,打算搞加盟模式,也就是把錢給臺(tái)積電,請(qǐng)臺(tái)積電建廠和運(yùn)營,只為OpenAI服務(wù),硬生生把臺(tái)積電搞成7-11,果然有錢就是任性。
綜上,開啟買買買模式的OpenAI造芯,在技術(shù)維度我給四顆星。
GPT7和暗硅效應(yīng)
再來看生態(tài)。OpenAI在人工智能領(lǐng)域有著夢幻開局,但先發(fā)優(yōu)勢能否轉(zhuǎn)化為像英偉達(dá)那樣的萬億市值和技術(shù)統(tǒng)治力,還取決于生態(tài)的發(fā)展和未來路線圖的設(shè)計(jì),而這恰恰也是我認(rèn)為最存疑的地方。
為什么這么說呢?四年前,OpenAI發(fā)表了一篇論文,提出了大語言模型的縮放定律(scaling law)。這個(gè)定律表明,只要對(duì)大語言模型投入更多算力和數(shù)據(jù)進(jìn)行訓(xùn)練,就能提高它下一個(gè)單詞的預(yù)測準(zhǔn)確性。有人也把這個(gè)定律簡單描述為:scaling is all you need,好像只要不斷投算力和數(shù)據(jù),大模型就能不斷發(fā)展下去。
但事實(shí)真的是這樣嗎?有人做了一個(gè)計(jì)算,如果保持現(xiàn)在GPT1234發(fā)展的速度,到2030年左右的GPT7就需要全世界所有計(jì)算機(jī)提供算力、需要一個(gè)超過三峽大壩或者現(xiàn)在任何核電站的巨型發(fā)電廠提供能源,以及超過現(xiàn)在地球上所有的數(shù)據(jù),這顯然是不現(xiàn)實(shí)的。
OpenAI提出的縮放定律,讓我想到了芯片領(lǐng)域的兩個(gè)非常類似的縮放規(guī)律,一個(gè)是登納德縮放定律(Dennard Scaling Law),一個(gè)是阿姆達(dá)爾定律(Amdahl's Law)。登納德縮放定律認(rèn)為,隨著晶體管體積的縮減,它們的工作電壓也會(huì)降低,從而使得芯片單位面積功耗保持不變。
也就是說,隨著芯片技術(shù)的發(fā)展,我們可以同樣的芯片面積上放更多晶體管,性能更高,但功耗不變;或者為了實(shí)現(xiàn)同樣的性能,芯片面積會(huì)更小、功耗會(huì)更低。阿姆達(dá)爾定律認(rèn)為,要顯著提升一個(gè)程序的執(zhí)行速度,就需要盡可能減少他串行部分的執(zhí)行時(shí)間,同時(shí)增加并行代碼的比例。
因此十幾年前,芯片領(lǐng)域?qū)W術(shù)界和工業(yè)界的主要發(fā)展趨勢就是多核心架構(gòu)。雖然這還沒有完全成為一個(gè)正式的全球性共識(shí),但在當(dāng)時(shí),多核架構(gòu)是非常熱門的研究方向。人們認(rèn)為,如果可以找到編寫和運(yùn)行并行軟件的方法,我們就能直接將處理器架構(gòu)擴(kuò)展到數(shù)千個(gè)核心,從而帶來芯片性能成百上千倍的提升。
然而,我們現(xiàn)在知道,這種趨勢是不能無限擴(kuò)展的。2011年,德州大學(xué)奧斯汀分校的道格博格爾教授發(fā)表了一篇論文,提出并研究了所謂的“暗硅效應(yīng)”。我的骨灰級(jí)老粉應(yīng)該聽過這個(gè)概念,因?yàn)槲业牡谝黄谝曨l就講了這個(gè),大家可以去考古一下,鏈接在「閱讀原文」中查看。
那么什么是暗硅效應(yīng)呢?它指的是雖然我們可以不斷增加處理器核心的數(shù)量,但是由于能耗限制,我們卻無法讓這些計(jì)算核心同時(shí)工作。這就好像一幢大樓里有很多房間,但由于能耗限制,你無法同時(shí)開啟每個(gè)房間的燈光,使得這幢大樓在夜里看起來有很多黑暗的部分。這就是暗硅這個(gè)詞得名的原因。
暗硅效應(yīng)的本質(zhì)原因是,在后摩爾定律時(shí)代,晶體管的能效發(fā)展已經(jīng)趨于停滯。這樣,即使人們開發(fā)出了并行軟件,并且不斷增加了核心數(shù)量,所帶來的性能提升也會(huì)非常有限。所以為了克服“暗硅效應(yīng)”帶來的問題,業(yè)界還需要在其他的方面帶來更多進(jìn)展,包括定制計(jì)算等等。道格博格爾之后也加入了微軟,并且領(lǐng)導(dǎo)了微軟的FPGA項(xiàng)目,這個(gè)就不多說了。
再回到OpenAI的大語言縮放定律,OpenAI萬億造芯的本質(zhì),其實(shí)就是奧特曼希望通過提供「無限的計(jì)算能力,帶來全能的人工智能」,但現(xiàn)在OpenAI的這種暴力堆算力和數(shù)據(jù)的方法,或許并不是實(shí)現(xiàn)超級(jí)人工智能的可行途徑。
再進(jìn)一步,大模型究竟是人工智能的終點(diǎn)、還是人工智能發(fā)展過程中的一個(gè)重要節(jié)點(diǎn),也是很多人一直在思考的問題。比如圖靈獎(jiǎng)得主、人工智能教父之一的LeCun就公開反對(duì)OpenAI的自回歸生成模型的技術(shù)路線,并認(rèn)為Sora「通過生成像素來模擬世界的行為,既浪費(fèi)資源且注定會(huì)失敗」。
所以,生態(tài)部分我給OpenAI三星半。
AI的黃金時(shí)代
最后來看看運(yùn)氣。前面說隨著芯片的縮放臨近極限,迫使人們不得不去尋找更多更高效的芯片設(shè)計(jì)方法,這反而促進(jìn)了芯片行業(yè)的發(fā)展。圖靈獎(jiǎng)得主John Hennessy和David Patterson也在此時(shí)提出了著名的論斷,未來十年會(huì)是體系結(jié)構(gòu)的黃金時(shí)代。至少現(xiàn)在我們可以看到,在這個(gè)黃金年代中,英偉達(dá)是最大的贏家,沒有之一。
所以,當(dāng)AI縮放定律走到盡頭時(shí),是否也會(huì)開啟AI芯片的下一個(gè)黃金時(shí)代?從這個(gè)角度看,是不是OpenAI造芯的好日子還在后頭?芯片是個(gè)長周期行業(yè),從現(xiàn)在開始布局,少則兩三年,多則五六年才能看到結(jié)果。運(yùn)氣方面OpenAI從來沒輸給過誰,它已經(jīng)踩中了大模型這個(gè)超級(jí)大風(fēng)口,而芯片,或許會(huì)成為OpenAI踩中的下一個(gè)風(fēng)口。
所以,運(yùn)氣方面,我給OpenAI四星半。
以上就是我對(duì)OpenAI造芯未來的想法,不知道你是否同意?你覺得OpenAI會(huì)成為下一個(gè)英偉達(dá)嗎?歡迎在評(píng)論區(qū)說說你的想法。感謝你一直看到這里,所以我給你準(zhǔn)備了一個(gè)福利:我列了四個(gè)可能成為英偉達(dá)的公司,分別是AMD、谷歌、特斯拉、Tenstorrent,你希望我先講誰?把你的選擇寫在評(píng)論區(qū),我優(yōu)先安排。
(注:本文不代表老石任職單位的觀點(diǎn)。)