作者|薛良Neil? ?郵箱|neilshen@pingwest.com
誰有英偉達(dá)GPU,誰就是云公司
關(guān)于英偉達(dá)總有新的消息讓你驚訝。
最近的一則來自美國(guó)的一家云初創(chuàng)公司 CoreWeave 。
這家公司宣布融資23億美金,而更讓人震驚的是這筆錢的抵押物是其擁有的GPU。在大模型熱潮下,GPU儼然成為一種硬通貨,而CoreWeave之所以能有如此多的英偉達(dá)稀缺物品,是因?yàn)樗^去的身份——北美最大的以太坊礦工。
那時(shí)它有超過五萬臺(tái)GPU用來挖礦,在面對(duì)挖礦的不可持續(xù)性后,CoreWeave把目光轉(zhuǎn)向AI等需要并行計(jì)算的領(lǐng)域,并在 ChatGPT 爆紅之前就采購了大量英偉達(dá)芯片——那時(shí)芯片的產(chǎn)能還足夠充分。
由此,CoreWeave自稱是世界上唯一一個(gè)可以大規(guī)模提供H100算力的公司,也搖身一變成為了一家“云廠商”。
是的,它的GPU供給超越了所有云服務(wù)巨頭,包括谷歌云、亞馬遜云和微軟的Azure。
這聽上去有些奇特,即使是不談GPU數(shù)量瓶頸,構(gòu)建數(shù)據(jù)中心還需要巨量的成本,精巧的空間、能源和散熱設(shè)計(jì)以及十分復(fù)雜的軟硬件協(xié)同,一般來說,能滿足這些條件的只能是巨頭,而不是剛進(jìn)行了B輪融資(4.21億美元)的初創(chuàng)公司。
CoreWeave 能做到這一點(diǎn),源于一種對(duì)數(shù)據(jù)中心截然不同的理解。
傳統(tǒng)的數(shù)據(jù)中心由CPU構(gòu)成,它們側(cè)重于通用計(jì)算的能力,主要由最開始是英特爾,后來是AMD的芯片所壟斷。
但全新的用于加速計(jì)算的數(shù)據(jù)中心則更強(qiáng)調(diào)并行計(jì)算,這就意味著它需要有更大的內(nèi)存、帶寬以及把所有的加速計(jì)算單元密切連接起來的能力,英偉達(dá)創(chuàng)始人和CEO黃仁勛稱這個(gè)過程為“數(shù)據(jù)中心現(xiàn)代化”,在他看來這是一個(gè)將持續(xù)10年的周期。
這個(gè)新周期的開始預(yù)示著整個(gè)數(shù)據(jù)中心的建構(gòu)方式,軟硬件協(xié)同乃至電源和散熱結(jié)構(gòu)都需要重新設(shè)計(jì)。這讓所有的云服務(wù)提供商幾乎重回起跑線——針對(duì) CPU 設(shè)計(jì)的上一代的數(shù)據(jù)中心方案幾乎完全無法照搬。比如英偉達(dá)連接龐大GPU集群所用到的 Infinite Band 技術(shù)需要超過500英里的電纜,這在傳統(tǒng)的數(shù)據(jù)中心設(shè)計(jì)中根本不存在。
CoreWeave舉了另一個(gè)例子,相同場(chǎng)地大小,GPU 集群所需要的電力是傳統(tǒng)數(shù)據(jù)中心的 4 倍,因此新數(shù)據(jù)中心的電力系統(tǒng)和散熱系統(tǒng)都需要完全重新設(shè)計(jì),這甚至還不算軟硬件協(xié)同的成本。
搶占先機(jī)的CoreWeave由此不僅能提供龐大的H100算力,并且在比其它的云服務(wù)快幾十倍的同時(shí)費(fèi)用還低80%,能做到這些,我們可以將其歸功于它很早就精準(zhǔn)踐行了黃仁勛有關(guān)數(shù)據(jù)中心的愿景——數(shù)據(jù)中心正在向加速計(jì)算方向轉(zhuǎn)化,而緊缺的算力則通過云供應(yīng)。
就這樣,一家虛擬幣挖礦公司就變成了一家當(dāng)紅的云計(jì)算公司,只因?yàn)樗亲钪艺\(chéng)的英偉達(dá)門徒。
英偉達(dá)云是個(gè)什么云
誰有英偉達(dá)的GPU誰就是最紅的云廠商,那么誰有最多的英偉達(dá)GPU?顯然是它自己。
于是在扶持類似的云初創(chuàng)企業(yè)的同時(shí),英偉達(dá)也在建設(shè)自己的云。
英偉達(dá)親自下場(chǎng)做云的優(yōu)勢(shì)有很多,最明顯的是它不受到GPU供需關(guān)系的困擾。馬斯克曾在公開場(chǎng)合說,獲得GPU比獲得毒品要難多了,而CoreWeave之所以能提供超大規(guī)模的 H100 算力,據(jù)悉也和英偉達(dá)的充分供應(yīng)有關(guān)——英偉達(dá)在幾個(gè)月前參與了CoreWeave的 B 輪融資。
但顯然,僅僅投一些初創(chuàng)公司還不夠,生成式 AI 對(duì)算力的巨大需求最終讓英偉達(dá)自己下場(chǎng)。在今年3月的GTC大會(huì)上,英偉達(dá)推出了自己的云服務(wù)DGX Cloud ,它已在年中正式上線。
從名字就可以看出,DGX Cloud 直接利用了英偉達(dá)DGX超級(jí)計(jì)算機(jī)的能力,云的每個(gè)實(shí)例均配備8個(gè)H100或A100 GPU以及640GB內(nèi)存。
DGX Cloud 采用了一種低延遲結(jié)構(gòu),讓龐大的工作流可以在集群之間擴(kuò)展,于多個(gè)計(jì)算節(jié)點(diǎn)上并行分配。舉個(gè)例子來說,最先宣布與DGX Cloud合作的甲骨文,它在OCI Supercluster上每個(gè)集群可以部署超過3萬個(gè)A100 GPU,由此大模型可以在云上進(jìn)行訓(xùn)練。用戶在任何地方都能自由訪問屬于自己的 AI 超級(jí)計(jì)算機(jī)(英偉達(dá)表示算力的分配是獨(dú)享排他的),打交道的只有前臺(tái)界面,除了開發(fā)過程本身不用再去擔(dān)心任何和硬件基礎(chǔ)設(shè)施有關(guān)的問題。
這項(xiàng)服務(wù)采用月租形式,金額高達(dá)近 4 萬美元。當(dāng)然,相比直接買一臺(tái) DGX 服務(wù)器 20 萬美元的價(jià)格來說還是便宜了許多,但不少人都指出,微軟的 Azure 同樣 8 個(gè) A100GPU 的收費(fèi)只有不到 2 萬美元,幾乎是前者的一半。
為什么這么貴?因?yàn)橛ミ_(dá)的云服務(wù)和別家不同,它不僅包括算力,還包括一整套 AI 解決方案。
名為Base Command Platform(基礎(chǔ)命令平臺(tái))和 AI Enterprise 的兩項(xiàng)服務(wù)被集成到了DGX Cloud里。前者是一個(gè)管理與監(jiān)控軟件,不僅可以用來記錄云端算力的訓(xùn)練負(fù)載,提供跨云端和本地算力的整合,還能讓用戶直接從瀏覽器訪問 DGX Cloud。后者則是英偉達(dá) AI 平臺(tái)中的軟件層,高達(dá)數(shù)千個(gè)軟件包提供了各種預(yù)訓(xùn)練模型、AI 框架和加速庫,從而簡(jiǎn)化端到端的 AI 開發(fā)和部署成本。除此之外,DGX Cloud 上還提供名為 AI Foundations 的模型鑄造服務(wù),讓企業(yè)用戶可以使用自己的專有數(shù)據(jù)定制屬于自己的垂直大模型。
這套軟硬件組合起來的完整解決方案讓 DGX Cloud 訓(xùn)練速度相比傳統(tǒng)的云計(jì)算提高了兩到三倍,這成為了DGX Cloud與傳統(tǒng)云服務(wù)最大的不同,它很好的綜合了英偉達(dá)兩方面的強(qiáng)項(xiàng):AI 生態(tài)和算力。對(duì)于英偉達(dá)來說,“軟件即服務(wù)”這句話似乎應(yīng)該改成“軟硬件一體即服務(wù)”,DGX Cloud 集中代表了一個(gè)硬件廠商向上垂直整合的能力天花板。
黃仁勛的野心和現(xiàn)實(shí)
但這并不意味著英偉達(dá)就徹底掀了傳統(tǒng)云廠商的桌子。它的這項(xiàng)服務(wù)是通過傳統(tǒng)云廠商來提供的。DGX Cloud 最開始被宣布推出在甲骨文云上,隨后微軟和谷歌跟進(jìn),而英偉達(dá)與這些云廠商合作的方式顯得頗為有趣:英偉達(dá)先把 GPU硬件賣給這些云合作伙伴,然后再租用這些硬件以便運(yùn)行DGX Cloud。
有人戲稱這叫兩邊錢一起賺,都不耽誤。
實(shí)際上,黃仁勛解釋過這種模式:“我們從讓客戶使用我們的計(jì)算平臺(tái)中受益,而客戶通過將我們(的計(jì)算平臺(tái))置于他們(云廠商)的云中而受益?!?/p>
如果只聽黃仁勛說,這就是個(gè)皆大歡喜的雙贏結(jié)局,然而這只是他一貫的敘事而已。英偉達(dá)已經(jīng)陷入與自己客戶的競(jìng)爭(zhēng)中,并且心知肚明。
DGX Cloud 進(jìn)展告訴我們,黃仁勛并不打算僅僅把它布置于傳統(tǒng)云廠商上。在八月的 SIGGRAPH 2023上,英偉達(dá)先是宣布了與 Hugging Face 的合作,接著發(fā)布了名為AI Workbench的服務(wù)。它們都可以讓用戶便捷創(chuàng)建、測(cè)試和定制預(yù)訓(xùn)大模型,其背后的算力支持自然都包括了 DGX Cloud。
這顯然會(huì)沖擊英偉達(dá)和云廠商的關(guān)系:最主要的云服務(wù)商,包括谷歌、亞馬遜和微軟,它們同樣也是英偉達(dá)的大客戶,英偉達(dá)推廣自有云服務(wù)勢(shì)必會(huì)搶奪它們的市場(chǎng)份額。特別是我們?cè)诘谝徊糠忠呀?jīng)談到,作為數(shù)據(jù)中心和云服務(wù)巨頭的它們?cè)跇?gòu)建下一代數(shù)據(jù)中心的問題上本來就不具備多少優(yōu)勢(shì),如果再考慮到英偉達(dá)芯片產(chǎn)能“卡脖子”的問題,英偉達(dá)的自有云服務(wù)威脅不可謂不小。
黃仁勛不會(huì)不知道這一點(diǎn),因此他對(duì)DGX Cloud 的態(tài)度就顯得頗值得玩味了,比如他公開表示,一個(gè)恰當(dāng)?shù)脑品?wù)組合比例應(yīng)該是10%英偉達(dá)DGX加上90%的公有云。換而言之,DGX Cloud 在黃仁勛的定位里并不是傳統(tǒng)云廠商的對(duì)手與威脅,而是合作伙伴。
在 Q1 季度財(cái)報(bào)公布后的分析師電話會(huì)上黃仁勛談的更多的都是這種合作的好處,“一個(gè)巨大的雙贏”,黃仁勛如此形容。在他的理解里,DGX Cloud 是一個(gè)純粹的英偉達(dá)堆棧(pure Nvidia stack),把人工智能開發(fā)、大型數(shù)據(jù)庫和高速低延遲網(wǎng)絡(luò)組合在一起,成為一種便捷的AI 基礎(chǔ)設(shè)施從而打開全新的、巨大的市場(chǎng)——這個(gè)市場(chǎng)的參與者包括了英偉達(dá)和傳統(tǒng)云廠商,大家將共同受益于生成式 AI 的爆發(fā)。
極力避談沖突,其實(shí)是因?yàn)?,DGX Cloud 恐怕很長(zhǎng)時(shí)間內(nèi)都只能維持一個(gè)較小的體量。
第一個(gè)原因當(dāng)然是算力的瓶頸。“訂單多到不可思議”是黃仁勛形容數(shù)據(jù)中心業(yè)務(wù)量時(shí)的描述,英偉達(dá)的核心要?jiǎng)?wù)當(dāng)然是開發(fā)并保證生產(chǎn)盡可能多的符合市場(chǎng)需求的先進(jìn)芯片,否則云服務(wù)的規(guī)模是無法擴(kuò)大的。
盡管臺(tái)積電在馬不停蹄的生產(chǎn),但值得注意的是算力缺口不是變小而是更大了,因?yàn)橐坏┐竽P吐涞睾蜕虡I(yè)化(比如像ChatGPT那樣),其推理成本將隨著用戶規(guī)模的提升指數(shù)級(jí)升高,長(zhǎng)遠(yuǎn)來看會(huì)比訓(xùn)練模型的算力需求大得多(有人給出的倍率是 100)。
此外也是考慮到英偉達(dá)和傳統(tǒng)云廠商合作關(guān)系的復(fù)雜性。DGX Cloud如果作為一種純粹的競(jìng)品出現(xiàn),或許會(huì)占領(lǐng)可觀的市場(chǎng)份額,但勢(shì)必進(jìn)一步加速云廠商擺脫對(duì)英偉達(dá)的依賴——它們本來就已經(jīng)為了少交點(diǎn)“英偉達(dá)稅”而不約而同地自研芯片了。
從另一個(gè)角度講,全力擴(kuò)大 DGX Cloud 規(guī)??赡芤膊环嫌ミ_(dá)的最佳利益。從芯片到游戲顯卡再到服務(wù)器和數(shù)據(jù)中心,英偉達(dá)絕少自己制造硬件產(chǎn)品,它更喜歡和OEM 廠商合作——以至于許多時(shí)候你要采購英偉達(dá)芯片都還是得經(jīng)過 OEM 廠商。這讓英偉達(dá)很好的控制成本,維持利潤(rùn)率。
今天英偉達(dá)和云廠商之間似乎維持了一種平衡,但平衡就是用來打破的,尤其當(dāng)一方是英偉達(dá)的時(shí)候,畢竟眼下才是黃仁勛所謂“下一代數(shù)據(jù)中心十年”更新周期的第一年。