英偉達(dá)和AMD，GPU之外的下一個競爭高地

AMD對英偉達(dá)的攻勢終于全面展開了。如果說新發(fā)布的MI300系列就像一把利刃插在英偉達(dá)的AI帝國版圖上，那么接下來的這一步，才是AMD想要合縱連橫、攻城掠地的開始。

近日舉辦的“AMD Advancing AI”發(fā)布會上，AMD 發(fā)布了最新一代AI產(chǎn)品MI 300X與MI 300A，分別鎖定生成式AI和HPC/AI數(shù)據(jù)中心。除了尖端的算力，更大規(guī)模AI所必不可少的跨服務(wù)器加速卡互聯(lián)方面，AMD CEO Lisa Su指出，“Ethernet is the answer”，表示將擁抱以太網(wǎng)，并聯(lián)合Open Ethernet生態(tài)系統(tǒng)共同支持生成式AI。

而就在今年6月的Computex上，英偉達(dá)創(chuàng)始人兼CEO黃仁勛發(fā)布了全球首個AI構(gòu)建的Spectrum-X以太網(wǎng)架構(gòu)，通過Spectrum-4以太網(wǎng)交換機(jī)和BlueField-3 DPU的緊密耦合，提升了以太網(wǎng)的AI性能和能效。

不約而同的布局顯示，隨著生成式AI帶來的計算規(guī)模的擴(kuò)大和分布式計算趨勢，AMD挑戰(zhàn)英偉達(dá)市場地位的方式，除了GPU這個主戰(zhàn)場，在以太網(wǎng)領(lǐng)域的競爭也將全面開啟。

網(wǎng)絡(luò)成為生成式AI算力瓶頸，改造勢在必行

生成式AI給數(shù)據(jù)中心帶來了新挑戰(zhàn)，包括整體計算架構(gòu)、網(wǎng)絡(luò)通信平臺以及相應(yīng)的系統(tǒng)軟件等，都需要進(jìn)行全新設(shè)計。

這是因為，面對生成式AI激增的數(shù)據(jù)量，數(shù)據(jù)中心越來越需要整體運(yùn)作。以往單一的、簡單的應(yīng)用，可能只需調(diào)用幾臺服務(wù)器即可，但是隨著AI負(fù)載規(guī)模越來越大，甚至需要調(diào)動整個數(shù)據(jù)中心資源協(xié)同完成一項工作。也就是說，整個數(shù)據(jù)中心越來越成為一臺“大計算機(jī)”，這就需要從底層對數(shù)據(jù)中心整體架構(gòu)進(jìn)行重塑，保證數(shù)據(jù)中心整體的效率和性能。而除了算力之外，通信網(wǎng)絡(luò)也是數(shù)據(jù)中心的核心能力。

作為當(dāng)今互聯(lián)網(wǎng)誕生的根基，以太網(wǎng)非常有彈性，它可以支持TCP等傳輸層協(xié)議，可以基于傳統(tǒng)的網(wǎng)絡(luò)丟包機(jī)制來緩解網(wǎng)絡(luò)擁塞。這種方式對業(yè)務(wù)的性能抖動不敏感，出現(xiàn)數(shù)據(jù)包丟失時，它會根據(jù)應(yīng)用需求重新傳輸或直接放棄、幾乎可以從任何地方重連。不過，對于高吞吐量的AI負(fù)載來說，根本負(fù)擔(dān)不起丟包的代價，也無法接受抖動問題，因為這些都會對AI負(fù)載和性能產(chǎn)生巨大影響。

特別是對于生成式AI來說，大模型參數(shù)規(guī)模及數(shù)據(jù)集不斷擴(kuò)大，當(dāng)一個大模型跑在成千上萬個算力集群上時，采用的是分布式、緊耦合的計算方式，這時，整個系統(tǒng)的性能已經(jīng)不僅取決于單一GPU、單一服務(wù)器，更取決于網(wǎng)絡(luò)性能，對數(shù)據(jù)傳輸有著更高要求，這就需要對傳統(tǒng)以太網(wǎng)進(jìn)行“改造”，構(gòu)建支持RoCE（RDMA over Converged Ethernet）的無損網(wǎng)絡(luò)，做到不丟包，支持以太網(wǎng)RDMA，滿足高帶寬和高利用率需求。

大規(guī)模AI網(wǎng)絡(luò)方案，天下苦英偉達(dá)久矣？

要談?wù)撋墒紸I對數(shù)據(jù)中心網(wǎng)絡(luò)的深刻改變，還要多說幾句數(shù)據(jù)中心計算范式的根本顛覆。在傳統(tǒng)的計算系統(tǒng)中，CPU和內(nèi)存是核心，GPU、NIC、NVMe等都是外設(shè)，PCIe是機(jī)內(nèi)通信最重要的組件之一。而隨著深度學(xué)習(xí)的到來，這一范式改變了，GPU成了計算的核心。如此一來，如果仍然依賴傳統(tǒng)的通信組件，勢必會遇到瓶頸。這也是為什么，英偉達(dá)專門推出NVLink、NVSwitch等GPU之間的連接方案，就是希望獲得更高的互聯(lián)帶寬。

而對于跨設(shè)備之間的通信，RDMA(remote direct memory access)遠(yuǎn)端直接內(nèi)存訪問技術(shù)又是一個有意思的開始。它本質(zhì)上是針對大規(guī)模分布式計算存儲的場景，讓網(wǎng)卡繞開CPU，配合遠(yuǎn)端服務(wù)器直接存取內(nèi)存，能夠加速服務(wù)器之間的交互，降低時延。

RDMA作為一種高性能網(wǎng)絡(luò)通信技術(shù)，具有高帶寬、低延遲、無CPU消耗、零拷貝等優(yōu)點，InfiniBand就是RDMA技術(shù)的實現(xiàn)方式之一，不過，它需要專門的網(wǎng)卡和交換機(jī)來支持，帶來了額外的硬件成本。目前，市場上主要有英偉達(dá)、英特爾、思科和HP等InfiniBand網(wǎng)絡(luò)解決方案和配套設(shè)備提供商，據(jù)稱，英偉達(dá)占有最高的市場份額，超過70%。

當(dāng)前，大部分大語言模型都是基于英偉達(dá)NVLink+InfiniBand無損網(wǎng)絡(luò)架構(gòu)的超大規(guī)模數(shù)據(jù)中心來完成訓(xùn)練的。對于AMD來說，首先通過Infinity Fabric對標(biāo)英偉達(dá)的NVlink，用于服務(wù)器內(nèi)部的GPU互聯(lián)。而在跨服務(wù)器的連接方面，AMD連同其他頭部廠商看到的機(jī)會主要是：一是InfiniBand被英偉達(dá)主導(dǎo)，更廣生態(tài)上欠缺通用性；二是需要專用設(shè)備支持，帶來了組網(wǎng)的高成本，因此他們希望通過生態(tài)開放這一核心優(yōu)勢擴(kuò)大影響力，以打開英偉達(dá)已經(jīng)占據(jù)先機(jī)的市場局面。

隨著深度學(xué)習(xí)模型越來越復(fù)雜，模型參數(shù)量越來越大，單個GPU服務(wù)器越來越難以滿足模型參數(shù)大小存儲要求和訓(xùn)練迭代速度要求，分布式多機(jī)多卡訓(xùn)練基本已成必備，RDMA網(wǎng)絡(luò)作為AI大模型時代的底層通信技術(shù)，將發(fā)揮更加重要的作用。

在AMD近日的發(fā)布會上，以太網(wǎng)巨頭博通、思科、Arista技術(shù)負(fù)責(zé)人均進(jìn)行了分享。他們認(rèn)為在當(dāng)前的RDMA 環(huán)境下，超以太網(wǎng)協(xié)議有望支持百萬節(jié)點互聯(lián)，同時以太網(wǎng)的開放特性，能夠讓諸如LPO等新技術(shù)加速滲透，帶來高性價比、高容量、高開放程度的AI網(wǎng)絡(luò)。

“AMD Advancing AI”發(fā)布會上，Arista、Broadcom、Cisco與AMD的高層對話

英偉達(dá)和AMD網(wǎng)絡(luò)路線之爭，像iOS和安卓？

事實上，在英偉達(dá)的AI加速網(wǎng)絡(luò)版圖中，除了InfiniBand，也有基于開放以太網(wǎng)的方案，也就是今年發(fā)布的Spectrum-X以太網(wǎng)架構(gòu)，專門針對以太網(wǎng)RoCE進(jìn)行了端到端的優(yōu)化，可對端到端網(wǎng)絡(luò)進(jìn)行編程。根據(jù)英偉達(dá)官方資料，Spectrum-X的核心是 Spectrum-4 以太網(wǎng)交換機(jī)、BlueField-3 DPU、LinkX高性能線纜/模塊和NVIDIA端到端加速軟件。

而AMD則主打一個開放之姿，在跨服務(wù)器的連接上，AMD旗幟鮮明地表示，以太網(wǎng)將成為AMD 用于構(gòu)建集群的協(xié)議，因為以太網(wǎng)擁有更好的性能，更好的大規(guī)模集群能力，以及最為核心的開放性，希望與頭部交換機(jī)廠商一起，降低組網(wǎng)成本、擴(kuò)大以太網(wǎng)份額與性能，打造更高性價比的網(wǎng)絡(luò)。

為使傳統(tǒng)以太網(wǎng)更適合生成式AI等應(yīng)用，AMD等組成的開放以太網(wǎng)生態(tài)表示，將提供基于以太網(wǎng)的開放、可互操作、高性能的全通信堆棧架構(gòu)，以滿足大規(guī)模人工智能和高性能計算不斷增長的網(wǎng)絡(luò)需求。并且將從物理層到軟件層，對以太網(wǎng)堆棧的多個層進(jìn)行更改。在相應(yīng)的傳輸協(xié)議方面，希望提供比目前的RDMA 更好的以太網(wǎng)傳輸（仍支持 RDMA），在提供AI和HPC應(yīng)用程序所需性能的同時保留以太網(wǎng)/IP的優(yōu)勢。

而根據(jù)英偉達(dá)方面的解釋，有別于其他網(wǎng)絡(luò)廠商的做法，他們相當(dāng)于開創(chuàng)了新的以太網(wǎng)應(yīng)用市場：區(qū)別于原來面向企業(yè)應(yīng)用的以太網(wǎng)，多數(shù)只是收郵件、網(wǎng)絡(luò)瀏覽等基本使用南北向網(wǎng)絡(luò)流量的應(yīng)用，或者是云上以太網(wǎng)，負(fù)載的效率不夠高，會有長尾延時和抖動等情況。因此，英偉達(dá)專為生成式AI量身打造了以太網(wǎng)，針對RDMA、NetQ等進(jìn)行了加速，而且可編程，在大規(guī)模高負(fù)載環(huán)境下能夠提供更好的性能。

當(dāng)然，業(yè)界并不止這些技術(shù)路線，隨著HPC/生成式AI網(wǎng)絡(luò)的不斷發(fā)展，越來越多的企業(yè)開始推出自研的網(wǎng)絡(luò)協(xié)議或解決方案，以滿足特定需求或?qū)崿F(xiàn)生態(tài)閉環(huán)等目標(biāo)。例如谷歌的TPUv4則引入了內(nèi)部自研的光電交換技術(shù)OCS，AWS使用自研的Nitro系統(tǒng)來為HPC與ML應(yīng)用提供支持。國內(nèi)廠商方面，騰訊云在其星脈網(wǎng)絡(luò)中采用自研的星脈 RDMA 網(wǎng)絡(luò)，阿里云磐久PredFabric采用自研的Solar-RDMA高速網(wǎng)絡(luò)協(xié)議，華為超融合數(shù)據(jù)中心網(wǎng)絡(luò)使用獨(dú)創(chuàng)的iLossless智能無損算法……

放眼國內(nèi)外相關(guān)廠商，在算力網(wǎng)絡(luò)方面的路線主要是自有和開放技術(shù)兩種方式，像極了iOS和安卓多年來的路線之爭。選擇了自有技術(shù)的道路，往往追求獨(dú)立性和自主性，希望通過對技術(shù)的深度掌控，達(dá)到對產(chǎn)品性能和用戶體驗的極致追求，但通常也會面臨更高的研發(fā)成本、更長的研發(fā)周期。而選擇了開放道路，倡導(dǎo)技術(shù)的共享和開源，是希望通過合縱連橫的方式，推動技術(shù)的發(fā)展和生態(tài)的快速成長。

寫在最后

面向生成式AI這樣一個新的任務(wù)場景，需要規(guī)模非常大的AI集群提供服務(wù)。當(dāng)市場上沒有任何以太網(wǎng)能夠滿足這樣需求的時候，InfiniBand一度成為最好的選擇。不過，由于以太網(wǎng)多年來形成的龐大的用戶市場，很多基于云服務(wù)的軟件都是基于以太網(wǎng)進(jìn)行開發(fā)的，在以太網(wǎng)平臺上運(yùn)行也更為便捷，這也為什么，以太網(wǎng)成為英偉達(dá)和AMD在GPU之外的又一個必爭之地。

你認(rèn)為英偉達(dá)和AMD在以太網(wǎng)領(lǐng)域的路線之爭是 “iOS和安卓”嗎？你更看好哪種路線的前景？