大模型時(shí)代，英偉達(dá)用AI顛覆傳統(tǒng)以太網(wǎng)！

IT產(chǎn)業(yè)正在發(fā)生兩大根本性轉(zhuǎn)變：一是CPU性能無(wú)法持續(xù)增長(zhǎng)，每五年以同樣成本獲得十倍性能提升的故事已經(jīng)結(jié)束，并且，也無(wú)法用同樣的成本和電力消耗負(fù)擔(dān)這種增長(zhǎng)態(tài)勢(shì)；二是AI大模型對(duì)數(shù)據(jù)中心的規(guī)模、算力等需求不斷攀高，使得整個(gè)數(shù)據(jù)中心的計(jì)算和通信架構(gòu)需要被重塑。

這樣的變化迫切嗎？走在AI大模型競(jìng)賽最前沿的NVIDIA看到，迫切且重要。隨著GPU的處理性能不斷提升，數(shù)據(jù)中心的網(wǎng)絡(luò)傳輸能力面臨瓶頸。也正是如此，NVIDIA專(zhuān)門(mén)針對(duì)以太網(wǎng)環(huán)境，推出了創(chuàng)新的Spectrum-X 網(wǎng)絡(luò)平臺(tái)，致力于提高基于以太網(wǎng) AI 云的性能與效率。

面向超大規(guī)模生成式AI，NVIDIA推出加速以太網(wǎng)平臺(tái)

NVIDIA Spectrum-X的核心是 Spectrum-4 以太網(wǎng)交換機(jī)、BlueField-3 DPU、LinkX高性能線纜/模塊和NVIDIA端到端加速軟件，與傳統(tǒng)以太網(wǎng)相比，實(shí)現(xiàn)了1.7倍的整體AI性能和效能提升，可在多租戶(hù)環(huán)境中提供一致、可預(yù)測(cè)的性能。

Spectrum-4作為全球首款專(zhuān)為AI網(wǎng)絡(luò)打造的51.2Tb/s以太網(wǎng)交換機(jī)，可以實(shí)現(xiàn)無(wú)損RoCE網(wǎng)絡(luò)的大規(guī)模、可擴(kuò)展和高性能，與主機(jī)端的 BlueField-3 DPU和NVIDIA LinkX線纜及模塊相互協(xié)同，構(gòu)建起一個(gè)專(zhuān)為AI云優(yōu)化的端到端400GbE網(wǎng)絡(luò)。

NVIDIA Spectrum-4 單臺(tái)交換機(jī)即可實(shí)現(xiàn)突破性的 128 個(gè) 400Gb/s 端口的連接，使用兩層葉脊拓?fù)淇梢赃B接超過(guò) 8,000 個(gè)400G 端口，以支持 AI 云的增長(zhǎng)和擴(kuò)展，同時(shí)保持極高的性能和極低的網(wǎng)絡(luò)延時(shí)。

驅(qū)動(dòng)Spectrum-X的加速軟件在交換機(jī)端包括Cumulus Linux、開(kāi)源SONiC和NetQ等，共同助力該網(wǎng)絡(luò)平臺(tái)的性能實(shí)現(xiàn)。在主機(jī)端包括BlueField-3 DPU的核心軟件—— NVIDIA DOCA軟件框架以及其它加速軟件等，便于開(kāi)發(fā)人員構(gòu)建軟件定義的云原生AI應(yīng)用。

重塑數(shù)據(jù)中心計(jì)算和網(wǎng)絡(luò)架構(gòu)

面對(duì)激增的數(shù)據(jù)量，數(shù)據(jù)中心越來(lái)越需要整體運(yùn)作。以往單一的、簡(jiǎn)單的應(yīng)用，可能只需調(diào)用幾臺(tái)服務(wù)器即可，甚至一個(gè)VM就可以滿(mǎn)足需求。但是，隨著AI驅(qū)動(dòng)的負(fù)載規(guī)模越來(lái)越大，甚至需要調(diào)動(dòng)整個(gè)數(shù)據(jù)中心資源協(xié)同工作來(lái)完成一項(xiàng)工作，也就是說(shuō)，整個(gè)數(shù)據(jù)中心越來(lái)越成為一臺(tái)“大計(jì)算機(jī)”，這就需要從底層對(duì)數(shù)據(jù)中心整體架構(gòu)進(jìn)行重塑，保證數(shù)據(jù)中心整體的效率和性能，而計(jì)算和通信網(wǎng)絡(luò)架構(gòu)是兩大核心。

據(jù)NVIDIA網(wǎng)絡(luò)技術(shù)專(zhuān)家崔巖介紹，依據(jù)集群中的GPU數(shù)量和所支持的應(yīng)用負(fù)載，可以將數(shù)據(jù)中心應(yīng)用場(chǎng)景分為三大類(lèi)：傳統(tǒng)的云計(jì)算場(chǎng)景、生成式AI云、以及AI工廠。

其中，AI工廠是NVIDIA面向大規(guī)模、大算力、高性能場(chǎng)景下，創(chuàng)造的新的網(wǎng)絡(luò)應(yīng)用場(chǎng)景，最近的一些大語(yǔ)言模型都是基于NVLink+InfiniBand這種無(wú)損網(wǎng)絡(luò)架構(gòu)實(shí)現(xiàn)的；第二種是多租戶(hù)、工作負(fù)載多樣、且需要融入人工智能和生成式AI的場(chǎng)景，可以用最新推出的Spectrum-X以太網(wǎng)架構(gòu)；第三種是傳統(tǒng)云計(jì)算場(chǎng)景，基于傳統(tǒng)以太網(wǎng)架構(gòu)。

“加速計(jì)算和生成式AI的結(jié)合創(chuàng)造出了一個(gè)新的數(shù)據(jù)中心市場(chǎng)，我們需要重塑數(shù)據(jù)中心的計(jì)算和通信架構(gòu)。NVIDIA提出了整體的加速計(jì)算架構(gòu)，GPU、CPU、DPU的三U一體，就是NVIDIA提供的多樣性高性能硬件計(jì)算平臺(tái)和網(wǎng)絡(luò)通訊平臺(tái)?！贝迬r表示，“此外，NVIDIA 全新推出的Spectrum-X以太網(wǎng)網(wǎng)絡(luò)架構(gòu)，區(qū)別于原來(lái)的面向企業(yè)應(yīng)用的以太網(wǎng)（負(fù)載效率不太高，有長(zhǎng)尾延時(shí)和大量抖動(dòng)情況等），是專(zhuān)門(mén)為生成式AI量身打造的以太網(wǎng)平臺(tái)，針對(duì)RoCE進(jìn)行了端到端的優(yōu)化，并且可以對(duì)端到端網(wǎng)絡(luò)進(jìn)行編程，在大規(guī)模、高負(fù)載環(huán)境下能夠提供更好的性能，很好地滿(mǎn)足了新型生成式AI云對(duì)高性能網(wǎng)絡(luò)的需求。”

如何滿(mǎn)足生成式AI所需的網(wǎng)絡(luò)能力？

NVIDIA網(wǎng)絡(luò)亞太區(qū)高級(jí)總監(jiān)宋慶春指出，大模型參數(shù)規(guī)模的擴(kuò)大，導(dǎo)致GPU訓(xùn)練集群越來(lái)越龐大。當(dāng)一個(gè)大模型跑在幾百、幾千、上萬(wàn)個(gè)GPU集群上時(shí)，性能不僅取決于單一GPU、單一服務(wù)器，也取決于網(wǎng)絡(luò)性能，一定要有非常高的通信效率。如果網(wǎng)絡(luò)利用率不高，就會(huì)直接導(dǎo)致GPU通信效率不高，使得GPU集群能效受限。

此外，AI訓(xùn)練不允許任何數(shù)據(jù)丟失情況的發(fā)生，使得無(wú)損網(wǎng)絡(luò)變得非常重要，這就需要對(duì)傳統(tǒng)以太網(wǎng)進(jìn)行改造。

崔巖介紹，NVIDIA通過(guò)BlueField-3 DPU 和Spectrum-4交換機(jī)的端到端優(yōu)化設(shè)計(jì)，采用基于優(yōu)先級(jí)的流量控制機(jī)制，實(shí)現(xiàn)了無(wú)損以太網(wǎng)，通過(guò)主機(jī)端 BlueField-3 DPU 和Spectrum-4交換機(jī)的配合，創(chuàng)新地實(shí)現(xiàn)了在無(wú)損RoCE網(wǎng)絡(luò)上的逐包動(dòng)態(tài)路由，大幅提升了網(wǎng)絡(luò)通信效率。而在傳統(tǒng)以太網(wǎng)上，對(duì)于一條流來(lái)演，選好一條轉(zhuǎn)發(fā)路線后就順序進(jìn)行發(fā)包，即使出現(xiàn)擁塞或其他特殊情況，也無(wú)法動(dòng)態(tài)改變。

如上圖所示，綠色和紫色分別代表兩個(gè)工作負(fù)載，都拆分為A、B、C、D四個(gè)數(shù)據(jù)包。在動(dòng)態(tài)路由機(jī)制下：在發(fā)送端由BlueField-3 DPU將數(shù)據(jù)包傳給Spectrum-4交換機(jī)，由Spectrum-4交換機(jī)將數(shù)據(jù)包分發(fā)到所有可用路線（執(zhí)行的是對(duì)數(shù)據(jù)包逐包進(jìn)行最佳路徑的選擇）；當(dāng)數(shù)據(jù)包通過(guò)不同路徑到達(dá)接收端時(shí)，再由接收端的BlueField-3 DPU進(jìn)行數(shù)據(jù)亂序重組。這樣一來(lái)，可以充分利用交換機(jī)之間的鏈路，讓數(shù)據(jù)包能夠走不同的最優(yōu)路徑到達(dá)接收端，從而提升整體網(wǎng)絡(luò)性能。

從上圖左側(cè)的性能對(duì)比可以看出，傳統(tǒng)以太網(wǎng)的帶寬起伏非常大，而基于Spectrum-X無(wú)損網(wǎng)絡(luò)端到端的動(dòng)態(tài)路由機(jī)制，每條鏈路都得到充分利用，可以提升1.6倍有效帶寬。

此外，通過(guò)可編程擁塞控制實(shí)現(xiàn)的業(yè)務(wù)性能隔離技術(shù)也非常關(guān)鍵。在云端跑多個(gè)訓(xùn)練任務(wù)時(shí)，不同工作負(fù)載會(huì)影響彼此性能，而通過(guò)任務(wù)性能隔離，能夠優(yōu)化總體性能，讓每個(gè)工作負(fù)載都達(dá)到理想的性能。

在AI訓(xùn)練任務(wù)的數(shù)據(jù)傳輸過(guò)程中，往往存在發(fā)送端和接收端是多對(duì)一的情況，如果是傳統(tǒng)的、沒(méi)有擁塞控制的網(wǎng)絡(luò)，就會(huì)導(dǎo)致接收能力不足，在末端的交換機(jī)發(fā)生擁塞。如上圖中，因?yàn)樽仙珨?shù)據(jù)包是排在綠色數(shù)據(jù)包之后，由于綠色擁塞，導(dǎo)致紫色數(shù)據(jù)包變成犧牲流。如果是兩個(gè)租戶(hù)，就會(huì)因?yàn)橐粋€(gè)工作負(fù)載影響另一個(gè)工作負(fù)載。

而基于Spectrum-X端到端平臺(tái)，BlueField-3 DPU可以對(duì)于網(wǎng)絡(luò)中遙測(cè)數(shù)據(jù)進(jìn)行探測(cè)，通過(guò)主動(dòng)采集Spectrum-4遙測(cè)機(jī)制生成的擁塞狀況數(shù)據(jù)，在擁塞發(fā)生的早期階段就提前調(diào)節(jié)以什么樣的速率發(fā)送數(shù)據(jù)。通過(guò)實(shí)時(shí)檢測(cè)擁塞點(diǎn)，用可編程擁塞控制技術(shù)，來(lái)監(jiān)控和控制數(shù)據(jù)流，從而實(shí)現(xiàn)不同工作負(fù)載之間的性能隔離。從實(shí)際的性能對(duì)比可以看出，性能隔離技術(shù)可以將NCCL ALLREDUCE帶寬提升2.5倍。

“這就好比是通過(guò)高德地圖看到入口已經(jīng)堵車(chē)，那么就減緩到那里的速度或者減少車(chē)流量，讓擁塞得到緩解；或者發(fā)生‘堵車(chē)’前就通過(guò)BlueField-3 DPU進(jìn)行控制，保證所有的數(shù)據(jù)都可以正常地在不擁堵的情況下到達(dá)接收方?！贝迬r說(shuō)道。

打造全球最大的Spectrum-X集群

目前，Spectrum-4 交換機(jī)、BlueField-3 DPU 和 400G LinkX 線纜/模塊現(xiàn)已上市，可提供NVIDIA Spectrum-X 方案的公司包括戴爾科技、聯(lián)想和超微。

基于最新發(fā)布的Spectrum-X平臺(tái)，NVIDIA構(gòu)建了生成式AI云超級(jí)計(jì)算機(jī) —— Israel-1， 實(shí)現(xiàn)基于Spectrum-X網(wǎng)絡(luò)平臺(tái)的生成式AI云。在其中投入了256 臺(tái)基于NVIDIA HGX平臺(tái)的Dell服務(wù)器，共包括2048個(gè)GPU，并且，配備了2560個(gè)BlueField-3 DPU、80 多臺(tái) Spectrum-4 以太網(wǎng)交換機(jī)。

據(jù)介紹，Israel-1 Spectrum-X生成式AI云將是全球性能排名靠前的AI超級(jí)計(jì)算機(jī)之一，峰值 AI訓(xùn)練性能可達(dá)8 EFlop/s (8000PFlop/s)。根據(jù)已公開(kāi)信息，業(yè)界尚無(wú)廠商進(jìn)行這樣規(guī)模的投資。

宋慶春指出，數(shù)據(jù)中心的網(wǎng)絡(luò)已經(jīng)成為一個(gè)非常重要的計(jì)算單元，其中既包括計(jì)算能力，也包括通信能力，更重要的是，如何讓計(jì)算和通信更好地得到融合 —— 這是NVIDIA始終強(qiáng)調(diào)端到端優(yōu)化的原因。并且，NVIDIA在努力推動(dòng)網(wǎng)絡(luò)計(jì)算技術(shù)的發(fā)展，將整個(gè)AI工作負(fù)載的各個(gè)組件重新洗牌，重新定義各項(xiàng)工作應(yīng)該在GPU、交換機(jī)還是DPU來(lái)運(yùn)行；通過(guò)重新定位每項(xiàng)工作，將其放在合適的位置、創(chuàng)建全新的計(jì)算平臺(tái)，才能讓未來(lái)算力平臺(tái)達(dá)到最高效、能耗最低。

他強(qiáng)調(diào)，在推動(dòng)Spectrum-X時(shí)，NVIDIA身先士卒，打造了Israel-1 生成式AI云。這會(huì)是全球最大的基于Spectrum-X的集群之一，且是全球最大的基于以太網(wǎng)的AI云集群之一。NVIDIA相當(dāng)于打造了一個(gè)超大的參考模型來(lái)進(jìn)行新技術(shù)驗(yàn)證，通過(guò)運(yùn)行生成式AI或者其它工作負(fù)載，將持續(xù)優(yōu)化云端采用Spectrum-X的網(wǎng)絡(luò)平臺(tái)，并將經(jīng)驗(yàn)分享給NVIDIA的Spectrum-X用戶(hù)，希望用戶(hù)能看到和用到這些創(chuàng)新的潛能，真正滿(mǎn)足未來(lái)大規(guī)模計(jì)算的性能需求。