伴隨大語(yǔ)言模型和相關(guān)訓(xùn)練系統(tǒng)迅猛增長(zhǎng)、對(duì)非結(jié)構(gòu)化數(shù)據(jù)處理的需求急劇上升,市場(chǎng)對(duì)算力的需求也是呈指數(shù)級(jí)增加。PCIe作為計(jì)算機(jī)和服務(wù)器中使用廣泛的高速數(shù)據(jù)傳輸技術(shù)發(fā)展迅猛,今年4月份PCI-SIG已經(jīng)批準(zhǔn) Draft 0.5版基礎(chǔ)規(guī)范,目前0.7版本基礎(chǔ)規(guī)范正在審核中,預(yù)計(jì)2025年敲定最終發(fā)行版本。
PCIe 7.0 規(guī)范包括以下功能目標(biāo):
傳輸技術(shù)的挑戰(zhàn)
PCIe技術(shù)歷經(jīng)Gen1-Gen6,已經(jīng)發(fā)展到單 Lane 128G的傳輸速率,超高速的傳輸速率帶來(lái)了巨大挑戰(zhàn),協(xié)會(huì)不得不加入越來(lái)越多、越來(lái)越復(fù)雜的輔助機(jī)制,控制信號(hào)和數(shù)據(jù)完整性。那么,今天我們將主要探討未來(lái)PCIe 7.0?光傳輸技術(shù)的必要性及其挑戰(zhàn)。
1、計(jì)算資源限制
面向超大集群、超輕邊緣的兩極分化的數(shù)據(jù)中心新場(chǎng)景,未來(lái)計(jì)算將突破馮諾依曼架構(gòu)瓶頸,計(jì)算、存儲(chǔ)和通信等模塊通過(guò)統(tǒng)一總線(xiàn)對(duì)等互聯(lián),而PCIe作為數(shù)據(jù)中心服務(wù)器間互聯(lián)的主力,承擔(dān)著高速數(shù)據(jù)傳輸?shù)闹厝巍?shù)據(jù)中心中的計(jì)算密集型任務(wù),對(duì)內(nèi)存帶寬和利用率提出了更高要求。當(dāng)前,大部分?jǐn)?shù)據(jù)中心仍依賴(lài)本地內(nèi)存,這不僅限制了數(shù)據(jù)處理的速度,還導(dǎo)致內(nèi)存資源的利用效率低下。光傳輸方案則可以實(shí)現(xiàn)計(jì)算資源實(shí)現(xiàn)分散化,通過(guò)使處理單元能夠訪問(wèn)更多分布在不同服務(wù)器單元或機(jī)架中的內(nèi)存單元(跨服務(wù)器,跨機(jī)架訪問(wèn)),進(jìn)而釋放高度本地化且經(jīng)常未使用的本地內(nèi)存,使數(shù)據(jù)中心能夠更高效地配置資源。
2、電信號(hào)傳輸距離受限
大語(yǔ)言模型的快速迭代離不開(kāi)海量GPU集群的強(qiáng)勁支持。目前而言,這個(gè)海量已經(jīng)來(lái)到了千卡萬(wàn)卡級(jí)別,集群之間的互連通常是基于GPU上原生的PCIe接口。就PCIe 技術(shù)而言,PCIe 1.0時(shí),銅纜傳輸距離為10米,而發(fā)展到PCIe 5.0時(shí),這一距離縮短至1-2米;當(dāng)速率進(jìn)一步提高到64 GT/s和128 GT/s,也即PCIe 6.0和未來(lái)的PCIe 7.0,銅纜傳輸距離將進(jìn)一步縮短至幾十厘米,幾乎無(wú)法通過(guò)PCIe標(biāo)準(zhǔn)的銅纜實(shí)現(xiàn)機(jī)架間數(shù)十米的傳輸要求。再加上PCIe技術(shù)需考慮到重定時(shí)器的使用,其技術(shù)復(fù)雜、昂貴又耗電。且隨著PCIe技術(shù)升級(jí),傳輸距離縮短,所需要的retimer的數(shù)量也會(huì)越來(lái)越多,還會(huì)引入更多的功耗和時(shí)延。而光連接通過(guò)光纖傳輸信號(hào),可以在極高帶寬下保持信號(hào)的完整性和穩(wěn)定性。不僅可以顯著提升數(shù)據(jù)傳輸速度,還能降低數(shù)據(jù)傳輸?shù)难舆t。
3、成本衡量
前面我們提到過(guò),帶寬的提升將致使鏈路中retimer數(shù)量上升,在相同的傳輸距離下,如果采用光傳輸技術(shù),所需的retimer和SCU(信號(hào)調(diào)節(jié)單元)會(huì)更少。此外,光組件的設(shè)計(jì)制造工藝較為成熟,成本也會(huì)變得更加可控,加上光纖所占空間明顯小于銅纜,也有機(jī)會(huì)提升數(shù)據(jù)中心的整體密度,實(shí)現(xiàn)系統(tǒng)成本的降低。
另一方面,單 Lane 128G的傳輸速率將直接對(duì)PCIe 布線(xiàn)層面發(fā)起挑戰(zhàn)。在Gen5/Gen6布線(xiàn)標(biāo)準(zhǔn)中提供了使用銅電纜在系統(tǒng)內(nèi)部和系統(tǒng)之間傳輸 PCIe 的選項(xiàng)。銅電纜比 PCB 走線(xiàn)具有更少的信號(hào)損失,能克服高頻通信的直接缺點(diǎn),技術(shù)的升級(jí)將使得PCIe 7.0采用較粗的銅纜來(lái)克服高頻通信,相較于前一代技術(shù)勢(shì)必會(huì)帶來(lái)成本的增加。PCIe 7.0技術(shù)升級(jí)也會(huì)對(duì)相應(yīng)的服務(wù)器PCB工藝帶來(lái)挑戰(zhàn),隨著信號(hào)速率的飆升,PCB產(chǎn)品層數(shù)增加,BGA間距縮小,板厚顯著增加,厚徑比提升明顯。這些變化也將導(dǎo)致材料成本和加工工藝難度的大幅增加。
如下圖所示,PCIe 7.0 Rev 0.5版本定義的理論損耗和分配,在7.0的奈奎斯特頻率點(diǎn)(32GHz),Pad到Pad的損耗要求為-36dB,與6.0和5.0相比,在相同頻點(diǎn)(16GHz)的損耗大大收緊。
光傳輸技術(shù)的可實(shí)現(xiàn)性
PCI-SIG于去年8月宣布組建PCIe光學(xué)工作組,并計(jì)劃采用多種技術(shù)來(lái)支持 PCIe,包括可插拔光收發(fā)器、板載光學(xué)器件、共封裝光學(xué)器件和光學(xué) I/O。而我們也在今年看到了不同產(chǎn)業(yè)鏈的廠商在開(kāi)展基于PCIe的光學(xué)產(chǎn)品研究,較為實(shí)際的例子是某服務(wù)器廠商基于PCIe Gen5的光互連方案將信號(hào)的傳輸距離從1.4米擴(kuò)展到20米。該方案成功體現(xiàn)了光傳輸?shù)膬?yōu)越性。
然而,短期內(nèi)實(shí)現(xiàn)光傳輸技術(shù)的過(guò)渡卻是較為困難,最初PCIe的接口并沒(méi)有考慮過(guò)光傳輸?shù)目赡苄?,這就意味著現(xiàn)有的PCIe技術(shù)的架構(gòu)幾乎是基于電信號(hào)傳輸設(shè)計(jì)。首先我們需要考慮光傳輸與電氣層兼容問(wèn)題,其次是與PCIe 協(xié)議層的適配性,再者是如何通過(guò)光纖傳輸PCIe 信號(hào)以及基于光纖的PCIe 外形標(biāo)準(zhǔn)如何制定 、FEC標(biāo)準(zhǔn)如何制定等等問(wèn)題,小編相信伴隨協(xié)會(huì)的技術(shù)完善以及越來(lái)越多廠商的加入,我們將能看到更清晰的基于PCIe光傳輸技術(shù)應(yīng)用的前景。
是德科技PCIe 7.0測(cè)試解決方案
在年初的展會(huì)上是德科技也與各廠商聯(lián)合展出了基于Gen7的測(cè)試方案預(yù)研。下面,我們就一起來(lái)看看Gen7基于光電技術(shù)測(cè)試方案詳情。
1、傳統(tǒng)電氣層解決方案
是德科技聯(lián)合 ALPHAWAVE SEMI于2024年1月30日-2月1日舉辦的DesignCon 2024展會(huì)上聯(lián)合展示了128G Gen7 收發(fā)端解決方案。
DesignCon?2024-Enable?PCIe 7.0 Technology
該解決方案由PCI-SIG協(xié)會(huì)主席Rick Eads演示,方案主要由 UXR系列實(shí)時(shí)示波器及高性能誤碼儀M8050A組成。
2、光傳輸技術(shù)解決方案初探究
是德科技于2024年3月24-28日舉辦的OFC2024展會(huì)上展示了低功耗 PCIe 7.0 光互連技術(shù),支持新興的大型語(yǔ)言模型對(duì)更高效信號(hào)傳輸?shù)男枨蟆?/p>
OFC2024-PCIe?7.0?Over?Optics Demonstration
該解決方案包括M8050A 高性能誤碼儀(120G baud)、DCA-M N1092A(光通道)、N7736C光開(kāi)關(guān)和800G DR8 LPO產(chǎn)品。