英偉達(dá)為什么發(fā)展NVLink 技術(shù)

1. GPU 加速計(jì)算的需求和傳統(tǒng)數(shù)據(jù)傳輸?shù)钠款i

近年來，隨著深度學(xué)習(xí)、科學(xué)計(jì)算、圖像處理等領(lǐng)域的發(fā)展，GPU（圖形處理單元）在加速計(jì)算方面扮演著越來越重要的角色。GPU 以其強(qiáng)大的并行計(jì)算能力，能夠同時(shí)處理大量數(shù)據(jù)并執(zhí)行復(fù)雜的計(jì)算任務(wù)，因此被廣泛應(yīng)用于需要高性能計(jì)算的場景。然而，GPU 作為獨(dú)立的計(jì)算單元，通常需要頻繁地與其他 GPU 和 CPU 之間進(jìn)行數(shù)據(jù)交換。

在傳統(tǒng)的計(jì)算機(jī)架構(gòu)中，CPU 和 GPU 之間主要通過 PCIe（Peripheral Component Interconnect Express）總線進(jìn)行通信。雖然 PCIe 已經(jīng)成為了標(biāo)準(zhǔn)的高速互聯(lián)協(xié)議，但其帶寬有限，隨著計(jì)算需求的增長，其數(shù)據(jù)傳輸速度在某些應(yīng)用中已難以滿足 GPU 和 CPU 之間的大量數(shù)據(jù)交互需求。尤其是在深度學(xué)習(xí)等應(yīng)用場景中，GPU 之間需要共享大量數(shù)據(jù)，例如神經(jīng)網(wǎng)絡(luò)參數(shù)和梯度，低帶寬的數(shù)據(jù)傳輸會(huì)導(dǎo)致明顯的瓶頸，影響計(jì)算效率。

2. NVLink 的設(shè)計(jì)目標(biāo)與技術(shù)特點(diǎn)

NVIDIA 為了提升 GPU 與 GPU、GPU 與 CPU 之間的數(shù)據(jù)傳輸效率，開發(fā)了 NVLink 技術(shù)。這是一種專為 GPU 加速計(jì)算設(shè)計(jì)的高速互連技術(shù)，具有以下幾個(gè)主要特點(diǎn)：

高帶寬：NVLink 在 1.0 版本中即提供了每條鏈路雙向 160 Gbit/s 的帶寬，這遠(yuǎn)高于 PCIe 3.0 的 32 Gbit/s，極大地提升了 GPU 之間的通信速度。

多鏈路擴(kuò)展：NVLink 支持多條鏈路連接，每條鏈路能夠獨(dú)立傳輸數(shù)據(jù)，極大地提高了系統(tǒng)整體的帶寬上限。例如 NVLink 2.0 增加了鏈路數(shù)量和單鏈路帶寬，提供了 300 Gbit/s 的雙向帶寬。

數(shù)據(jù)一致性協(xié)議：NVLink 協(xié)議在設(shè)計(jì)時(shí)考慮了數(shù)據(jù)一致性問題，使得不同 GPU 之間的數(shù)據(jù)訪問可以保證一致性，且 NVLink 2.0 進(jìn)一步支持了 CPU 和 GPU 之間的數(shù)據(jù)緩存一致性。

低延遲：相比于 PCIe，NVLink 的數(shù)據(jù)傳輸延遲更低，這意味著在高帶寬的同時(shí)，數(shù)據(jù)可以更快地傳輸?shù)侥繕?biāo)設(shè)備，有助于減少計(jì)算等待時(shí)間。

3. NVLink 如何滿足 GPU 的數(shù)據(jù)傳輸需求

NVLink 的主要目的是提升 GPU 和其他計(jì)算單元之間的數(shù)據(jù)傳輸效率，以滿足以下幾方面的需求：

3.1 多 GPU 計(jì)算中的數(shù)據(jù)共享需求

在深度學(xué)習(xí)和科學(xué)計(jì)算中，常常需要使用多個(gè) GPU 來分擔(dān)計(jì)算負(fù)載。例如，在訓(xùn)練一個(gè)深度神經(jīng)網(wǎng)絡(luò)時(shí)，大量的訓(xùn)練數(shù)據(jù)會(huì)被分配到不同的 GPU 上進(jìn)行處理。每個(gè) GPU 在獨(dú)立計(jì)算梯度和參數(shù)更新時(shí)，都會(huì)需要與其他 GPU 交換計(jì)算結(jié)果。傳統(tǒng)的 PCIe 總線在多 GPU 系統(tǒng)中的數(shù)據(jù)交換中效率較低，限制了多個(gè) GPU 的協(xié)作效率。NVLink 通過多鏈路高帶寬連接，能夠大大加速 GPU 之間的數(shù)據(jù)共享，減少等待時(shí)間，提升多 GPU 系統(tǒng)的計(jì)算效率。

3.2 CPU 和 GPU 之間的數(shù)據(jù)傳輸需求

傳統(tǒng)的計(jì)算系統(tǒng)中，CPU 通常通過 PCIe 總線與 GPU 通信，受限于 PCIe 帶寬，CPU 在數(shù)據(jù)準(zhǔn)備或結(jié)果回傳階段常常成為瓶頸。NVLink 2.0 支持 CPU 與 GPU 之間的直接互聯(lián)，并且引入了數(shù)據(jù)一致性協(xié)議，使得 CPU 可以更快地訪問 GPU 內(nèi)存中的數(shù)據(jù)，且可以將數(shù)據(jù)直接緩存到 CPU 的緩存系統(tǒng)中，顯著提升 CPU 與 GPU 之間的數(shù)據(jù)交互性能。這對(duì)于需要頻繁 CPU-GPU 數(shù)據(jù)交互的應(yīng)用（例如數(shù)據(jù)預(yù)處理、模型控制）尤為重要。

3.3 高性能計(jì)算對(duì)低延遲通信的需求

對(duì)于諸如物理仿真、金融建模和分子動(dòng)力學(xué)等高性能計(jì)算任務(wù)而言，延遲是一個(gè)關(guān)鍵因素。PCIe 總線的延遲在高頻次的數(shù)據(jù)交互中會(huì)累積并產(chǎn)生顯著影響，NVLink 通過優(yōu)化傳輸協(xié)議和采用更低的延遲設(shè)計(jì)，使得 GPU 之間、CPU 和 GPU 之間的通信更加快速，有助于減少計(jì)算任務(wù)中的延遲影響。

4. NVLink 的分層協(xié)議設(shè)計(jì)

NVLink 采用了分層協(xié)議設(shè)計(jì)，由物理層（PL）、數(shù)據(jù)鏈路層（DL）和傳輸層（TL）組成，各層的主要功能如下：

物理層（PL）：物理層負(fù)責(zé)數(shù)據(jù)的物理傳輸，是實(shí)現(xiàn)高帶寬傳輸?shù)幕A(chǔ)。NVLink 物理層優(yōu)化了信號(hào)傳輸質(zhì)量，保證數(shù)據(jù)能夠在更高的帶寬下穩(wěn)定傳輸。

數(shù)據(jù)鏈路層（DL）：數(shù)據(jù)鏈路層負(fù)責(zé)數(shù)據(jù)的分包和錯(cuò)誤校驗(yàn)，確保傳輸數(shù)據(jù)的完整性和可靠性。

傳輸層（TL）：傳輸層負(fù)責(zé)管理數(shù)據(jù)的傳輸控制和流量管理，協(xié)調(diào)多個(gè)鏈路之間的數(shù)據(jù)流轉(zhuǎn)，提高整體傳輸效率。

這種分層設(shè)計(jì)讓 NVLink 的各個(gè)功能模塊能夠?qū)Ｗ⒂谔囟ǖ臄?shù)據(jù)處理任務(wù)，從而在保證高性能的同時(shí)提高傳輸?shù)目煽啃浴?/p>

5. NVLink 的技術(shù)演進(jìn)與系統(tǒng)優(yōu)化

NVLink 技術(shù)從 1.0 到 2.0 不斷發(fā)展，帶來了更高的帶寬、更低的延遲和更強(qiáng)的擴(kuò)展性。NVLink 2.0 的幾個(gè)關(guān)鍵改進(jìn)包括：

帶寬增加：單鏈路帶寬從 20 Gbit/s 增加到 25 Gbit/s，支持的鏈路數(shù)量也從 4 條增加到 6 條，從而使整體雙向帶寬達(dá)到 300 Gbit/s。

CPU-GPU 數(shù)據(jù)一致性：NVLink 2.0 允許 CPU 直接訪問 GPU 內(nèi)存，且支持 CPU 和 GPU 之間的數(shù)據(jù)緩存一致性。這種改進(jìn)使得 CPU 在訪問 GPU 數(shù)據(jù)時(shí)無需通過復(fù)雜的軟件機(jī)制進(jìn)行緩存同步，極大提高了數(shù)據(jù)交互效率。

兼容性拓展：NVLink 2.0 兼容 IBM 的 Power9 CPU，使得 Power 系統(tǒng)可以直接通過 NVLink 連接 GPU，進(jìn)一步提升了 CPU-GPU 的互操作性能。

6. NVLink 在實(shí)際應(yīng)用中的效果

NVLink 已經(jīng)在多個(gè)領(lǐng)域展現(xiàn)出其優(yōu)勢，以下列舉幾個(gè)典型的應(yīng)用場景：

深度學(xué)習(xí)訓(xùn)練：在深度學(xué)習(xí)的分布式訓(xùn)練中，多個(gè) GPU 需要實(shí)時(shí)共享大量的數(shù)據(jù)。NVLink 提供的高帶寬和低延遲能夠使數(shù)據(jù)更快地在 GPU 之間傳遞，大大縮短訓(xùn)練時(shí)間。

高性能計(jì)算（HPC）：在科學(xué)仿真、天氣預(yù)報(bào)等需要高性能計(jì)算的領(lǐng)域，NVLink 的高速互聯(lián)技術(shù)使得多個(gè) GPU 和 CPU 可以協(xié)同工作，從而加速計(jì)算過程。

數(shù)據(jù)中心應(yīng)用：在數(shù)據(jù)中心中，NVLink 可以在多 GPU 系統(tǒng)中提供高效的數(shù)據(jù)傳輸機(jī)制，提高數(shù)據(jù)處理效率，滿足高并發(fā)數(shù)據(jù)訪問需求。

7. NVLink 技術(shù)的發(fā)展趨勢

隨著計(jì)算需求的不斷提升，NVIDIA 也在不斷優(yōu)化 NVLink 技術(shù)。例如，未來版本的 NVLink 可能會(huì)進(jìn)一步提升單鏈路帶寬，并增加鏈路數(shù)量，以滿足更大規(guī)模、多節(jié)點(diǎn)計(jì)算集群的需求。同時(shí)，NVIDIA 還可能與更多 CPU 廠商合作，使得 NVLink 技術(shù)能夠兼容更多的硬件平臺(tái)，從而進(jìn)一步拓展其應(yīng)用范圍。

8. 總結(jié)

NVLink 是 NVIDIA 針對(duì) GPU 加速計(jì)算需求開發(fā)的高速互連技術(shù)，旨在解決傳統(tǒng) PCIe 總線帶來的數(shù)據(jù)傳輸瓶頸問題。通過提供更高的帶寬、更低的延遲以及數(shù)據(jù)一致性支持，NVLink 有效提升了多 GPU 系統(tǒng)的計(jì)算性能，滿足了深度學(xué)習(xí)、科學(xué)計(jì)算、高性能計(jì)算等領(lǐng)域的需求。同時(shí)，NVLink 技術(shù)的分層協(xié)議設(shè)計(jì)和持續(xù)改進(jìn)，使其在未來的 GPU 計(jì)算系統(tǒng)中將繼續(xù)發(fā)揮重要作用。

歡迎加入交流群，備注姓名+崗位+公司。