首款HBM4內(nèi)存控制器IP滿足AI 2.0時代內(nèi)存需求

當今，人工智能（AI）已成為推動各行各業(yè)創(chuàng)新與發(fā)展的核心驅(qū)動力。AI技術的核心，通常被分為兩個緊密相連但又各具特色的過程：AI訓練和AI推理。

在AI訓練階段，需要向AI‘投喂’海量的數(shù)據(jù)，隨后AI對這些數(shù)據(jù)進行分析，提取其中的規(guī)律，最終構建出一個AI模型。例如，通過輸入貓、鳥、馬等動物圖像數(shù)據(jù)，AI能夠培養(yǎng)出識別這些動物形態(tài)的能力。

AI訓練往往需要大量的數(shù)據(jù)，并需耗費較長的時間，才能完成一個完整的AI模型訓練。這些模型往往模型龐大，如實時語言處理翻譯模型、實時生成式語言模型等。

Rambus研究員兼杰出發(fā)明家Steven Woo博士表示：“AI訓練是當前計算領域中最具挑戰(zhàn)性和難度最高的任務之一，因為在這個階段需要管理和處理的數(shù)據(jù)量極為龐大。如果訓練過程能夠越快完成，就意味著AI模型能夠更早投入使用，從而幫助投資者盡早獲得回報，并實現(xiàn)投資回報率的最大化?！?/p>

當AI訓練完成并形成大模型后，便可以將其應用于實際場景中，并處理新的、大模型未曾接觸過的案例進行推理，這一過程即AI的推理階段。在AI訓練階段，數(shù)據(jù)是核心要素；而在AI推理階段，性能則成為關鍵所在，尤其在推理速度和準確性方面，因為人們都希望大模型能夠快速且準確地得出推理結果。

無論是AI訓練階段還是AI推理階段，都需要具備極快的處理速度、強大的處理性能以及小巧的芯片尺寸。尤其在AI推理階段，還需更短的延遲和更高的帶寬，這些都對內(nèi)存提出了更高的要求。

Steven Woo博士表示：“對于內(nèi)存的需求一直在快速增長和變化，自2012年以來，這一趨勢并未減緩。AI應用對內(nèi)存帶寬和容量的需求更是永無止境?！?/p>

以OpenAI的大預言模型ChatGPT為例，其參數(shù)量和規(guī)模在過去幾年中大幅增長。如2022年11月發(fā)布的GPT-3使用了1750億個參數(shù)，而今年5月發(fā)布的最新版本的GPT-4o則使用了超過1.5萬億個參數(shù)。這意味著大語言模型的規(guī)模在過去兩年增長了超過400倍，但同期硬件內(nèi)存的規(guī)模則僅增長了兩倍。

Steven Woo博士表示：“為完成這些AI模型的任務，必須增加GPU和AI加速器的數(shù)量，才能滿足對內(nèi)存容量和帶寬的需求。”

HBM（High Bandwidth Memory，高帶寬內(nèi)存）被認為是AI時代的理想內(nèi)存。HBM的DRAM堆棧采用多層堆疊架構，這種設計為其帶來了極高的內(nèi)存帶寬、大容量和高能效，同時具有極低的延遲和占用面積小等優(yōu)勢。從HBM第一代到第二代、2E、3E，每一代最明顯的變化就是單個堆棧帶寬的急劇增加，HBM3E單個設備的帶寬已超過1.2TB/s。目前，HBM3已成為AI訓練硬件中不可或缺的內(nèi)存技術，而HBM3E也為最先進的AI加速芯片提供了所需的內(nèi)存帶寬。

在高帶寬內(nèi)存需求的推動下，內(nèi)存行業(yè)一直致力于研發(fā)新一代的HBM內(nèi)存，目前，正在開發(fā)中的HBM4就是由JEDEC制定標準的下一代技術。雖然HBM4仍在開發(fā)中，但可以肯定的是，其每個堆棧的帶寬已超越前一代，HBM4的單個堆棧帶寬或?qū)⑦_到1.6TB/s，最終的實際帶寬可能會更高。

作為主要的內(nèi)存控制器IP提供商，Rambus也認識到了HBM4對未來AI技術發(fā)展的重要性。近期，Rambus推出了業(yè)界首款HBM4控制器IP，旨在加速下一代AI工作負載。

據(jù)Steven Woo博士介紹，Rambus的這款HBM4控制器IP提供了32個獨立通道接口，總數(shù)據(jù)寬度可達2048位?；谶@一數(shù)據(jù)寬度，當數(shù)據(jù)速率為6.4Gbps時，HBM4的總內(nèi)存吞吐量將比HBM3高出兩倍以上，達到1.64TB/s。此外，該HBM4內(nèi)存控制器IP還是一個模塊化、高度可配置的解決方案。

根據(jù)客戶的不同應用場景，Rambus還提供定制化服務，包括尺寸、性能和功能等方面的定制。關鍵的可選功能包括ECC、RMW和錯誤清理等。Rambus還與第三方PHY供應商合作，確保客戶在選擇使用第三方PHY時，能在開發(fā)過程中一次流片成功。

Steven Woo博士表示：“Rambus此次發(fā)布的HBM4控制器IP表明我們正在支持下一代應用程序，這將使用戶以及硬件和軟件開發(fā)人員受益。”

Rambus大中華區(qū)總經(jīng)理蘇雷先生也表示：“我們推出的這款HBM4控制器IP基于Rambus多年來在HBM內(nèi)存領域積累的豐富經(jīng)驗。我們在HBM市場的份額位居前列。Rambus始終著眼于未來，并致力于不斷擴展內(nèi)存的性能和容量?！?/p>

隨著AI技術的蓬勃發(fā)展，即將邁入AI 2.0時代，這將進一步提升對內(nèi)存技術帶寬和容量的需求。對于內(nèi)存廠商以及像Rambus這樣的公司來說，這既是一個挑戰(zhàn)也是一個機遇。Rambus此次發(fā)布的HBM4控制器IP正是未雨綢繆之舉，專為AI 2.0而設計，滿足AI新時代對更高帶寬和更大容量的需求。