ChatGPT聊天機(jī)器人已經(jīng)從下游AI應(yīng)用“火”到了上游的芯片領(lǐng)域,作為一款自然語言類AI應(yīng)用,ChatGPT算力需求巨大,其發(fā)展離不開高性能計算芯片的支持,比如GPU。
此外,在AI算力中,內(nèi)存技術(shù)也非常重要,比如HBM技術(shù),受益于ChatGPT的火爆,正從幕后走向臺前。
1、ChatGPT爆紅提升HBM需求
近日,韓媒報道2023年開年后三星、SK海力士兩家存儲大廠HBM訂單快速增加,價格也水漲船高,市場人士透露近期HBM3規(guī)格DRAM價格上漲5倍。
業(yè)界認(rèn)為,ChatGPT的出現(xiàn)使得HBM市場需求提升,這有望為存儲器市場帶來了新的發(fā)展機(jī)會。
資料顯示,HBM(High Bandwidth Memory,高帶寬存儲器)是一種可以實現(xiàn)高帶寬的高附加值DRAM產(chǎn)品,與普通DRAM相比,HBM以堆疊方式實現(xiàn)更大帶寬,帶寬是指在特定單位時間內(nèi)可以傳輸?shù)臄?shù)據(jù)量,基于該特性,HBM主要應(yīng)用于高性能計算場景中,比如超級計算機(jī)、AI加速器、高性能服務(wù)器領(lǐng)域。
HBM在與CPU及GPU協(xié)同工作中,可以提高機(jī)器學(xué)習(xí)和計算性能。目前ChatGPT的火熱發(fā)展已令英偉達(dá)等GPU廠商受益——ChatGPT使用了1萬多個英偉達(dá)的“A100”GPU學(xué)習(xí)了龐大的文檔數(shù)據(jù)。而HBM可以安裝在GPU中,通過高速數(shù)據(jù)處理,不斷完善ChatGTP服務(wù)體驗,英偉達(dá)“A100”就最高配備了80GB HBM2內(nèi)存。
此外,媒體報道英偉達(dá)已經(jīng)要求存儲廠商生產(chǎn)最新的HBM3內(nèi)存,搭配英偉達(dá)的A100 GPU供ChatGPT使用。
2、HBM市場兩大主流廠商介紹
目前HBM市場以SK海力士與三星為主,SK海力士HBM技術(shù)起步早,占據(jù)較大市場。
SK海力士
早在2014年SK海力士便與AMD聯(lián)合開發(fā)了全球首款硅通孔(TSV, Through Silicon Via)HBM產(chǎn)品。
2018年SK海力士發(fā)布第二代HBM產(chǎn)品HBM2,容量為4GB/8GB,對比第一代新增多項增強型功能,比如偽通道模式優(yōu)化內(nèi)存訪問并降低延遲,從而提高有效帶寬。
2020年SK海力士發(fā)布HBM2的擴(kuò)展版本HBM2E,容量為8GB/16GB,是HBM2的兩倍,具有技術(shù)更先進(jìn)、應(yīng)用范圍更廣泛、速度更快、容量更大、散熱性能更好等特點。
2021年10月SK海力士發(fā)布全球首款HBM3,容量是HBM2E的1.5倍,由12個DRAM芯片堆疊成,總封裝高度相同,適用于AI、HPC等容量密集型應(yīng)用,該產(chǎn)品已于2022年6月開始量產(chǎn)。
此外,SK海力士還在研發(fā)HBM4,預(yù)計新一代產(chǎn)品將能夠更廣泛地應(yīng)用于高性能數(shù)據(jù)中心、超級計算機(jī)和人工智能等領(lǐng)域。
三星
三星HBM的布局從HBM2開始,2016年1月,三星宣布開始量產(chǎn)4GB HBM2 DRAM,同年三星生產(chǎn)8GB HBM2 DRAM。
2018年初三星開始投產(chǎn)第二代HBM2,代號為“Aquabolt”,單顆封裝容量達(dá)8GB,帶寬307GB/s。
2020年2月三星宣布推出HBM2E Flashbolt,與前一代8GB HBM2“Aquabolt”相比,16GB HBM2E Flashbolt容量翻倍,帶寬增加至538GB/s,提升約1.75倍。
此外,2021年2月三星還與AMD合作開發(fā)HBM-PIM(processing-in-memory) ,將內(nèi)存和AI處理器合而為一,在CPU和GPU安裝HBM-PIM時,顯著提高服務(wù)器運算速度。