作者 | 方文三
在英偉達(dá)一步步站穩(wěn)萬(wàn)億市值的道路上,少不了兩項(xiàng)關(guān)鍵技術(shù)支持:臺(tái)積電主導(dǎo)的CoWoS高端封裝和頭部存儲(chǔ)廠持續(xù)迭代的HBM(高帶寬存儲(chǔ))。
英偉達(dá)想賺錢,還得看臺(tái)積電和SK海力士的臉色行事。
HBM內(nèi)存:供應(yīng)短缺的罪魁禍?zhǔn)字?/strong>
從面積占比的角度看,英偉達(dá)在H100芯片中所占的部分大約只有50%。
觀察芯片的剖面圖,可以發(fā)現(xiàn)H100裸片在核心位置,而其兩側(cè)各有三個(gè)HBM堆棧,它們的面積總和與H100裸片相當(dāng)。
而這六顆看似普通的內(nèi)存芯片,正是導(dǎo)致H100供應(yīng)短缺的重要因素之一。
目前,SK海力士在HBM市場(chǎng)中占據(jù)了50%的份額,并獨(dú)家向英偉達(dá)提供HBM3E產(chǎn)品。
這種獨(dú)家供應(yīng)的情況嚴(yán)重制約了H100的出貨量:在需求急劇增加的情況下,據(jù)說SK海力士已制定了一項(xiàng)產(chǎn)能翻番的目標(biāo),并已著手進(jìn)行產(chǎn)線擴(kuò)建。
盡管三星和美光等其他廠商也對(duì)HBM3E表示出濃厚的興趣,但在半導(dǎo)體行業(yè)中,產(chǎn)線的擴(kuò)建并不是一項(xiàng)可以輕易完成的任務(wù)。
按照樂觀的估計(jì),需要9至12個(gè)月的時(shí)間,HBM3E的產(chǎn)能才能得到充分提升。因此,至少要到明年第二季度,才能看到HBM3E產(chǎn)能得到補(bǔ)充。
除此之外,即使解決了HBM的產(chǎn)能問題,H100的供應(yīng)量仍受制于臺(tái)積電的表現(xiàn)。
HBM的主要挑戰(zhàn)是封裝和堆疊存儲(chǔ)器
HBM是垂直堆疊DRAM芯片,通過硅通孔(TSV)連接,并使用TCB鍵合(未來(lái)需要更高的堆疊數(shù)量)。
人工智能加速器的性能受到從內(nèi)存中存儲(chǔ)和檢索訓(xùn)練和推理數(shù)據(jù)的能力的瓶頸:這個(gè)問題通常被稱為內(nèi)存墻。
為了解決這個(gè)問題,領(lǐng)先的數(shù)據(jù)中心GPU與高帶寬內(nèi)存(HBM)共同打包。
SK海力士公司于2022年6月開始生產(chǎn)HBM 3,目前是唯一一家批量交付HBM 3的供應(yīng)商,市場(chǎng)份額超過95%,這是大多數(shù)H 100 SKU正在使用的產(chǎn)品。
HBM的主要挑戰(zhàn)是封裝和堆疊存儲(chǔ)器,這是SK海力士所擅長(zhǎng)的,積累了最強(qiáng)的工藝流程知識(shí)。
HBM和CoWoS是相輔相成的
HBM的高焊盤數(shù)量和短跡線長(zhǎng)度需求,需要通過2.5D先進(jìn)封裝技術(shù)如CoWoS來(lái)實(shí)現(xiàn)。
CoWoS是一種主流封裝技術(shù),能夠以合理的成本提供最高的互連密度和最大的封裝尺寸。
然而,目前幾乎所有的HBM系統(tǒng)都封裝在CoWos上,而所有先進(jìn)的人工智能加速器都使用HBM,因此幾乎所有領(lǐng)先的數(shù)據(jù)中心GPU都是臺(tái)積電封裝在CoWos上的。
隨著GPU需求的爆炸式增長(zhǎng),供應(yīng)鏈中的這些部分無(wú)法跟上并成為GPU供應(yīng)的瓶頸。
為了滿足更多的封裝需求,臺(tái)積電一直在做好準(zhǔn)備,但可能沒有預(yù)料到這一波生成式人工智能需求來(lái)得如此之快。
在6月份,臺(tái)積電宣布在竹南開設(shè)先進(jìn)后端晶圓廠6。該晶圓廠占地14.3公頃,足以容納每年100萬(wàn)片晶圓的3DFabric產(chǎn)能。
然而,與客戶產(chǎn)品之間的配合溝通調(diào)試,如何更好地與GPU、NPU這類芯片匹配,實(shí)現(xiàn)更大帶寬和更好能效,才是HBM技術(shù)的關(guān)鍵競(jìng)爭(zhēng)力所在。
CoWoS封裝:成了英偉達(dá)唯一的選擇
但實(shí)際上,每顆H100給臺(tái)積電帶來(lái)的收入很可能超過1000美元,原因就在于H100采用了臺(tái)積電的CoWoS封裝技術(shù),通過封裝帶來(lái)的收入高達(dá)723美元。
臺(tái)積電的CoW區(qū)別于其他先進(jìn)封裝的亮點(diǎn)在于,是將裸片和堆棧放在一個(gè)硅中介層(本質(zhì)是一塊晶圓)上,在中介層中做互聯(lián)通道,實(shí)現(xiàn)裸片和堆棧的通信。
考慮到帶寬與數(shù)據(jù)傳輸速率息息相關(guān),CoWoS便成了H100的唯一選擇。
雖然CoWoS效果逆天,但4000-6000美元/片的天價(jià)還是攔住了不少人,其中就包括富可敵國(guó)的蘋果。因此,臺(tái)積電預(yù)備的產(chǎn)能相當(dāng)有限。
然而,AI浪潮突然爆發(fā),供需平衡瞬間被打破。
但正如HBM擴(kuò)產(chǎn)不易,臺(tái)積電擴(kuò)產(chǎn)也需要時(shí)間。
目前,部分封裝設(shè)備、零組件交期在3-6個(gè)月不等,到年底前,新產(chǎn)能能開出多少仍是未知。
2023年英偉達(dá)H100預(yù)計(jì)出貨量在50萬(wàn)顆,但英偉達(dá)計(jì)劃明年出貨至少150萬(wàn)顆H100處理器。
英偉達(dá)的H100、A100全部由臺(tái)積電代工,并使用臺(tái)積電的CoWoS先進(jìn)封裝技術(shù),除了英偉達(dá)外,其他廠商也對(duì)臺(tái)積電的CoWoS有需求,為此CoWoS產(chǎn)能供不應(yīng)求。
CoWoS產(chǎn)能不足的背景下,依靠CoWoS封裝的H100,自然被臺(tái)積電扼住了咽喉。
結(jié)尾:
正如遠(yuǎn)水無(wú)法解近火之急,擴(kuò)大產(chǎn)能并不存在捷徑。
就英偉達(dá)的競(jìng)爭(zhēng)者而言,他們正在抓住H100所擁有的43.2萬(wàn)張的缺口。AMD公司已推出MI300,對(duì)A100和H100提出了挑戰(zhàn)。
部分資料參考:
21世紀(jì)經(jīng)濟(jì)報(bào)道:《英偉達(dá)身后的較量》,遠(yuǎn)川科技評(píng)論:《誰(shuí)卡了英偉達(dá)的脖子?》