2023年ChatBOT等生成式AI應(yīng)用帶動(dòng)AI服務(wù)器成長(zhǎng)熱潮,又以大型云端業(yè)者最積極投入,包含Microsoft、Google、AWS或其他中系業(yè)者如Baidu、ByteDance等陸續(xù)采購(gòu)高端AI服務(wù)器,以持續(xù)訓(xùn)練及優(yōu)化其AI分析模型。高端AI服務(wù)器需采用的高端AI芯片,將推升2023-2024年高帶寬存儲(chǔ)器(HBM)的需求,并將驅(qū)動(dòng)先進(jìn)封裝產(chǎn)能2024年成長(zhǎng)3~4成。
TrendForce集邦咨詢(xún)指出,為提升整體AI服務(wù)器的系統(tǒng)運(yùn)算效能,以及存儲(chǔ)器傳輸帶寬等,NVIDIA、AMD、Intel等高端AI芯片中大多選擇搭載HBM。目前NVIDIA的A100及H100,各搭載達(dá)80GB的HBM2e及HBM3,在其最新整合CPU及GPU的Grace Hopper芯片中,單顆芯片HBM搭載容量再提升20%,達(dá)96GB。另外,AMD的MI300也搭配HBM3,其中,MI300A容量與前一代相同為128GB,更高端MI300X則達(dá)192GB,提升了50%。同時(shí)預(yù)期Google將于2023年下半年積極擴(kuò)大與Broadcom合作開(kāi)發(fā)AISC AI加速芯片TPU亦采搭載HBM存儲(chǔ)器,以擴(kuò)建AI基礎(chǔ)設(shè)施。
TrendForce集邦咨詢(xún)預(yù)估,2023年市場(chǎng)上主要搭載HBM的AI加速芯片(如NVIDIA的H100及A100、AMD的MI200及MI300及Google的TPU等),搭載HBM總?cè)萘繉⑦_(dá)2.9億GB,成長(zhǎng)率近6成,2024年將持續(xù)成長(zhǎng)3成以上。
此外,AI及HPC等芯片對(duì)先進(jìn)封裝技術(shù)的需求日益提升,其中,以TSMC的CoWoS為目前AI 服務(wù)器芯片主力采用者。CoWoS封裝技術(shù)主要分為CoW和oS兩段,其中,CoW主要整合各種Logic IC(如CPU、GPU、AISC等)及HBM存儲(chǔ)器等,另外,oS部分則將上述CoW以凸塊(Solder Bump)等接合,封裝在基板上,最后再整合到PCBA,成為服務(wù)器主機(jī)板的主要運(yùn)算單元,與其他零部件如網(wǎng)絡(luò)、儲(chǔ)存、電源供應(yīng)單元(PSU)及其他I/O等組成完整的AI 服務(wù)器系統(tǒng)。
TrendForce集邦咨詢(xún)觀察,估計(jì)在高端AI芯片及HBM強(qiáng)烈需求下,TSMC于2023年底CoWoS月產(chǎn)能有望達(dá)12K,其中,NVIDIA在A100及H100等相關(guān)AI Server需求帶動(dòng)下,對(duì)CoWoS產(chǎn)能較年初需求量,估提升近5成,加上AMD、Google等高端AI芯片需求成長(zhǎng)下,將使下半年CoWoS產(chǎn)能較為緊迫,而此強(qiáng)勁需求將延續(xù)至2024年,預(yù)估若在相關(guān)設(shè)備齊備下,先進(jìn)封裝產(chǎn)能將再成長(zhǎng)3-4成。
TrendForce集邦咨詢(xún)指出,值得注意的是,在AI較急促需求下,無(wú)論是HBM或CoWoS生產(chǎn)過(guò)程中,得后續(xù)觀察周邊配套措施,例如硅通孔封裝技術(shù)(TSV)、中介層電路板(Interposer)以及相關(guān)設(shè)備(如濕制程設(shè)備)等是否能到位,如前置時(shí)間(Lead Time)等考量。而在AI強(qiáng)勁需求持續(xù)下,估NVIDIA針對(duì)CoWoS相關(guān)制程,亦不排除將評(píng)估其他類(lèi)似先進(jìn)封裝外援,例如Amkor或Samsung等,以應(yīng)對(duì)可能供不應(yīng)求的情形。
注:
本文高端AI Server指搭載高端AI芯片的Sever設(shè)備,針對(duì)如大型CSPs或HPC等AI模型訓(xùn)練應(yīng)用,高端AI芯片包含如NVIDIA的A100或H100,或AMD的MI200、MI300,或Intel的Max GPU等。
Samsung主力先進(jìn)封裝技術(shù)為Cube系列,如I-Cube、H-Cube、X-Cube等;Amkor先進(jìn)封裝技術(shù)涵蓋晶圓級(jí)封裝(WLP)、覆晶封裝、系統(tǒng)級(jí)封裝等。