加入星計(jì)劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴(kuò)散
  • 作品版權(quán)保護(hù)
  • 300W+ 專(zhuān)業(yè)用戶(hù)
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長(zhǎng)期合作伙伴
立即加入
  • 正文
    • ?01、AI系統(tǒng)和芯片需要改進(jìn)
    • ?02、問(wèn)題如何解決?
    • ?03、結(jié)語(yǔ)
  • 推薦器件
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請(qǐng)入駐 產(chǎn)業(yè)圖譜

行業(yè)大牛開(kāi)啟新征程,芯片架構(gòu)創(chuàng)新迎來(lái)新局面

2023/11/24
2584
閱讀需 15 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點(diǎn)資訊討論

作者:暢秋

本周,全球IT業(yè)最大的新聞非OpenAI聯(lián)合創(chuàng)始人山姆·奧特曼(Sam Altman)離開(kāi)原公司、加入微軟莫屬。當(dāng)然,這并不是終點(diǎn)。

Sam Altman被OpenAI董事會(huì)驅(qū)逐,被認(rèn)為是技術(shù)派的勝利,因?yàn)榱硪幻?lián)合創(chuàng)始人薩斯克維爾認(rèn)為Altman商業(yè)化行動(dòng)過(guò)于激進(jìn),存在很多安全隱患,因此,聯(lián)合其他三名外部董事驅(qū)逐了Altman。

本文不關(guān)注OpenAI的“宮斗”大戲,無(wú)論Altman最終留在微軟,還是回歸OpenAI,都不會(huì)影響他開(kāi)創(chuàng)AI軟硬件新技術(shù)和市場(chǎng)的意愿,區(qū)別只是在哪里做而已。

據(jù)悉,在被解職之前,Altman就在探尋新業(yè)務(wù),曾試圖在中東籌集數(shù)十億美元用于人工智能(AI)芯片項(xiàng)目Tigris,還想創(chuàng)建一家專(zhuān)注于AI芯片研發(fā)的公司,或許,這一項(xiàng)目已經(jīng)被微軟拿下了。另外,Altman還一直在尋求為一款A(yù)I硬件設(shè)備籌集資金,該設(shè)備是他與前蘋(píng)果設(shè)計(jì)總監(jiān)Jony Ive 共同開(kāi)發(fā)的。

近些年,在AI發(fā)展方興未艾的大背景下,不甘于已經(jīng)取得的“輝煌成績(jī)”,選擇開(kāi)創(chuàng)新業(yè)務(wù)(從新創(chuàng)業(yè)或加盟一家富有活力的大公司)的行業(yè)大牛不止Altman一人,還有多位業(yè)界知名業(yè)界人士,特別是技術(shù)大牛,都選擇了再創(chuàng)業(yè),因?yàn)樗麄儫o(wú)法抵擋AI發(fā)展的巨大潛力,要趁當(dāng)下還處于“野蠻成長(zhǎng)”的產(chǎn)業(yè)發(fā)展初級(jí)階段,爭(zhēng)取用先進(jìn)的技術(shù)和產(chǎn)品,掌控未來(lái)競(jìng)爭(zhēng)的主動(dòng)權(quán)。在這些人當(dāng)中,典型代表是CPU架構(gòu)大神Jim Keller和GPU架構(gòu)大神Raja Koduri。

2020年6月,Jim Keller離開(kāi)了工作兩年的英特爾,2021年初,AI芯片初創(chuàng)公司Tenstorrent宣布任命Jim Keller為公司總裁兼首席技術(shù)官,以及董事會(huì)成員。Tenstorrent創(chuàng)立于2016年,旨在通過(guò)一種新方法和體系結(jié)構(gòu),研發(fā)新型AI處理器,以推動(dòng)AI和機(jī)器學(xué)習(xí)的發(fā)展。近兩年,Tenstorrent十分看重RISC-V的應(yīng)用前景,認(rèn)為其非常適合未來(lái)低功耗AI應(yīng)用市場(chǎng)需求。

2023年3月,Raja Koduri離開(kāi)了工作五年的英特爾,選擇創(chuàng)業(yè)。據(jù)Koduri透露,他的新創(chuàng)公司Mihira AI要打造新的生成式人工智能工具,這些工具可以在英特爾、AMD、蘋(píng)果等公司的芯片上運(yùn)行,也可以在未來(lái)的RISC-V架構(gòu)芯片上運(yùn)行。

?01、AI系統(tǒng)和芯片需要改進(jìn)

當(dāng)下的AI服務(wù)器,多采用異構(gòu)形式搭建,也就是在計(jì)算系統(tǒng)中,使用多種不同類(lèi)型的處理器(CPU、GPU、FPGA、NPU等),這樣可以增加計(jì)算速度和效率,以滿(mǎn)足不同工作負(fù)載的需求,因?yàn)锳I工作負(fù)載通常需要大量的數(shù)值計(jì)算和并行運(yùn)算。

傳統(tǒng)CPU在通用計(jì)算方面表現(xiàn)出色,但對(duì)于深度學(xué)習(xí)等需要大量矩陣計(jì)算的任務(wù),效能就會(huì)不足,這時(shí),將GPU、TPU等處理器組合其中,可以更好地滿(mǎn)足AI任務(wù)的需求,提供更高效的運(yùn)算能力。

對(duì)于AI系統(tǒng)的這種異構(gòu)需求,不同處理器廠商,特別是像AMD和英偉達(dá)這樣的傳統(tǒng)大廠,以及自研AI芯片的互聯(lián)網(wǎng)大廠,都有各自的解決方案,但不同方案雖然有各自?xún)?yōu)勢(shì),但也存在這樣或那樣的缺點(diǎn)。

AMD公司推出了APU概念和產(chǎn)品,它就是CPU +GPU的組合,其優(yōu)點(diǎn)是可以充分發(fā)揮兩種處理器各自的優(yōu)勢(shì),互相彌補(bǔ)短板,也能在一定程度上減少功耗。不過(guò),其AI訓(xùn)練性能并不比獨(dú)立的GPU好。

為了滿(mǎn)足自家系統(tǒng)的需求,Google自研了張量處理器TPU(Tensor Processing Unit),它是一種ASIC處理器,與 CPU、GPU和APU等通用處理器有很大區(qū)別,TPU的專(zhuān)用性很強(qiáng),針對(duì)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等AI應(yīng)用進(jìn)行了優(yōu)化,專(zhuān)門(mén)用于加速AI的計(jì)算任務(wù)。不過(guò),在Google的整個(gè)網(wǎng)絡(luò)系統(tǒng)當(dāng)中,依然需要用到大量的通用CPU和GPU,TPU雖然很好用,但可用規(guī)模還是有限的。

可見(jiàn),要不斷改善AI服務(wù)器系統(tǒng)性能,單一的通用或?qū)S锰幚砥鞫紵o(wú)法獨(dú)自解決問(wèn)題,需要多種處理器配合工作才行,這就給新的AI芯片技術(shù)和產(chǎn)品發(fā)展提供了機(jī)會(huì)。

AI系統(tǒng)的訓(xùn)練和推理平衡水平需要改善。

目前,英偉達(dá)的GPU是AI訓(xùn)練芯片市場(chǎng)的領(lǐng)導(dǎo)者,但這只占整個(gè)AI芯片需求的20%左右,推理芯片市場(chǎng)相當(dāng)大,當(dāng)下的GPU擅長(zhǎng)AI訓(xùn)練,而CPU擅長(zhǎng)推理,二者在對(duì)方領(lǐng)域的局限性都很大。

在AI推理市場(chǎng),除了數(shù)據(jù)中心云計(jì)算,用戶(hù)對(duì)邊緣側(cè)(如手機(jī)、PC,以及機(jī)器人、工業(yè)系統(tǒng)和汽車(chē)等)的推理需求在快速增長(zhǎng)。因此,AI推理市場(chǎng)不僅很大,而且相當(dāng)分散。在這種情況下,邊緣側(cè)AI推理芯片的市場(chǎng)規(guī)模非常大,而且具有極大的發(fā)展?jié)摿Α?/p>

蘋(píng)果公司的iPhone 就是一個(gè)典型的例子,它在A系列處理器中集成了AI內(nèi)核,目前,AI功能已經(jīng)占據(jù)了A系列處理器整體功能的20%。近些年,多家公司也在采用類(lèi)似于蘋(píng)果的SoC AI策略。

粗略計(jì)算,AI芯片市場(chǎng)包括約15%的訓(xùn)練,45%的數(shù)據(jù)中心推理,以及40%的邊緣側(cè)推理。在這樣的市場(chǎng)背景下,一方面,各大處理器廠商正在提升AI訓(xùn)練和推理能力的融合水平,另一方面,邊緣側(cè)推理市場(chǎng)的巨大發(fā)展空間給很多移動(dòng)處理器廠商提供了拓展機(jī)會(huì)。

AI系統(tǒng)和芯片的功耗也需要改善。

如上文所述,邊緣側(cè)推理市場(chǎng)巨大,而這些應(yīng)用對(duì)低功耗要求很高。同時(shí),數(shù)據(jù)中心和云計(jì)算系統(tǒng)的功耗高的嚇人,不可能無(wú)止境地增加下去,解決這一大應(yīng)用領(lǐng)域的功耗問(wèn)題也被越來(lái)越多的芯片和系統(tǒng)廠商所重視。

?02、問(wèn)題如何解決?

從上文介紹中可以看出,AI系統(tǒng)和相關(guān)芯片還處于成長(zhǎng)期,有很多問(wèn)題需要解決,特別是AI訓(xùn)練和推理芯片的功能融合、邊緣側(cè)AI推理,以及功耗問(wèn)題,是各大廠商,以及初創(chuàng)企業(yè)共同關(guān)注的。

最近,英偉達(dá)推出的新GPU在AI訓(xùn)練和推理融合能力方面就有很大進(jìn)步,該公司表示,H100芯片的升級(jí)產(chǎn)品H200集成了141GB的HBM3e內(nèi)存,更加擅長(zhǎng)推理,在用于推理或生成問(wèn)題答案時(shí),性能較H100提高了60%-90%。英偉達(dá)表示,與H100相比,H200在Llama 2這樣擁有700億參數(shù)大語(yǔ)言模型上的推理速度提升了近一倍。

在邊緣側(cè)推理方面,以蘋(píng)果為學(xué)習(xí)對(duì)象,傳統(tǒng)手機(jī)處理器廠商也在增加新產(chǎn)品的AI推理能力。以聯(lián)發(fā)科為例,該公司推出的天璣8300可支持生成式AI,最高支持100億參數(shù)AI大語(yǔ)言模型。該芯片集成了生成式AI引擎,整數(shù)運(yùn)算和浮點(diǎn)運(yùn)算的性能是上一代的兩倍,支持Transformer算子加速和混合精度INT4量化技術(shù),AI綜合性能是上一代的3.3倍,可流暢運(yùn)行終端側(cè)生成式AI的各種新應(yīng)用。

在降低AI服務(wù)器功耗方面,初創(chuàng)企業(yè)和各大知名廠商投入的力度更大。

以上文提到的Jim Keller加入的Tenstorrent為例,該公司正在開(kāi)發(fā)數(shù)據(jù)中心解決方案,核心產(chǎn)品是基于RISC-V架構(gòu)的AI/ML加速器和通用處理器。之所以采用RISC-V指令集,很重要的一個(gè)原因就是其功耗低。

據(jù)悉,Tenstorrent正在與日本新創(chuàng)晶圓廠Rapidus合作,開(kāi)發(fā)基于2nm制程工藝的邊緣側(cè)AI處理器及相關(guān)IP。從目前的AI系統(tǒng)市場(chǎng)需求,以及未來(lái)該領(lǐng)域?qū)Φ凸模〝?shù)據(jù)中心、云和邊緣側(cè)都要求降低功耗)的要求來(lái)看,先進(jìn)制程的未來(lái)發(fā)展前景依然值得期待,因?yàn)?nm、2nm,甚至是1nm這樣的先進(jìn)制程技術(shù),就是要在不斷提升性能的同時(shí),持續(xù)降低功耗。未來(lái),先進(jìn)制程工藝幾乎就是為AI芯片而生的。

對(duì)于開(kāi)發(fā)RISC-V芯片和系統(tǒng),半導(dǎo)體大國(guó)政府都很重視。美國(guó)政府已經(jīng)下達(dá)了使用RISC-V處理器來(lái)模擬下一代稀疏性超級(jí)計(jì)算機(jī)的指示,歐盟也建立了一個(gè)基于RISC-V架構(gòu)的本土加速器項(xiàng)目,稱(chēng)為EPAC。

除了新創(chuàng)企業(yè),傳統(tǒng)大廠也在發(fā)展低功耗AI芯片方面不遺余力。

以微軟為例,該公司于近期推出了用于云端軟件服務(wù)的處理器Cobalt,該芯片是基于Arm架構(gòu)的通用處理器,同時(shí),微軟還推出了另一款專(zhuān)用AI加速器Maia 100,用于云端訓(xùn)練和推理。這兩款芯片將于2024年導(dǎo)入該公司的Azure數(shù)據(jù)中心。微軟基于Arm架構(gòu)研發(fā)芯片,很重要的一個(gè)原因就是其功耗比較低。

除了將AI訓(xùn)練和推理融合,以及低功耗之外,現(xiàn)有架構(gòu)芯片,特別是CPU、GPU,在AI計(jì)算方面都存在局限性,因此,一些初創(chuàng)公司,以及傳統(tǒng)知名廠商還在探索新型架構(gòu)的AI芯片,特別是在打破處理單元與內(nèi)存之間的“通信墻“方面,下了很多功夫。

近些年,以Groq、Cerebras、SambaNova、NextSilicon等為代表的創(chuàng)業(yè)公司都在開(kāi)發(fā)各自的新型AI加速器,目標(biāo)是替代英偉達(dá)的GPU。這些公司的產(chǎn)品多為ASIC,也就是AI專(zhuān)用處理器,目前來(lái)看,這些新型處理器正在被美國(guó)能源部實(shí)驗(yàn)室所采用,用于科學(xué)研究。同時(shí),美國(guó)多家大學(xué)也對(duì)試用這些芯片持開(kāi)放態(tài)度,例如,NCSA正在與SambaNova合作開(kāi)發(fā)芯片,Cerebras的處理器已經(jīng)用于AI訓(xùn)練。

在創(chuàng)新架構(gòu)處理器研發(fā)方面,大廠IBM一直都是業(yè)界的典型代表,AI專(zhuān)用芯片方面同樣如此。最近,IBM推出了一種新的原型芯片架構(gòu)NorthPole,可以使AI計(jì)算更快、更節(jié)能。NorthPole 是一款基于人腦計(jì)算通路進(jìn)行神經(jīng)推理的數(shù)字AI芯片,它采用了一種截然不同的設(shè)計(jì)方法,將所有內(nèi)存都集成在了處理器芯片上,無(wú)需外掛RAM,這使得該處理器能夠進(jìn)行快速的AI推理。該芯片專(zhuān)為AI推理而設(shè)計(jì),不需要復(fù)雜的冷卻系統(tǒng)。據(jù)悉,小巧靈活的NorthPole非常適合邊緣側(cè)AI應(yīng)用。

以上介紹的都是各種AI處理器,是硬件。要使整個(gè)AI系統(tǒng)充分發(fā)揮效能,軟件工具的作用也很重要。如前文所述,GPU架構(gòu)大神Raja Koduri離開(kāi)英特爾后,創(chuàng)建了新公司Mihira AI,該公司研發(fā)的就是AI軟件工具。

據(jù)Koduri介紹,Mihira AI的最底層是一個(gè)異構(gòu)數(shù)據(jù)中心架構(gòu),涵蓋三類(lèi)工作負(fù)載,分別是:用于渲染通用CPU計(jì)算;用于AI的異構(gòu)加速器;用于游戲GPU工作負(fù)載。他說(shuō),未來(lái)的第四個(gè)集群可以針對(duì)低功耗AI推理進(jìn)行優(yōu)化。

從未來(lái)發(fā)展來(lái)看,Mihira AI的目標(biāo)很可能是替代英偉達(dá)的CUDA,以及AMD的ROCm軟件生態(tài)系統(tǒng)。不過(guò),目前它還處于發(fā)展初期,未來(lái)的道路十分艱辛。

?03、結(jié)語(yǔ)

AI系統(tǒng)、芯片和軟件市場(chǎng)發(fā)展?jié)摿薮?,各種傳統(tǒng)和創(chuàng)新產(chǎn)品同臺(tái)競(jìng)爭(zhēng),隨著應(yīng)用和市場(chǎng)的發(fā)展,未來(lái)具有很大的想象和操作空間。

正是看到了各種AI技術(shù)、產(chǎn)品和商業(yè)的發(fā)展可能性,越來(lái)越多的行業(yè)大牛依托創(chuàng)業(yè)公司,或依托各大知名廠商,開(kāi)始了各種創(chuàng)新工作。

在本文截稿時(shí),報(bào)道稱(chēng)Sam Altman又回到了OpenAI,繼續(xù)擔(dān)任CEO。經(jīng)過(guò)這一波操作,Altman有望在OpenAI獲得更多的施展空間,其AI技術(shù)和商業(yè)拓展之路很可能會(huì)加速。

推薦器件

更多器件
器件型號(hào) 數(shù)量 器件廠商 器件描述 數(shù)據(jù)手冊(cè) ECAD模型 風(fēng)險(xiǎn)等級(jí) 參考價(jià)格 更多信息
ATXMEGA128A3U-MHR 1 Microchip Technology Inc IC MCU 8BIT 128KB FLASH 64QFN
$7.31 查看
STM32H743VIT6TR 1 STMicroelectronics High-performance and DSP with DP-FPU, Arm Cortex-M7 MCU with 2MBytes of Flash memory, 1MB RAM, 480 MHz CPU, Art Accelerator, L1 cache, external memory interface, large set of peripherals

ECAD模型

下載ECAD模型
暫無(wú)數(shù)據(jù) 查看
USB2514BI-AEZG 1 Microchip Technology Inc UNIVERSAL SERIAL BUS CONTROLLER, QCC36, 6 X 6 MM, 0.50 MM PITCH, ROHS COMPLIANT, QFN-36

ECAD模型

下載ECAD模型
$3.89 查看

相關(guān)推薦

電子產(chǎn)業(yè)圖譜

公眾號(hào):半導(dǎo)體產(chǎn)業(yè)縱橫。立足產(chǎn)業(yè)視角,提供及時(shí)、專(zhuān)業(yè)、深度的前沿洞見(jiàn)、技術(shù)速遞、趨勢(shì)解析,鏈接產(chǎn)業(yè)資源,構(gòu)建IC生態(tài)圈,賦能中國(guó)半導(dǎo)體產(chǎn)業(yè),我們一直在路上。