AI技術(shù)加持下,包括智能手機(jī)、PC、可穿戴設(shè)備以及數(shù)字電視等在內(nèi)的終端設(shè)備,其“智能性”正在被重新定義。
面向全新計(jì)算需求,Arm日前推出了終端計(jì)算子系統(tǒng) (CSS),為旗艦系統(tǒng)級芯片(SoC) 提供基礎(chǔ)計(jì)算要素,包括最新的 Armv9.2 CPU、Arm Immortalis GPU、基于3nm工藝生產(chǎn)就緒的 CPU和GPU 物理實(shí)現(xiàn),以及最新的 CoreLink系統(tǒng)互連和系統(tǒng)內(nèi)存管理單元 (SMMU)。此外,還有同步推出的 Arm Kleidi 軟件庫,有助于軟件開發(fā)者無縫獲得Arm CPU的最佳性能,包括面向AI工作負(fù)載的KleidiAI 和面向計(jì)算機(jī)視覺應(yīng)用的 KleidiCV。
Arm創(chuàng)歷史新高的CPU 、GPU 性能和效率提升
據(jù)介紹,Arm 終端 CSS 是迄今速度最快的 Arm 計(jì)算平臺,提升了 30% 以上的計(jì)算和圖形性能,以應(yīng)對要求苛刻的實(shí)際用例中的安卓工作負(fù)載,同時也提高了 59% 的 AI 推理速度,適用于更廣泛的 AI/機(jī)器學(xué)習(xí) (ML) 和計(jì)算視覺工作負(fù)載。
據(jù)Arm 終端事業(yè)部產(chǎn)品管理副總裁 James McNiven介紹,Cortex-X925 作為Cortex-X系列的最新 CPU,實(shí)現(xiàn)了前所未有的性能飛躍,其IPC(每周期指令數(shù))增幅創(chuàng)歷史新高。而這是通過一系列創(chuàng)新的微架構(gòu)改進(jìn)和頻率優(yōu)化實(shí)現(xiàn)的,在 Geekbench 單線程測試中取得了 36% 的性能提升,顯著超越前代產(chǎn)品。
Arm 終端事業(yè)部產(chǎn)品管理副總裁? James McNiven
AI 性能方面,Cortex-X925 取得了41%的性能提升,可顯著提高大語言模型 (LLM) 等設(shè)備端生成式 AI 的響應(yīng)能力。這主要得益于 Cortex-X925 的微架構(gòu)演進(jìn),包括迄今為止最寬的解碼器和矢量處理單元,使得 TOPS性能提升了 50%。
此外,Cortex-X925通過增強(qiáng)的可配置性和更大的私有 L2 緩存,有效提升了指令和數(shù)據(jù)的處理效率。同時,RTL和物理設(shè)計(jì)團(tuán)隊(duì)針對3nm工藝進(jìn)行了緊密合作,進(jìn)一步優(yōu)化了 CPU 的頻率和能效表現(xiàn)。
針對 AI 和手游用例,Arm Cortex-A725 CPU性能效率提高了 35%。這一改進(jìn)也得益于更新后的 Arm Cortex-A520 CPU 和更新后的 DSU-120,使得采用最新 Armv9 CPU 集群的消費(fèi)電子設(shè)備可提升能效和可擴(kuò)展性。
CSS平臺中還包括最新的Immortalis-G925 GPU,這是 Arm 目前性能最強(qiáng)、效率最高的 GPU,在各款領(lǐng)先的手游應(yīng)用中實(shí)現(xiàn)了 37% 的性能提升,并在多個 AI 和 ML 網(wǎng)絡(luò)上提升了 34% 的性能。在應(yīng)用方面,Immortalis-G925 面向旗艦智能手機(jī)市場,而包括 Arm Mali-G725 和 Mali-G625 GPU 在內(nèi)的全新高可擴(kuò)展性 GPU 系列,面向從高端手機(jī)到智能手表、XR 、可穿戴設(shè)備等廣泛的消費(fèi)電子設(shè)備市場。
針對AI特性的軟件優(yōu)化
為了使開發(fā)者能以更高性能快速實(shí)現(xiàn)AI應(yīng)用創(chuàng)新,Arm 推出了Kleidi軟件,其中包括面向 AI 工作負(fù)載的 KleidiAI 和面向計(jì)算機(jī)視覺應(yīng)用的 KleidiCV。
KleidiAI 是一套面向 AI 框架開發(fā)者的計(jì)算內(nèi)核,使他們能夠在各種設(shè)備上輕松獲得 Arm CPU 上的最佳性能,并支持 Neon、SVE2 和 SME2 等關(guān)鍵 Arm 架構(gòu)功能。KleidiAI 與 PyTorch、Tensorflow、MediaPipe 等熱門 AI 框架集成,旨在加速 Meta Llama 3、Phi-3 等關(guān)鍵模型的性能,并且還可前后兼容,以確保 Arm 在引入更多技術(shù)時依然能適用未來市場的需求。
James McNiven認(rèn)為,CPU作為核心計(jì)算引擎,在驅(qū)動未來網(wǎng)絡(luò)方面發(fā)揮著不可替代的作用。Arm致力于將KleidiAI技術(shù)集成到多樣化的框架中,包括通用框架TensorFlow、PyTorch等,它們能夠支持各種設(shè)備上任意網(wǎng)絡(luò)的運(yùn)行,以及針對特定任務(wù)設(shè)計(jì)的點(diǎn)對點(diǎn)解決方案,例如MediaPipe和Llama 3。他強(qiáng)調(diào),Kleidi不僅確保開發(fā)者能夠充分利用Arm終端CSS的最新Armv9特性,如可伸縮矢量擴(kuò)展(SVE),也能確保在現(xiàn)有CPU核心上實(shí)現(xiàn)更佳性能,并為未來CPU創(chuàng)新,如可伸縮矩陣擴(kuò)展(SME)等做好準(zhǔn)備。
以Cortex-X925為例,Kleidi在運(yùn)行最新版的Llama 3和Phi-3時,其速度比參考實(shí)現(xiàn)快2.9倍,且能在不到24小時內(nèi)完成。此外,針對計(jì)算機(jī)視覺與AI技術(shù)日益緊密結(jié)合的趨勢,Arm還推出了KleidiCV,并通過將其集成到廣泛使用的OpenCV庫中,實(shí)現(xiàn)顯著的性能提升。據(jù)透露,Arm今年還將與OpenCV.ai合作,簡化安卓開發(fā)者將OpenCV集成到項(xiàng)目的工作,并使他們能夠從KleidiCV的性能改進(jìn)中受益。
Am 終端 CSS還致力于提高安卓設(shè)備用戶的性能體驗(yàn)。在Cortex-X925帶來30%的性能提升基礎(chǔ)上,針對包括Chrome在內(nèi)的網(wǎng)頁瀏覽器進(jìn)行了改進(jìn),實(shí)現(xiàn)了23%的性能提升。這些改進(jìn)也被中國手機(jī)廠商應(yīng)用于瀏覽器中。同時,Arm繼續(xù)與Google合作,推動了安卓動態(tài)性能框架的發(fā)展,新版本框架實(shí)現(xiàn)了高端內(nèi)容每幀能耗降低25%、幀速率提高35%。
Arm注重系統(tǒng)級設(shè)計(jì)
談到半導(dǎo)體工藝演進(jìn)帶來的技術(shù)挑戰(zhàn)時,James McNiven指出,隨著工藝節(jié)點(diǎn)的縮小,IP設(shè)計(jì)面臨新挑戰(zhàn),尤其是在性能、功耗和面積(PPA)的優(yōu)化上。Arm在設(shè)計(jì)新一代Cortex-X和Immortalis產(chǎn)品時,針對特定工藝節(jié)點(diǎn)進(jìn)行優(yōu)化,并且與代工廠合作伙伴保持了密切溝通。
此次推出的終端CSS,也是Arm首次在終端領(lǐng)域?yàn)镃PU和GPU交付物理實(shí)現(xiàn)。對此,James McNiven解釋,以往大多數(shù)IP的交付形式是RTL(寄存器傳輸級),類似于軟件的形式。而從RTL到 芯片還需要很多 EDA 工具的輔助,才能把這套描述轉(zhuǎn)變成實(shí)際的芯片布局。當(dāng)然,所謂的物理實(shí)現(xiàn),并不是指交付物理形態(tài),是指Arm的設(shè)計(jì)完成了這些工具流,通過優(yōu)化和工具產(chǎn)出物理交付,可以將整體的設(shè)計(jì)完整地呈現(xiàn)出來,包括晶體管的布局、線路部署等,從而進(jìn)一步幫助合作伙伴節(jié)省開發(fā)時間。
在終端CSS的實(shí)現(xiàn)過程中,可以看出“系統(tǒng)級的分析和目標(biāo)設(shè)定方法”貫穿始終。針對不同的用例或測試基準(zhǔn),Arm會確定整體性能目標(biāo),并將其分解到各個單一IP上。以游戲《原神》為例,Arm首先從系統(tǒng)層面進(jìn)行深入分析,然后為GPU、圖形性能、CPU等關(guān)鍵組件設(shè)定具體的性能提升目標(biāo),通過這種方式將游戲機(jī)制和計(jì)算能力推向極限。
James McNiven強(qiáng)調(diào),每個單一IP的性能提升都是構(gòu)建終端CSS整體性能的重要基石。通過將前沿的CPU和GPU技術(shù)、生產(chǎn)就緒的物理實(shí)現(xiàn)和持續(xù)的軟件優(yōu)化相結(jié)合,Arm 終端 CSS 加之 Kleidi 軟件,將為未來 AI計(jì)算平臺奠定基石。