人工智慧(AI)推論對(duì)于效能有重大影響,根據(jù)最新的MLPerf基淮測(cè)試結(jié)果,NVIDIA在使用x86或Arm架構(gòu)的CPU進(jìn)行人工智慧(AI)推論方面取得最佳成績(jī),此為NVIDIA連續(xù)第三度在MLCommons的推論測(cè)試中,創(chuàng)下效能及能源效率的紀(jì)錄。
NVIDIA平臺(tái)的推論效能表現(xiàn)
搭載NVIDIA AI平臺(tái)的電腦在最新一輪的七項(xiàng)推論效能測(cè)試中均拔得頭籌,這些系統(tǒng)由NVIDIA及九個(gè)商業(yè)生態(tài)系合作伙伴所推出,包含阿里巴巴、戴爾科技(Dell Technologies)、富士通(Fujitsu)、技嘉(GIGABYTE)、慧與科技(Hewlett Packard Enterprise)、浪潮(Inspur)、聯(lián)想(Lenovo)、Nettrix及美超微(Supermicro)。
推論是電腦運(yùn)行AI軟體來(lái)辨識(shí)物體或進(jìn)行預(yù)測(cè)時(shí)發(fā)生的過(guò)程。這是一個(gè)使用深度學(xué)習(xí)模型來(lái)篩選資料的過(guò)程,以找出人類無(wú)法取得的結(jié)果。MLPerf的推論基淮是基于目前AI作業(yè)負(fù)載和情境,涵蓋電腦視覺、醫(yī)療影像、自然語(yǔ)言處理、推薦系統(tǒng)與強(qiáng)化學(xué)習(xí)等。因此,不論用戶部署哪些AI應(yīng)用程式,皆能透過(guò)NVIDIA的技術(shù)創(chuàng)下自己的紀(jì)錄。
隨著AI的應(yīng)用從資料中心擴(kuò)大到邊緣和其它地方,AI模型及資料集的規(guī)模持續(xù)擴(kuò)大。這正是為什么用戶在進(jìn)行部署時(shí),需要同時(shí)兼具可靠性與靈活性的效能的原因。MLPerf讓用戶有信心地做出購(gòu)買決策。在包括阿里巴巴、Arm、百度、Google、英特爾(Intel)及NVIDIA等數(shù)十家產(chǎn)業(yè)的支持下,提出透明且客觀的測(cè)試結(jié)果。
Arm架構(gòu)的推論效能表現(xiàn)
全球各地的資料中心採(cǎi)用Arm架構(gòu)系統(tǒng)的比例越來(lái)越高,部分原因在于其能源效率及效能方面的提升,以及不斷擴(kuò)大的軟體生態(tài)系。最新的基淮測(cè)試結(jié)果證明,作為一個(gè)GPU加速平臺(tái),採(cǎi)用Ampere Altra CPU的Arm架構(gòu)伺服器在AI推論作業(yè)方面,提供與類似配置之x86架構(gòu)伺服器幾乎相同的效能表現(xiàn)。事實(shí)上,在其中一項(xiàng)測(cè)試中,Arm架構(gòu)伺服器的表現(xiàn)甚至優(yōu)于類似的x86架構(gòu)系統(tǒng)。