加入星計劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴散
  • 作品版權(quán)保護
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長期合作伙伴
立即加入
  • 正文
  • 推薦器件
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請入駐 產(chǎn)業(yè)圖譜

NVIDIA NIM 革命性地改變模型部署,將全球數(shù)百萬開發(fā)者轉(zhuǎn)變?yōu)樯墒?AI 開發(fā)者

06/03 13:54
1262
閱讀需 10 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

NVIDIA 于今日宣布,全球 2,800 萬開發(fā)者現(xiàn)可下載 NVIDIA NIM?——一種推理微服務(wù),通過經(jīng)優(yōu)化的容器的形式提供模型——以部署在云、數(shù)據(jù)中心或工作站上。借助 NVIDIA NIM,開發(fā)者能夠輕松地為 copilots、聊天機器人等構(gòu)建生成式 AI 應(yīng)用,所需時間從數(shù)周縮短至幾分鐘。

這些新的生成式 AI 應(yīng)用正變得越來越復(fù)雜,通常需要使用具有不同功能的多個模型來生成文本、圖像、視頻、語音等。NVIDIA NIM 提供了一種簡單、標(biāo)準(zhǔn)化的方式,將生成式 AI 添加到應(yīng)用中,顯著提高了開發(fā)者的工作效率。

NIM 還可使企業(yè)能夠最大限度利用其基礎(chǔ)設(shè)施投資。例如,相較于未使用 NIM 的情況下,在 NIM 中運行 Meta Llama 3-8B 時,后者在加速基礎(chǔ)設(shè)施上可產(chǎn)生高達(dá) 3 倍的生成式 AI token。這使企業(yè)能夠大幅提高效率,使用相同的計算基礎(chǔ)設(shè)施來生成更多的結(jié)果。

包括 Cadence、Cloudera、Cohesity、DataStax、NetApp、Scale AI 和新思科技等近 200 家技術(shù)合作伙伴正在將 NIM 集成到他們的平臺中,以加快特定領(lǐng)域應(yīng)用的生成式 AI 部署,例如 copilot、代碼助手和數(shù)字人虛擬形象。從 Meta Llama 3 開始,在 Hugging Face 上現(xiàn)已開始提供 NIM。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示:“每個企業(yè)都希望在其運營中融入生成式 AI,但并非每個企業(yè)都擁有專門的 AI 研究團隊。NVIDIA NIM 可被集成到任意平臺中,任何地方的開發(fā)者都可以訪問,并且可以在任意環(huán)境中運行——它正在助力科技行業(yè)將生成式 AI 普及到每一個企業(yè)組織?!?/p>

通過 NVIDIA AI Enterprise 軟件平臺,企業(yè)可以使用 NIM 在生產(chǎn)系統(tǒng)中部署 AI 應(yīng)用。從下個月開始,NVIDIA 開發(fā)者計劃的會員可以免費使用 NIM,在其選擇的基礎(chǔ)設(shè)施上進(jìn)行研究、開發(fā)和測試。

40 余個 NIM 微服務(wù)為跨模式的生成式 AI 賦能

NIM 容器是預(yù)構(gòu)建的,以加速模型部署,可用于 GPU 加速推理,其中包括 NVIDIA CUDA? 軟件、NVIDIA Triton 推理服務(wù)器?和 NVIDIA TensorRT?-LLM 軟件。

在 ai.nvidia.com 網(wǎng)站上,超過 40 個 NVIDIA 及社區(qū)模型可作為 NIM 端點進(jìn)行體驗,其中包括 Databricks DBRX、谷歌開放模型 Gemma、Meta Llama 3、微軟 Phi-3、Mistral Large、Mixtral 8x22B 和 Snowflake Arctic。

開發(fā)者現(xiàn)在可以從 Hugging Face AI 平臺上,訪問 Meta Llama 3 模型的 NVIDIA NIM 微服務(wù)。通過基于 NVIDIA GPU 的 Hugging Face 推理端點,只需點擊幾下,開發(fā)者就能在其選擇的云平臺上輕松地訪問和運行 Llama 3 NIM。

企業(yè)可以使用 NIM 來運行用于生成文本、圖像和視頻、語音以及數(shù)字人的應(yīng)用。借助面向數(shù)字生物學(xué)的 NVIDIA BioNeMo? NIM 微服務(wù),研究人員可以構(gòu)建新的蛋白質(zhì)結(jié)構(gòu),加速藥物研發(fā)。

數(shù)十家醫(yī)療公司正在一系列應(yīng)用中部署 NIM,以便在手術(shù)規(guī)劃、數(shù)字助手、藥物研發(fā)和臨床試驗優(yōu)化等一系列應(yīng)用中為生成式 AI 推理提供動力。

借助全新的 NVIDIA ACE NIM 微服務(wù),開發(fā)者可以在客戶服務(wù)、遠(yuǎn)程醫(yī)療、教育、游戲和娛樂等應(yīng)用中,輕松構(gòu)建和操作栩栩如生的交互式數(shù)字人。

數(shù)百家 AI 生態(tài)系統(tǒng)合作伙伴已嵌入 NIM

包括 Canonical、Red Hat、Nutanix 和 VMware(已被博通收購)在內(nèi)的平臺提供商已在開源 KServe 或企業(yè)解決方案方面支持 NIM。AI 應(yīng)用公司 Hippocratic AI、Glean、Kinetica 和 Redis 也在部署 NIM 來支持生成式 AI 推理。

領(lǐng)先的 AI 工具和 MLOps 合作伙伴(包括亞馬遜 SageMaker、微軟 Azure AI、Dataiku、DataRobot、deepset、Domino Data Lab、LangChain、Llama Index、Replicate、Run.ai、Saturn Cloud、Securiti AI 和 Weights & Biases)也已將 NIM 嵌入到其平臺,使開發(fā)者能夠通過優(yōu)化推理來構(gòu)建和部署特定領(lǐng)域的生成式 AI 應(yīng)用。

全球系統(tǒng)集成商和服務(wù)交付合作伙伴埃森哲、德勤、Infosys、Latentview、Quantiphi、SoftServe、塔塔咨詢服務(wù)(TCS)和威普羅(Wipro)已經(jīng)建立了 NIM 能力,以幫助全球企業(yè)快速開發(fā)和部署生產(chǎn)型 AI 策略。

企業(yè)幾乎可以在任何地方運行支持 NIM 的應(yīng)用,包括在全球基礎(chǔ)設(shè)施制造商思科、戴爾科技、慧與、聯(lián)想和超微,以及服務(wù)器制造商永擎電子、華碩、技嘉、鴻佰科技、英業(yè)達(dá)、和碩、QCT、緯創(chuàng)資通和緯穎科技的 NVIDIA 認(rèn)證系統(tǒng)? 上運行。NIM 微服務(wù)也已集成至亞馬遜云科技、谷歌云、Azure 和 Oracle 云基礎(chǔ)設(shè)施中。

行業(yè)巨頭通過 NIM 加強生成式 AI

行業(yè)領(lǐng)導(dǎo)者 Foxconn、和碩、Amdocs、勞氏公司、 ServiceNow 和西門子利用 NIM 來加強生成式 AI 應(yīng)用,涉及制造業(yè)、醫(yī)療、金融服務(wù)、零售、客戶服務(wù)等領(lǐng)域:

  • Foxconn——作為全球最大的電子制造商,F(xiàn)oxconn 正在使用 NIM 開發(fā)針對特定領(lǐng)域的大語言模型(LLM),并將這些模型嵌入到其 AI 工廠的各種內(nèi)部系統(tǒng)和流程中,用于智能制造、智慧城市和智能電動汽車。
  • 和碩——這家臺灣電子制造公司正在將 NIM 用于 Project TaME,這是一個當(dāng)?shù)氐幕旌蠈<遥∕oE)模型,旨在推動各行各業(yè)開發(fā)本地化的 LLM。 ● Amdocs——這家為通信和媒體公司提供軟件和服務(wù)的全球領(lǐng)先供應(yīng)商正在使用 NIM 運行客戶計費 LLM,該模型顯著降低了 token 成本,將準(zhǔn)確性提高了 30%,并將延遲降低了 80%,從而實現(xiàn)近乎實時的響應(yīng)。
  • 勞氏公司——這家《財富》雜志 50 強家居裝飾公司正在將生成式 AI 用于各種用例,例如,該零售商正在利用 NVIDIA NIM 推理微服務(wù)來提升員工和客戶的體驗。
  • ServiceNow——這個用于業(yè)務(wù)轉(zhuǎn)型的 AI 平臺于今年早些時候宣布成為首批接入 NIM 的平臺提供商之一,幫助客戶實現(xiàn)快速、可擴展且更具成本效益的 LLM 開發(fā)和部署。NIM 微服務(wù)已經(jīng)集成到 Now AI 多模態(tài)模型中,可供添加了 ServiceNow 的生成式 AI 功能 Now Assist 的客戶使用。
  • 西門子——作為專注于工業(yè)、基礎(chǔ)設(shè)施、交通和醫(yī)療領(lǐng)域的全球科技公司,西門子正在將其運營技術(shù)與 NIM 微服務(wù)整合,用于車間 AI 工作負(fù)載。此外,西門子還利用 NIM 為其 Machine Operators 構(gòu)建了一個本地部署版本的 Industrial Copilot。

可用性 開發(fā)者可在 ai.nvidia.com 網(wǎng)站上免費試用 NVIDIA 微服務(wù)。企業(yè)可通過在 NVIDIA 認(rèn)證系統(tǒng)和領(lǐng)先的云平臺上運行的 NVIDIA AI Enterprise 來部署生產(chǎn)級 NIM 微服務(wù)。從下個月開始,NVIDIA 開發(fā)者計劃的會員將能夠免費使用 NIM 來進(jìn)行研究和測試。

推薦器件

更多器件
器件型號 數(shù)量 器件廠商 器件描述 數(shù)據(jù)手冊 ECAD模型 風(fēng)險等級 參考價格 更多信息
AT89C51CC03UA-RDTUM 1 Atmel Corporation Microcontroller, 8-Bit, FLASH, 8051 CPU, 60MHz, CMOS, PQFP64, GREEN, VQFP-64

ECAD模型

下載ECAD模型
$9.5 查看
MK60DN512VMC10 1 Freescale Semiconductor Kinetis K 32-bit MCU, ARM Cortex-M4 core, 512KB Flash, 100MHz, Ethernet, MAPBGA 121
$10.69 查看
DSPIC30F6014A-30I/PT 1 Microchip Technology Inc 16-BIT, FLASH, 30 MHz, RISC MICROCONTROLLER, PQFP80, 12 X 12 MM, 1 MM HEIGHT, PLASTIC, MS-026, TQFP-80

ECAD模型

下載ECAD模型
$12 查看

相關(guān)推薦

電子產(chǎn)業(yè)圖譜