NVIDIA發(fā)布適用于OpenUSD語言、幾何體、物理學和材質(zhì)的生成式AI模型與NIM微服務

NVIDIA于今日發(fā)布通用場景描述（OpenUSD）的重大成果。這將擴大這一通用3D數(shù)據(jù)交換框架在機器人、工業(yè)設計和工程領(lǐng)域的應用，提高開發(fā)者為AI新一輪發(fā)展構(gòu)建高精度虛擬世界的能力。

通過基于OpenUSD的全新生成式AI，以及在NVIDIA Omniverse平臺構(gòu)建的 NVIDIA 加速的開發(fā)框架，越來越多的行業(yè)現(xiàn)在能夠開發(fā)出用于可視化工業(yè)設計和工程項目的應用，以及用于構(gòu)建新一代物理AI和機器人的環(huán)境仿真的應用。

新推出的內(nèi)容包括適用于AI模型的NVIDIA NIM?微服務，這些微服務可生成回答用戶查詢的OpenUSD語言、生成OpenUSD Python代碼、將材質(zhì)應用于3D物體、理解3D空間和物理學以幫助加快數(shù)字孿生的開發(fā)等。其他還包括可用于機器人和工業(yè)仿真數(shù)據(jù)格式的全新USD連接器，以及各種開發(fā)者工具，用戶可通過它們將海量NVIDIA RTX?全光線追蹤數(shù)據(jù)集傳輸?shù)紸pple Vision Pro。

NVIDIA Omniverse與仿真技術(shù)副總裁Rev Lebaredian表示：“重工業(yè)的生成式AI潮已經(jīng)到來。直到最近，數(shù)字世界的主要用戶還是創(chuàng)意行業(yè)；而現(xiàn)在，借助NVIDIA NIM微服務為OpenUSD帶來的增強功能和可訪問性，各個行業(yè)都可以創(chuàng)建基于物理學的虛擬世界和數(shù)字孿生，在加快創(chuàng)新的同時，為機器人這次新一輪AI技術(shù)熱潮做好準備?！?/p>

通過NVIDIA NIM將生成式AI應用于USD

NVIDIA開發(fā)的全球首個用于OpenUSD開發(fā)的生成式AI模型將以NVIDIA NIM微服務的形式提供。借助這些模型，開發(fā)者能夠?qū)⑸墒紸I copilot和智能體整合到USD工作流中，拓寬3D世界的可能性，幫助加快USD在制造業(yè)、汽車行業(yè)和機器人等新工業(yè)領(lǐng)域的應用。

預覽版中的微服務包括：

• USD Code NIM微服務：回答常識性OpenUSD問題，并基于文本提示自動生成 OpenUSD-Python代碼，然后將其輸入到OpenUSD查看應用程序（例如皮克斯的USDView）或基于NVIDIA Omniverse Kit的應用，以實現(xiàn)相應3D數(shù)據(jù)的可視化。
• USD Search NIM微服務：使開發(fā)者能夠使用自然語言或圖像輸入，在海量OpenUSD、3D和圖像數(shù)據(jù)庫中進行搜索。
• USD Validate NIM微服務：檢查上傳文件與OpenUSD發(fā)布版本的兼容性，并生成完全由NVIDIA Omniverse Cloud API（應用編程接口）驅(qū)動的RTX渲染路徑追蹤圖像。

即將提供的新微服務包括：

• USD Layout NIM微服務：使用戶能夠基于空間智能，根據(jù)一系列文本提示組裝出基于 OpenUSD的場景。
• USD SmartMaterial NIM微服務：預測并將逼真的材料應用于計算機輔助設計對象。
• fVDB Mesh Generation NIM微服務：根據(jù)點云數(shù)據(jù)生成基于OpenUSD的網(wǎng)絡，并通過 Omniverse Cloud API進行渲染。
• fVDB Physics Super-Res NIM微服務：對幀或幀序列執(zhí)行AI超分辨率 ，生成基于OpenUSD的高分辨率物理仿真。
• fVDB NeRF-XL NIM微服務：使用 Omniverse Cloud API 在 OpenUSD中生成大規(guī)模神經(jīng)輻射場。

Foxconn是全球制造業(yè)的領(lǐng)導者，在全球擁有 170 多家工廠，受益于NVIDIA的計算平臺，利用 NIM 微服務和 Omniverse 為一家正在開發(fā)中的工廠創(chuàng)建了數(shù)字孿生。

Foxconn首席數(shù)字官兼智能制造平臺負責人史喆表示：“數(shù)字孿生將幫助我們加速新一波工業(yè)制造和自主機器的發(fā)展。NVIDIA Omniverse 和全新的 NIM 微服務將使數(shù)字孿生的開發(fā)變得更加普及，并幫助我們的團隊以前所未有的速度構(gòu)建基于物理的虛擬工廠?！?/p>

全球領(lǐng)先的營銷與傳播服務公司W(wǎng)PP是USD Search和USD Code NIM微服務的早期用戶之一。該公司將這些微服務用于其基于NVIDIA Omniverse構(gòu)建的生成式AI內(nèi)容創(chuàng)建管線中，為可口可樂公司等客戶提供服務。

WPP首席技術(shù)官Stephan Pretorius表示：“這些創(chuàng)新的美妙之處在于它與我們的工作方式高度兼容，并充分利用了開放標準。這不僅加速了未來的工作，而且使我們能夠繼續(xù)鞏固和擴展我們之前在OpenUSD等標準上的所有投資。通過使用NVIDIA NIM微服務與NVIDIA Omniverse，我們能夠以前所未有的速度與可口可樂公司等企業(yè)聯(lián)合推出創(chuàng)新的新生產(chǎn)工具。”

USD連接器為更多行業(yè)帶來生成式AI

多款適用于機器人數(shù)據(jù)格式和Apple Vision Pro流式傳輸?shù)娜耈SD連接器將為更多行業(yè)帶來 OpenUSD互操作性與高級創(chuàng)作能力。

為幫助更多使用 OpenUSD的工業(yè)工作負載，NVIDIA與全球工業(yè)自動化和軟件領(lǐng)先者西門子正在擴大合作。西門子將把OpenUSD 流水線與其Simcenter仿真技術(shù)組合集成，以支持基于證據(jù)的決策和關(guān)鍵利益相關(guān)方之間的協(xié)作。

該集成可實現(xiàn)復雜仿真數(shù)據(jù)的高保真、實時、逼真可視化，讓企業(yè)能夠更加深入地了解產(chǎn)品在實際操作環(huán)境中的性能。西門子將把Omniverse納入到其Teamcenter 產(chǎn)品生命周期管理軟件組合中，為這項工作打好基礎。

NVIDIA還發(fā)布了一個從統(tǒng)一機器人描述格式（Unified Robotics Description Format）到OpenUSD的連接器，讓機器人專家能夠?qū)⑺麄兊臋C器人數(shù)據(jù)無縫導入到用于設計、仿真和強化學習等用途的各種應用中。

為了進一步推動OpenUSD生態(tài)系統(tǒng)的擴張，NVIDIA發(fā)布了OpenUSD Exchange軟件開發(fā)套件，幫助開發(fā)者創(chuàng)建出自己的強大OpenUSD數(shù)據(jù)連接器。

新的開發(fā)者工具和API可通過NVIDIA Graphics Delivery Network（GDN），將大規(guī)模OpenUSD場景從基于Omniverse平臺構(gòu)建的應用流式傳輸?shù)?。目前，這些新工具和API提供搶先體驗版本。

皮克斯首席技術(shù)官兼 OpenUSD 聯(lián)盟（AOUSD）主席 Steve May 表示：“OpenUSD 正在徹底改變我們創(chuàng)建3D內(nèi)容并與之互動的方式?，F(xiàn)在，借助NVIDIA為OpenUSD打造的這些新服務和API，我們有望看到USD以更快的速度增長和普及，這將為新用戶和行業(yè)更輕松地參與我們的生態(tài)系統(tǒng)鋪平道路。”

OpenUSD生態(tài)系統(tǒng)的發(fā)展勢頭

去年，NVIDIA與皮克斯、Adobe、蘋果和Autodesk 共同創(chuàng)立了OpenUSD聯(lián)盟，并通過OpenUSD聯(lián)盟與其他伙伴一起發(fā)布了 OpenUSD 的新版本、OpenUSD 核心規(guī)范的進展以及新成員的加入情況。

供貨情況

NVIDIA API目錄現(xiàn)在提供USD Search、USD Code 和 USD Validate NIM微服務的預覽版。OpenUSD - URDF連接器現(xiàn)已與?NVIDIA Isaac Sim?一起提供。

開發(fā)者可以使用全新Omniverse開發(fā)者工具和參考工作流，將生成式AI集成到OpenUSD工作流中，使用OpenUSD構(gòu)建生成式AI賦能的合成數(shù)據(jù)管線。

觀看NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛于計算機圖形會議SIGGRAPH上進行的爐邊談話，進一步了解生成式AI和加速計算領(lǐng)域的最新進展。