1776
一年一度的計(jì)算機(jī)圖形學(xué)頂級(jí)會(huì)議SIGGRAPH上，英偉達(dá)宣布了一系列重要進(jìn)展：比如通用場(chǎng)景描述（OpenUSD）的擴(kuò)大應(yīng)用，能夠提高開(kāi)發(fā)者構(gòu)建高精度虛擬世界的能力；簡(jiǎn)化AI模型部署的NIM，可為開(kāi)發(fā)人員和企業(yè)提供易于集成和優(yōu)化的解決方案；提出系統(tǒng)化擴(kuò)展機(jī)器人數(shù)據(jù)的方法，有望打破人形機(jī)器人訓(xùn)練在數(shù)據(jù)量、時(shí)間、空間等方面的限制，從而加速人形機(jī)器人的發(fā)展。
此外，英偉達(dá)創(chuàng)始人兼CEO 黃仁勛，與Meta創(chuàng)始人兼 CEO馬克·扎克伯格，以及《連線》雜志高級(jí)作家勞倫·古德的兩場(chǎng)爐邊談話，主要探討了加速計(jì)算和生成式AI如何轉(zhuǎn)變行業(yè)，也引發(fā)了廣泛關(guān)注。
通用場(chǎng)景描述（OpenUSD）技術(shù)和生態(tài)持續(xù)突破
英偉達(dá)的故事始于通用計(jì)算，并在圖形行業(yè)取得了重要進(jìn)展，如3D、光線追蹤和可編程著色等。
在這次的SIGGRAPH上，英偉達(dá)研究團(tuán)隊(duì)展示了超過(guò)20篇研究論文，其中兩篇獲得了最佳論文技術(shù)獎(jiǎng)，展示了AI如何通過(guò)提高圖像質(zhì)量和解鎖新的3D方法使仿真變得更好；同時(shí)，仿真也使AI變得更好，通過(guò)更好的合成數(shù)據(jù)生成器和更多其他方式來(lái)訓(xùn)練下一代模型。
在通用場(chǎng)景描述（OpenUSD）方面，英偉達(dá)擴(kuò)大了這一通用3D數(shù)據(jù)交換框架在機(jī)器人、工業(yè)設(shè)計(jì)和工程領(lǐng)域的應(yīng)用，提高了開(kāi)發(fā)者為AI新一輪發(fā)展構(gòu)建高精度虛擬世界的能力。
新推出的內(nèi)容包括適用于AI模型的NVIDIA NIM微服務(wù)，這些微服務(wù)可生成回答用戶查詢的OpenUSD語(yǔ)言、生成OpenUSD Python代碼、將材質(zhì)應(yīng)用于3D物體、理解3D空間和物理學(xué)以幫助加快數(shù)字孿生的開(kāi)發(fā)等。其他還包括可用于機(jī)器人和工業(yè)仿真數(shù)據(jù)格式的全新USD連接器，以及各種開(kāi)發(fā)者工具，用戶可通過(guò)它們將海量RTX全光線追蹤數(shù)據(jù)集傳輸?shù)紸pple Vision Pro。
通過(guò)NIM微服務(wù)，英偉達(dá)將生成式AI應(yīng)用于OpenUSD開(kāi)發(fā)，為開(kāi)發(fā)者提供了一系列智能工具。這些工具包括代碼生成、搜索、驗(yàn)證等功能，旨在加速OpenUSD在制造業(yè)、汽車(chē)和機(jī)器人等領(lǐng)域的應(yīng)用。預(yù)覽版中已有USD Code、Search、Validate微服務(wù)，未來(lái)還將推出更多如Layout、SmartMaterial、Mesh Generation等，以進(jìn)一步拓寬3D世界的應(yīng)用邊界，提升開(kāi)發(fā)效率和創(chuàng)意實(shí)現(xiàn)能力。
NVIDIA Omniverse與仿真技術(shù)副總裁Rev Lebaredian表示：“重工業(yè)的生成式AI潮已經(jīng)到來(lái)。直到最近，數(shù)字世界的主要用戶還是創(chuàng)意行業(yè)；而現(xiàn)在，借助NVIDIA NIM微服務(wù)為OpenUSD帶來(lái)的增強(qiáng)功能和可訪問(wèn)性，各個(gè)行業(yè)都可以創(chuàng)建基于物理學(xué)的虛擬世界和數(shù)字孿生，在加快創(chuàng)新的同時(shí)，為機(jī)器人這次新一輪AI技術(shù)熱潮做好準(zhǔn)備?！?/p>
隨著USD連接器擴(kuò)展了OpenUSD的互操作性和創(chuàng)作能力、覆蓋更多行業(yè)的同時(shí)，OpenUSD生態(tài)系統(tǒng)也在不斷壯大。
富士康作為全球制造業(yè)巨頭，目前已經(jīng)利用英偉達(dá)的計(jì)算平臺(tái)、NIM微服務(wù)和Omniverse創(chuàng)建了數(shù)字孿生工廠，加速工業(yè)制造和自主機(jī)器發(fā)展。WPP作為營(yíng)銷(xiāo)服務(wù)公司，也在借助USD Search和USD Code NIM微服務(wù)，在Omniverse平臺(tái)上加速生成式AI內(nèi)容創(chuàng)作，為可口可樂(lè)等客戶提供創(chuàng)新服務(wù)。雙方均表示這些技術(shù)提升了工作效率，并鞏固了他們?cè)贠penUSD等標(biāo)準(zhǔn)上的投資。
同時(shí)，英偉達(dá)與西門(mén)子合作，將OpenUSD集成到其仿真技術(shù)Simcenter中，提升工業(yè)工作負(fù)載的效率。該集成可實(shí)現(xiàn)復(fù)雜仿真數(shù)據(jù)的高保真、實(shí)時(shí)、逼真可視化，讓企業(yè)能夠更加深入地了解產(chǎn)品在實(shí)際操作環(huán)境中的性能。據(jù)了解，西門(mén)子將把Omniverse納入其Teamcenter 產(chǎn)品生命周期管理軟件組合中，為這項(xiàng)工作打好基礎(chǔ)。
英偉達(dá)還發(fā)布了一個(gè)從統(tǒng)一機(jī)器人描述格式（Unified Robotics Description Format）到OpenUSD的連接器，讓機(jī)器人專家能夠?qū)⑺麄兊臋C(jī)器人數(shù)據(jù)無(wú)縫導(dǎo)入到用于設(shè)計(jì)、仿真和強(qiáng)化學(xué)習(xí)等用途的各種應(yīng)用中。
為了進(jìn)一步推動(dòng)OpenUSD生態(tài)系統(tǒng)的擴(kuò)張，英偉達(dá)還發(fā)布了OpenUSD Exchange軟件開(kāi)發(fā)套件，幫助開(kāi)發(fā)者創(chuàng)建出自己的強(qiáng)大OpenUSD數(shù)據(jù)連接器。
皮克斯首席技術(shù)官兼 OpenUSD 聯(lián)盟（AOUSD）主席 Steve May 表示：“OpenUSD 正在徹底改變我們創(chuàng)建3D內(nèi)容并與之互動(dòng)的方式?，F(xiàn)在，借助英偉達(dá)為OpenUSD打造的這些新服務(wù)和API，我們有望看到USD以更快的速度增長(zhǎng)和普及，這將為新用戶和行業(yè)更輕松地參與我們的生態(tài)系統(tǒng)鋪平道路?！?/p>
全新NIM微服務(wù)加速人形機(jī)器人發(fā)展
數(shù)據(jù)集是人工智能算法訓(xùn)練的關(guān)鍵要素，人形機(jī)器人的數(shù)據(jù)集不足一直是行業(yè)的痛點(diǎn)之一，因?yàn)橛?xùn)練人形機(jī)器人基礎(chǔ)模型需要大量數(shù)據(jù)，而遠(yuǎn)程操作獲取演示數(shù)據(jù)成本高且耗時(shí)長(zhǎng)。
英偉達(dá)最新提出的系統(tǒng)化擴(kuò)展機(jī)器人數(shù)據(jù)的方法，有望解決行業(yè)痛點(diǎn)，加速機(jī)器人算法迭代和智能化提升。在SIGGRAPH大會(huì)上，英偉達(dá)展示了利用AI和Omniverse從少量遠(yuǎn)程捕捉生成大量合成數(shù)據(jù)的參考工作流，結(jié)合Isaac Sim和MimicGen NIM微服務(wù)生成合成數(shù)據(jù)集，降低訓(xùn)練成本和時(shí)間。同時(shí)，Robocasa NIM和OSMO服務(wù)進(jìn)一步優(yōu)化訓(xùn)練流程，減少管理負(fù)擔(dān)。
其中，NIM微服務(wù)可縮短部署時(shí)間至幾分鐘，通過(guò)MimicGen和Robocasa生成合成運(yùn)動(dòng)數(shù)據(jù)和仿真環(huán)境；OSMO作為云原生服務(wù)，簡(jiǎn)化訓(xùn)練和仿真流程，可將開(kāi)發(fā)周期縮短至一周內(nèi)，支持可視化管理和多種機(jī)器人開(kāi)發(fā)任務(wù)。
通過(guò)這一系列相關(guān)技術(shù)，有望打破人形機(jī)器人訓(xùn)練在數(shù)據(jù)量，時(shí)間、空間的限制。并且，英偉達(dá)構(gòu)建的業(yè)內(nèi)生態(tài)，助力初創(chuàng)機(jī)器人企業(yè)縮短開(kāi)發(fā)周期，為行業(yè)注入活力。
據(jù)介紹，英偉達(dá)擴(kuò)大人形機(jī)器人開(kāi)發(fā)者技術(shù)的訪問(wèn)渠道主要包括三個(gè)計(jì)算平臺(tái)，分別是：用于訓(xùn)練模型的 NVIDIA AI 超級(jí)計(jì)算機(jī)；基于 Omniverse 構(gòu)建的 NVIDIA Isaac Sim，使機(jī)器人可以在仿真世界中學(xué)習(xí)和完善技能；以及用于運(yùn)行模型的 NVIDIA Jetson Thor人形機(jī)器人計(jì)算機(jī)。開(kāi)發(fā)者可以根據(jù)具體需求來(lái)訪問(wèn)和使用全部平臺(tái)或其中的任何部分。
通過(guò)新開(kāi)發(fā)者計(jì)劃，開(kāi)發(fā)者可提前獲取新產(chǎn)品及最新軟件版本，首批企業(yè)已加入，包括1x、波士頓動(dòng)力公司、字節(jié)跳動(dòng)ByteDance Research、Field AI、Figure、傅利葉、銀河通用、逐際動(dòng)力、Mentee、Neura Robotics、星動(dòng)紀(jì)元和 Skild AI。開(kāi)發(fā)者現(xiàn)可加入計(jì)劃，訪問(wèn)OSMO、Isaac Lab，并將獲得NIM微服務(wù)訪問(wèn)權(quán)。
黃仁勛強(qiáng)調(diào)，人形機(jī)器人是AI新浪潮的亮點(diǎn)，開(kāi)放機(jī)器人技術(shù)棧，可助力開(kāi)發(fā)者利用高效平臺(tái)與資源。
助力企業(yè)打造更為強(qiáng)大的生成式AI
在與《連線》雜志高級(jí)作家勞倫·古德的爐邊談話中，黃仁勛表示，深度植根于視覺(jué)計(jì)算的生成式AI正在增強(qiáng)人類的創(chuàng)造力，而加速計(jì)算有望顯著提高能源效率。他指出，加速計(jì)算可以節(jié)省20倍甚至50倍的能耗，而且能完成同樣的處理工作。
在和馬克·扎克伯格的對(duì)談中，他們探討了開(kāi)源AI和AI助手的變革潛力。馬克·扎克伯格表示，隨著模型變得更大、更通用，合作是取得更多進(jìn)步的關(guān)鍵，正如他近期在博客文章中寫(xiě)到的：Llama 3.1有望成為開(kāi)源AI的“轉(zhuǎn)折點(diǎn)”。
黃仁勛也認(rèn)為，這是一件令人興奮的事情。目前，英偉達(dá)擁有完整的生態(tài)系統(tǒng)，包括OEM合作伙伴等，他們可以運(yùn)行NIM，也可以合作并創(chuàng)建基于Llama的GSI。英偉達(dá)正在幫助全球的企業(yè)進(jìn)行這樣的操作，助力他們將各自的AI能力和數(shù)據(jù)、經(jīng)驗(yàn)等進(jìn)行結(jié)合，加快生成式AI的落地部署。
他預(yù)言，未來(lái)，人與AI的互動(dòng)將變得更加流暢，而不僅僅是基于文本交互，也不會(huì)像今天一樣是一來(lái)一回的模式，它將來(lái)會(huì)考慮多個(gè)選項(xiàng)，生成一個(gè)選項(xiàng)樹(shù)，并模擬結(jié)果，變得更加強(qiáng)大。
下載ECAD模型
