英偉達在SIGGRAPH 2024：已推動生成式AI成為一個時代

一年一度的計算機圖形學(xué)頂級會議SIGGRAPH上，英偉達宣布了一系列重要進展：比如通用場景描述（OpenUSD）的擴大應(yīng)用，能夠提高開發(fā)者構(gòu)建高精度虛擬世界的能力；簡化AI模型部署的NIM，可為開發(fā)人員和企業(yè)提供易于集成和優(yōu)化的解決方案；提出系統(tǒng)化擴展機器人數(shù)據(jù)的方法，有望打破人形機器人訓(xùn)練在數(shù)據(jù)量、時間、空間等方面的限制，從而加速人形機器人的發(fā)展。

此外，英偉達創(chuàng)始人兼CEO 黃仁勛，與Meta創(chuàng)始人兼 CEO馬克·扎克伯格，以及《連線》雜志高級作家勞倫·古德的兩場爐邊談話，主要探討了加速計算和生成式AI如何轉(zhuǎn)變行業(yè)，也引發(fā)了廣泛關(guān)注。

通用場景描述（OpenUSD）技術(shù)和生態(tài)持續(xù)突破

英偉達的故事始于通用計算，并在圖形行業(yè)取得了重要進展，如3D、光線追蹤和可編程著色等。

在這次的SIGGRAPH上，英偉達研究團隊展示了超過20篇研究論文，其中兩篇獲得了最佳論文技術(shù)獎，展示了AI如何通過提高圖像質(zhì)量和解鎖新的3D方法使仿真變得更好；同時，仿真也使AI變得更好，通過更好的合成數(shù)據(jù)生成器和更多其他方式來訓(xùn)練下一代模型。

在通用場景描述（OpenUSD）方面，英偉達擴大了這一通用3D數(shù)據(jù)交換框架在機器人、工業(yè)設(shè)計和工程領(lǐng)域的應(yīng)用，提高了開發(fā)者為AI新一輪發(fā)展構(gòu)建高精度虛擬世界的能力。

新推出的內(nèi)容包括適用于AI模型的NVIDIA NIM微服務(wù)，這些微服務(wù)可生成回答用戶查詢的OpenUSD語言、生成OpenUSD Python代碼、將材質(zhì)應(yīng)用于3D物體、理解3D空間和物理學(xué)以幫助加快數(shù)字孿生的開發(fā)等。其他還包括可用于機器人和工業(yè)仿真數(shù)據(jù)格式的全新USD連接器，以及各種開發(fā)者工具，用戶可通過它們將海量RTX全光線追蹤數(shù)據(jù)集傳輸?shù)紸pple Vision Pro。

通過NIM微服務(wù)，英偉達將生成式AI應(yīng)用于OpenUSD開發(fā)，為開發(fā)者提供了一系列智能工具。這些工具包括代碼生成、搜索、驗證等功能，旨在加速OpenUSD在制造業(yè)、汽車和機器人等領(lǐng)域的應(yīng)用。預(yù)覽版中已有USD Code、Search、Validate微服務(wù)，未來還將推出更多如Layout、SmartMaterial、Mesh Generation等，以進一步拓寬3D世界的應(yīng)用邊界，提升開發(fā)效率和創(chuàng)意實現(xiàn)能力。

NVIDIA Omniverse與仿真技術(shù)副總裁Rev Lebaredian表示：“重工業(yè)的生成式AI潮已經(jīng)到來。直到最近，數(shù)字世界的主要用戶還是創(chuàng)意行業(yè)；而現(xiàn)在，借助NVIDIA NIM微服務(wù)為OpenUSD帶來的增強功能和可訪問性，各個行業(yè)都可以創(chuàng)建基于物理學(xué)的虛擬世界和數(shù)字孿生，在加快創(chuàng)新的同時，為機器人這次新一輪AI技術(shù)熱潮做好準(zhǔn)備?！?/p>

隨著USD連接器擴展了OpenUSD的互操作性和創(chuàng)作能力、覆蓋更多行業(yè)的同時，OpenUSD生態(tài)系統(tǒng)也在不斷壯大。

富士康作為全球制造業(yè)巨頭，目前已經(jīng)利用英偉達的計算平臺、NIM微服務(wù)和Omniverse創(chuàng)建了數(shù)字孿生工廠，加速工業(yè)制造和自主機器發(fā)展。WPP作為營銷服務(wù)公司，也在借助USD Search和USD Code NIM微服務(wù)，在Omniverse平臺上加速生成式AI內(nèi)容創(chuàng)作，為可口可樂等客戶提供創(chuàng)新服務(wù)。雙方均表示這些技術(shù)提升了工作效率，并鞏固了他們在OpenUSD等標(biāo)準(zhǔn)上的投資。

同時，英偉達與西門子合作，將OpenUSD集成到其仿真技術(shù)Simcenter中，提升工業(yè)工作負載的效率。該集成可實現(xiàn)復(fù)雜仿真數(shù)據(jù)的高保真、實時、逼真可視化，讓企業(yè)能夠更加深入地了解產(chǎn)品在實際操作環(huán)境中的性能。據(jù)了解，西門子將把Omniverse納入其Teamcenter 產(chǎn)品生命周期管理軟件組合中，為這項工作打好基礎(chǔ)。

英偉達還發(fā)布了一個從統(tǒng)一機器人描述格式（Unified Robotics Description Format）到OpenUSD的連接器，讓機器人專家能夠?qū)⑺麄兊臋C器人數(shù)據(jù)無縫導(dǎo)入到用于設(shè)計、仿真和強化學(xué)習(xí)等用途的各種應(yīng)用中。

為了進一步推動OpenUSD生態(tài)系統(tǒng)的擴張，英偉達還發(fā)布了OpenUSD Exchange軟件開發(fā)套件，幫助開發(fā)者創(chuàng)建出自己的強大OpenUSD數(shù)據(jù)連接器。

皮克斯首席技術(shù)官兼 OpenUSD 聯(lián)盟（AOUSD）主席 Steve May 表示：“OpenUSD 正在徹底改變我們創(chuàng)建3D內(nèi)容并與之互動的方式?，F(xiàn)在，借助英偉達為OpenUSD打造的這些新服務(wù)和API，我們有望看到USD以更快的速度增長和普及，這將為新用戶和行業(yè)更輕松地參與我們的生態(tài)系統(tǒng)鋪平道路。”

全新NIM微服務(wù)加速人形機器人發(fā)展

數(shù)據(jù)集是人工智能算法訓(xùn)練的關(guān)鍵要素，人形機器人的數(shù)據(jù)集不足一直是行業(yè)的痛點之一，因為訓(xùn)練人形機器人基礎(chǔ)模型需要大量數(shù)據(jù)，而遠程操作獲取演示數(shù)據(jù)成本高且耗時長。

英偉達最新提出的系統(tǒng)化擴展機器人數(shù)據(jù)的方法，有望解決行業(yè)痛點，加速機器人算法迭代和智能化提升。在SIGGRAPH大會上，英偉達展示了利用AI和Omniverse從少量遠程捕捉生成大量合成數(shù)據(jù)的參考工作流，結(jié)合Isaac Sim和MimicGen NIM微服務(wù)生成合成數(shù)據(jù)集，降低訓(xùn)練成本和時間。同時，Robocasa NIM和OSMO服務(wù)進一步優(yōu)化訓(xùn)練流程，減少管理負擔(dān)。

其中，NIM微服務(wù)可縮短部署時間至幾分鐘，通過MimicGen和Robocasa生成合成運動數(shù)據(jù)和仿真環(huán)境；OSMO作為云原生服務(wù)，簡化訓(xùn)練和仿真流程，可將開發(fā)周期縮短至一周內(nèi)，支持可視化管理和多種機器人開發(fā)任務(wù)。

通過這一系列相關(guān)技術(shù)，有望打破人形機器人訓(xùn)練在數(shù)據(jù)量，時間、空間的限制。并且，英偉達構(gòu)建的業(yè)內(nèi)生態(tài)，助力初創(chuàng)機器人企業(yè)縮短開發(fā)周期，為行業(yè)注入活力。

據(jù)介紹，英偉達擴大人形機器人開發(fā)者技術(shù)的訪問渠道主要包括三個計算平臺，分別是：用于訓(xùn)練模型的 NVIDIA AI 超級計算機；基于 Omniverse 構(gòu)建的 NVIDIA Isaac Sim，使機器人可以在仿真世界中學(xué)習(xí)和完善技能；以及用于運行模型的 NVIDIA Jetson Thor人形機器人計算機。開發(fā)者可以根據(jù)具體需求來訪問和使用全部平臺或其中的任何部分。

通過新開發(fā)者計劃，開發(fā)者可提前獲取新產(chǎn)品及最新軟件版本，首批企業(yè)已加入，包括1x、波士頓動力公司、字節(jié)跳動ByteDance Research、Field AI、Figure、傅利葉、銀河通用、逐際動力、Mentee、Neura Robotics、星動紀元和 Skild AI。開發(fā)者現(xiàn)可加入計劃，訪問OSMO、Isaac Lab，并將獲得NIM微服務(wù)訪問權(quán)。

黃仁勛強調(diào)，人形機器人是AI新浪潮的亮點，開放機器人技術(shù)棧，可助力開發(fā)者利用高效平臺與資源。

助力企業(yè)打造更為強大的生成式AI

在與《連線》雜志高級作家勞倫·古德的爐邊談話中，黃仁勛表示，深度植根于視覺計算的生成式AI正在增強人類的創(chuàng)造力，而加速計算有望顯著提高能源效率。他指出，加速計算可以節(jié)省20倍甚至50倍的能耗，而且能完成同樣的處理工作。

在和馬克·扎克伯格的對談中，他們探討了開源AI和AI助手的變革潛力。馬克·扎克伯格表示，隨著模型變得更大、更通用，合作是取得更多進步的關(guān)鍵，正如他近期在博客文章中寫到的：Llama 3.1有望成為開源AI的“轉(zhuǎn)折點”。

黃仁勛也認為，這是一件令人興奮的事情。目前，英偉達擁有完整的生態(tài)系統(tǒng)，包括OEM合作伙伴等，他們可以運行NIM，也可以合作并創(chuàng)建基于Llama的GSI。英偉達正在幫助全球的企業(yè)進行這樣的操作，助力他們將各自的AI能力和數(shù)據(jù)、經(jīng)驗等進行結(jié)合，加快生成式AI的落地部署。

他預(yù)言，未來，人與AI的互動將變得更加流暢，而不僅僅是基于文本交互，也不會像今天一樣是一來一回的模式，它將來會考慮多個選項，生成一個選項樹，并模擬結(jié)果，變得更加強大。