NVIDIA發布適用于OpenUSD語言、幾何體、物理學和材質的生成式AI模型與NIM微服務
2024-07-31
來源:極客公園
NVIDIA 于 2024 年 7 月 30 日發布通用場景描述(OpenUSD)的重大成果。這將擴大這一通用 3D 數據交換框架在機器人、工業設計和工程領域的應用,提高開發者為 AI 新一輪發展構建高精度虛擬世界的能力。
通過基于 OpenUSD 的全新生成式 AI,以及在 NVIDIA Omniverse 平臺構建的 NVIDIA 加速的開發框架,越來越多的行業現在能夠開發出用于可視化工業設計和工程項目的應用,以及用于構建新一代物理 AI 和機器人的環境仿真的應用。
新推出的內容包括適用于 AI 模型的 NVIDIA NIM™微服務,這些微服務可生成回答用戶查詢的 OpenUSD 語言、生成 OpenUSD Python 代碼、將材質應用于 3D 物體、理解 3D 空間和物理學以幫助加快數字孿生的開發等。其他還包括可用于機器人和工業仿真數據格式的全新 USD 連接器,以及各種開發者工具,用戶可通過它們將海量 NVIDIA RTX™全光線追蹤數據集傳輸到 Apple Vision Pro。
NVIDIA Omniverse 與仿真技術副總裁 Rev Lebaredian 表示:「重工業的生成式 AI 潮已經到來。直到最近,數字世界的主要用戶還是創意行業;而現在,借助 NVIDIA NIM 微服務為 OpenUSD 帶來的增強功能和可訪問性,各個行業都可以創建基于物理學的虛擬世界和數字孿生,在加快創新的同時,為機器人這次新一輪 AI 技術熱潮做好準備。」
通過 NVIDIA NIM 將生成式AI應用于 USD
NVIDIA 開發的全球首個用于 OpenUSD 開發的生成式 AI 模型將以 NVIDIA NIM 微服務的形式提供。借助這些模型,開發者能夠將生成式 AI copilot 和智能體整合到 USD 工作流中,拓寬 3D 世界的可能性,幫助加快 USD 在制造業、汽車行業和機器人等新工業領域的應用。
預覽版中的微服務包括:
USD CodeNIM 微服務:回答常識性 OpenUSD 問題,并基于文本提示自動生成 OpenUSD-Python 代碼,然后將其輸入到 OpenUSD 查看應用程序(例如皮克斯的 USDView)或基于 NVIDIA Omniverse Kit 的應用,以實現相應 3D 數據的可視化。
USD Search NIM 微服務:使開發者能夠使用自然語言或圖像輸入,在海量 OpenUSD、3D 和圖像數據庫中進行搜索。
USD Validate NIM 微服務:檢查上傳文件與 OpenUSD 發布版本的兼容性,并生成完全由 NVIDIA Omniverse Cloud API(應用編程接口)驅動的 RTX 渲染路徑追蹤圖像。
即將提供的新微服務包括:
USD Layout NIM 微服務:使用戶能夠基于空間智能,根據一系列文本提示組裝出基于 OpenUSD 的場景。
USD SmartMaterial NIM 微服務:預測并將逼真的材料應用于計算機輔助設計對象。
fVDBMesh Generation NIM 微服務:根據點云數據生成基于 OpenUSD 的網絡,并通過 Omniverse Cloud API 進行渲染。
fVDB Physics Super-Res NIM 微服務:對幀或幀序列執行 AI 超分辨率,生成基于 OpenUSD 的高分辨率物理仿真。
fVDB NeRF-XL NIM 微服務:使用 Omniverse Cloud API 在 OpenUSD 中生成大規模神經輻射場。
Foxconn 是全球制造業的領導者,在全球擁有 170 多家工廠,受益于 NVIDIA 的計算平臺,利用 NIM 微服務和 Omniverse 為一家正在開發中的工廠創建了數字孿生。
Foxconn 首席數字官兼智能制造平臺負責人史喆表示:「數字孿生將幫助我們加速新一波工業制造和自主機器的發展。NVIDIA Omniverse 和全新的 NIM 微服務將使數字孿生的開發變得更加普及,并幫助我們的團隊以前所未有的速度構建基于物理的虛擬工廠。」
全球領先的營銷與傳播服務公司 WPP 是 USD Search 和 USD Code NIM 微服務的早期用戶之一。該公司將這些微服務用于其基于 NVIDIA Omniverse 構建的生成式 AI 內容創建管線中,為可口可樂公司等客戶提供服務。
WPP 首席技術官 Stephan Pretorius 表示:「這些創新的美妙之處在于它與我們的工作方式高度兼容,并充分利用了開放標準。這不僅加速了未來的工作,而且使我們能夠繼續鞏固和擴展我們之前在 OpenUSD 等標準上的所有投資。通過使用 NVIDIA NIM 微服務與 NVIDIA Omniverse,我們能夠以前所未有的速度與可口可樂公司等企業聯合推出創新的新生產工具。」
USD 連接器為更多行業帶來生成式AI
多款適用于機器人數據格式和 Apple Vision Pro 流式傳輸的全新 USD 連接器將為更多行業帶來 OpenUSD 互操作性與高級創作能力。
為幫助更多使用 OpenUSD 的工業工作負載,NVIDIA 與全球工業自動化和軟件領先者西門子正在擴大合作。西門子將把 OpenUSD 流水線與其 Simcenter 仿真技術組合集成,以支持基于證據的決策和關鍵利益相關方之間的協作。
該集成可實現復雜仿真數據的高保真、實時、逼真可視化,讓企業能夠更加深入地了解產品在實際操作環境中的性能。西門子將把 Omniverse 納入到其 Teamcenter 產品生命周期管理軟件組合中,為這項工作打好基礎。
NVIDIA 還發布了一個從統一機器人描述格式(Unified Robotics Description Format)到 OpenUSD 的連接器,讓機器人專家能夠將他們的機器人數據無縫導入到用于設計、仿真和強化學習等用途的各種應用中。
為了進一步推動 OpenUSD 生態系統的擴張,NVIDIA 發布了 OpenUSD Exchange 軟件開發套件,幫助開發者創建出自己的強大 OpenUSD 數據連接器。
新的開發者工具和 API 可通過 NVIDIA Graphics Delivery Network(GDN),將大規模 OpenUSD 場景從基于 Omniverse 平臺構建的應用流式傳輸到。目前,這些新工具和 API 提供搶先體驗版本。
皮克斯首席技術官兼 OpenUSD 聯盟(AOUSD)主席 Steve May 表示:「OpenUSD 正在徹底改變我們創建 3D 內容并與之互動的方式。現在,借助 NVIDIA 為 OpenUSD 打造的這些新服務和 API,我們有望看到 USD 以更快的速度增長和普及,這將為新用戶和行業更輕松地參與我們的生態系統鋪平道路。」
OpenUSD 生態系統的發展勢頭
去年,NVIDIA 與皮克斯、Adobe、蘋果和 Autodesk 共同創立了 OpenUSD 聯盟,并通過 OpenUSD 聯盟與其他伙伴一起發布了 OpenUSD 的新版本、OpenUSD 核心規范的進展以及新成員的加入情況。
供貨情況
NVIDIA API 目錄現在提供 USD Search、USD Code 和 USD Validate NIM 微服務的預覽版。OpenUSD - URDF 連接器現已與 NVIDIA Isaac Sim™一起提供。
開發者可以使用全新 Omniverse 開發者工具和參考工作流,將生成式 AI 集成到 OpenUSD 工作流中,使用 OpenUSD 構建生成式 AI 賦能的合成數據管線。
與扎克伯格的爐邊談話
在 7 月 30 日,NVIDIA CEO 黃仁勛還舉行了兩場爐邊談話,其中一場受到廣泛關注的,是黃仁勛與 Meta 創始人兼首席執行官馬克·扎克伯格的對談。
在長達一個小時的對談中,黃仁勛和扎克伯格聊到了 Meta 和英偉達在各自領域的工作和未來設想。
扎克伯格和黃仁勛,之所以能走到一起,源自雙方對開源 AI 模型和 AI 未來的認同。Meta 在構建基于英偉達硬件的 Llama 3 大模型時,同時也開源了構建分布式計算基礎設施和數據中心等基礎設施的架構。其中 Open Compute 本身,也使得部署 Nvidia HGX 成為可能,適用于每個數據中心。
通過雙方的攜手,Meta 公司和英偉達公司,能夠共同鑄造行業標準,使所有的供應鏈都按標準組織起來,對雙方的商業目標都有極大的幫助,而同時,雙方的聯手,對整個 AI 社區,也將帶來極大的助益——通過公開和開放,每一為玩家都能受益。
Meta 和 NVIDIA 都是認定的科技技術的長期堅守者和先驅者。黃仁勛在對話中講到:“我知道建立一家公司并不容易,你把你的公司從桌面轉向移動,再到 VR,再到 AI,所有這些設備。真是非常了不起。”
而扎克伯格提到, NVIDIA 曾經沒有跟隨當時看起來很酷的潮流,制造越來越小的設備,而是堅持下去,開發這些可以并行計算的大系統,終于在今天走到了這些技術看起來很酷的時刻。“我們兩個人多年來都被狠狠地打擊過很多次,但這就是想要成為先驅和創新所需要的。”黃仁勛講道。
而在新的 AI 時代,黃仁勛和扎克伯格都終于迎來了屬于自己的巔峰時刻。
- 推薦
- 新聞
- 觀點
- IT/互聯網
- 軟件信息
- CIO
- CDO
- 數字經濟
- 工業互聯網
- 智能制造
- 人工智能
- 戰略
- 研發
- 生產制造
- 運營
- 市場營銷
- 銷售
- 財務
- 人力資源
- IT
推薦
-
11月28日-30日,中國數字化年會將于成都正式開幕,本屆年會以數智萬象 無界新生”為主題,設置2場主論壇、1場高峰論壇、5場專題論壇、4項特色活動、2場頒獎典禮等14項活動,以及2天數字化轉型供需對接展。
-
零次方科技發布了其首款人形機器人,可以在多種不規則路面、復雜地形中長時間穩定行走,且具備優秀的抗干擾性能,即使受到各方向的強沖擊也能保持穩定站立。
-
近日,第四屆“青年科學家502論壇”在南方科技大學舉行,美國國家工程院外籍院士沈向洋做了《通用人工智能時代,我們應該怎樣思考大模型》的主題演講,并給出了他對大模型的10個思考。
-
深度解析Meta Reality Labs的生態布局
-
TeleAI 李學龍團隊提出具身世界模型
-
2024 年 10 月 14 日,第 44 屆中東海灣信息技術展(GITEX Global)在阿聯酋迪拜開幕。紫光股份旗下新華三集團重磅亮相展會,以"精耕務實,為時代賦智慧"為主題,全面展示了公司"云-網-安-算-存-端"的全棧技術能力與國際生態合作成果。
我要評論