NVIDIA Isaac Sim 採用 Omniverse 基礎打造機器人模擬應用程式並已進入公開測試階段

採用 NVIDIA Omniverse 平台為基礎的 Isaac Sim，是一款機器人模擬應用程式與產生合成資料的工具。機器人專家可以透過這項工具，逼真模擬機器人與環境互動的情況，而這些模擬環境範圍甚至可以超越真實環境中可能出現的情況，以便更有效率地訓練及測試機器人。

新版本的 Isaac Sim 功能還加入支援多台攝影機和感測器，以及一個 PTC OnShape CAD 匯入器，以便更輕易地匯入 3D 資產。這些新功能將擴大機器人與環境的範圍，讓用戶順利建立模型並部署在各個領域，包含從設計與開發實體機器人，接著加以訓練，再部署到「數位孿生」環境中，在極為精確和逼真的虛擬環境中模擬與測試機器人。

主要的全新功能

• 支援多台攝影機
• 搭配合成資料的魚眼攝影機
• 支援 ROS2
• PTC OnShape 匯入器
• 更強大的感測器支援能力
  超音波感測器
  力感測器
  客製化光達模式
• 可以從 NVIDIA Omniverse Launcher 下載
  

圖一_Isaac Sim 將多台攝影機感測器的資料傳送到 Rviz (ROS 視覺化工具)


圖二_在 Isaac Sim 中控制Dofbot Manipulation Robot


Isaac Sim 讓更多的機器人模擬作業變成可能

開發人員早已了解在一個強大的模擬環境中，測試和訓練機器人的優點。但很多時候，這些模擬器也都有使用上的限制，而 Isaac Sim 透過以下優勢克服了這些問題。

• 逼真的模擬畫面：Isaac Sim 透過 Omniverse 平台的強大技術，包括使用 PhysX 5 的先進 GPU 物理模擬、搭配即時光線與路徑追蹤技術的逼真畫面，以及支援材質定義語言 (MDL) 以建立符合物理條件的渲染畫面，創造出栩栩如生的機器人模擬環境。
• 配合廣泛應用項目的模組化設計：開發 Isaac Sim 的目的在於解決許多最常見的機器人使用範例，包括操作、自主導航和產生合成訓練資料。用戶可以透過 Isaac Sim 的模組化設計，輕鬆配合眾多應用項目及環境來自訂和擴展工具集。
• 流暢的連接性及互通性：Isaac Sim 借助 Omniverse Nucleus 和 Omniverse Connectors，在通用場景描述 (USD) 中以協作方式建立、分享與匯入環境和機器人模型。透過 Isaac SDK 及 ROS/ROS2 介面、功能完整的 Python 腳本、用於匯入機器人和環境模型的外掛程式，輕鬆將機器人的大腦與虛擬世界串連起來。
  

在 Isaac Sim Bootstraps 機器學習中產生合成資料

使用產生合成資料這項重要工具來訓練目前機器人中感知模型的比例愈來愈高。從真實環境裡取得資料並正確加上標記，是一件費時且成本高昂的事。但在訓練機器人時，許多所需的資料難以在現實環境裡取得，或是取得的過程太危險，這對於必須與人類近距離操作的機器人來說更是如此。

Isaac Sim 內建支援多種感測器，這對訓練感知模型來說非常重要。這些感測器包括 RGB、深度、邊界框和分類。


圖三_符合玻璃物體的真實合成資料

在這次的公開測試版本中，能夠使用 KITTI 格式輸出合成資料。這些資料可以直接搭配 NVIDIA 遷移學習工具套件 (Transfer Learning Toolkit)，加上特定使用案例的資料來提高模型效能。


域隨機化

域隨機化 (domain randomization) 會改變定義模擬場景的參數，像是場景中材質的照明、顏色和紋理。使用域隨機化這項技術的主要目的之一，是讓神經網路在模擬環境中接觸各種領域參數 (domain parameters)，以提高機器學習模型的訓練結果。這將有助於模型在遇到真實世界的場景時，有效進行歸納推理。事實上，這項技術有助於教導模型什麼該被忽略。


圖四_工廠場景的域隨機化

Isaac Sim 可以隨機調整定義特定場景的多種屬性。借助這些功能，機器學習工程師便能確保合成資料集裡的多樣性將足以推動強大的模型效能。

可隨機調整的參數

顏色	移動
比例	照明
紋理	材質
網格	可視性
旋轉

在 Isaac Sim 公測版本中，我們強化了域隨機化的能力，讓使用者可以定義一個進行隨機化的區域。

開發人員現在可以在場景中沿著一個要進行隨機化的區域畫出一個方框，而場景的其他部分將維持不動。請參考此影片。

更多關於 Isaac Sim 的資訊，可查詢 GTC 2021 大會中關於 Isaac Sim 的最新內容：Sim-to-Real。