目录
1. 介绍
2. 安装软件
3. 基础操作
3.1 程序使用和注意点
3.2 建模,导入模型,属性
4. 遇到的问题
4.1 能否使用Anaconda和Pycharm?
4.2 omni.isaac.core 和 omni.isaac.gym
1. 介绍
Isaac Sim是NVIDIA Omniverse™平台的机器人仿真工具包。Isaac Sim具有构建虚拟机器人世界和实验的基本特性。它为研究人员和从业者提供了他们需要的工具和工作流程,以创建鲁棒的,物理准确的模拟和合成数据集。Isaac Sim通过ROS/ROS2支持导航和操作应用程序。它模拟来自RGB-D、激光雷达和IMU等传感器的传感器数据,用于各种计算机视觉技术,如domain randomization, ground-truth labeling, segmentation, and bounding boxes。
同时,Isaac Sim整合了最新的PhysX和RTX引擎进行物理仿真和图像仿真,引入了Pixar公司开发的usd(Universal Scene Description)描述格式作为机器人和复杂场景的描述方式。并且能够与ROS和ROS2系统进行自由通信。
但是,吸引我使用Isaac Sim的,是其功能包 Isaac Gym 的并行强化学习训练。
Isaac Sim中有一个功能叫做Isaac Gym,它早期是一个独立的实验性程序,后来在Isaac Sim最新发布的版本中合并进入Isaac Sim成为一个插件,这个插件可以让用户同时仿真大量相同的机器人,同时获得这些机器人的运行数据来进行强化学习控制器的训练。
官方Github示例地址:
2. 安装软件
https://developer.nvidia.com/isaac-sim
安装英伟达的Omniverse平台,内部有Isaac Sim核心和已经配置好的Pytorch,Tensorflow环境。
配置要求:
使用Win10系统,32G,3090 24G,启动桌面端后可以占用到20G,3090 8G
3. 基础操作
3.1 程序使用和注意点
主要是一开始使用觉得很迷,没注意到的点。
(1)界面
启动NVIDIA Omniverse Launcher,进入到一下界面,点击LAUNCH。
在Selector界面,可以看到4个常用的Isaac Sim端口:
1. Isaac Sim 桌面端
2. Isaac Sim (Headless Native)
3. Isaac Sim (Headless WebRTC)
4. Isaac Sim (Headless WebSocket)
! 以及常用的 “打开Issac Sim Package 路径”,“启动(该路径的)Terminal” !
其中 C:\Users\24178\AppData\Local\ov\pkg\isaac_sim-2022.2.1路径下可以看到环境使用的python.bat (Windows环境中)
在使用官方的示例库时,需要在示例文件目录下调用该python路径。
C:\Users\24178\AppData\Local\ov\pkg\isaac_sim-2022.2.1\python.bat /rlgames_train.py task=Cartpole
3.2 建模,导入模型,属性
总体和Soildworks等的流程相似,推荐快速浏览一遍教程1. Isaac Sim Interface — Omniverse Robotics documentation。
相关注意点:目前版本的单位被改成了“米”。
4. 遇到的问题
4.1 能否使用Anaconda和Pycharm?
在教程5. Python Environment Installation — Omniverse Robotics documentation中,展示了使用VSCode和Anaconda的方法,其中:
展示了在Ubuntu中使用Anaconda环境,从这可以看出,目前的项目对Win并没有过于详细的介绍。
而对于文件environment.yml,是Anaconda中环境包的保存文件,它同样保存在C:\Users\24178\AppData\Local\ov\pkg\isaac_sim-2022.2.1路径中。
但是其中只有基本的几个库,除了后来安装的OmniIsaacGymEnvs,没有发现omni.isaac.core相关的库。
environment.yml
name: isaac-sim
channels:
- defaults
- pytorch
- nvidia
dependencies:
- python=3.7
- pip
- pytorch
- torchvision
- torchaudio
- cuda-toolkit=11.7
- pip:
- stable-baselines3==1.6.2
- tensorboard==2.11.0
- tensorboard-plugin-wit==1.8.1
- protobuf==3.20.3
4.2 omni.isaac.core 和 omni.isaac.gym
正在梳理。。。
目前的状况是,从Github上安装了OmniIsaacGymEnvs,但在Isaac Sim桌面端的Python script无法调用omni.isaac.gym。
使用命令行运行python.bat可以找到OmniIsaacGymEnvs,能调用omni.isaac.gym,但是找不到omni.isaac.core。