AI Studio PyTorch 环境配置
- 一、进入环境
- 二、配置环境
- 三、快速配置
一、进入环境
可以在 AI Studio 上使用 PyTorch 框架免费的训练自己的数据,只是每次重启 kernel 的时候都要配置一遍环境。我们在之后的内容也会提到解决的方法。不过对于没有 GPU 的小朋友来说简直就是天大的福音。
我们可以进入 AI Studio 的官网中创建项目(AI Studio 官网链接)
点击 “创建项目”,并选择环境。注意这里要选择 “Notebook”。使用 Notebook 才会获得每天免费的 12 小时算力。其他的内容自己填写。然后 先不要点击创建。
点击"创建数据集"
将代码打包成 .zip 格式,并点击上传文件,然后点“下一步”
我们可以发现已经有这个数据集了,然后 点击 “创建”。
点击查看
启动环境
选择高级版,高级版就是使用的 V100 GPU,然后 点击确定
我们可以在切换到终端。即上面的终端 1。
终端没有也可以在上图那点击“新建终端”,创建终端。
解压 code
unzip data/数据集的文件夹/xxx.zip
查看一下 GPU。
nvidia-smi
Sat Mar 28 10:31:14 2020
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 396.37 Driver Version: 396.37 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 Tesla V100-SXM2... On | 00000000:00:07.0 Off | 0 |
| N/A 32C P0 38W / 300W | 0MiB / 16160MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
| No running processes found |
+-----------------------------------------------------------------------------+
二、配置环境
- 新建 .sh 格式的 shell 文件,命名为(env.sh),目的是导入清华源,加快 python 库的安装速度
#!/bin/sh
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --set show_channel_urls yes
- 运行 env.sh
sh env.sh
- 初始化虚拟环境(运行完如下命令需要关闭 shell 再打开)
conda init
- 查看虚拟环境
conda env list
- 创建虚拟环境,或者进入自带的环境
# 创建虚拟环境并进入
conda create -n 虚拟环境名称 python=版本号
conda activate 虚拟环境名称
# 进入自带环境
conda activate 自带环境名称
- 安装 pytorch
进入官网,选择你要安装的 pytorch 版本进行安装。注意 ai studio 使用的默认 cuda 版本 为 9.0。安装时要安装 cuda 版本为 9.0 的 pytorch。具体的 cuda 版本可以通过nvcc -V
查看,安装时和 pytorch 对应就行。
三、快速配置
pytorch 环境在每次重启 kernal 的时候都要配一次,很麻烦。我们可以写一个 shell 脚本,保存起来。保存的文件是不会清除的,每次重启环境我们可以运行 sh env.sh
,脚本会自动配置环境。配置的环境是在默认的自带环境中(python35-paddle120-env)。
env.sh
#!/bin/sh
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --set show_channel_urls yes
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch==1.1.0 torchvision==0.3.0