Google Colab简介

Google Colaboratory是谷歌开放的一款研究工具,主要用于机器学习的开发和研究。这款工具现在可以免费使用。Google Colab最大的好处是给广大的AI开发者提供了免费的GPU使用!GPU型号是Tesla K80!你可以在上面轻松地跑例如:Keras、Tensorflow、Pytorch等框架。

目录

1. Google云端硬盘(Google drive)

2. 关联 Colaboratory

3. 创建 Colaboratory 笔记本

4. 使用 Colaboratory(重点)

5. 挂载Google Drive


1. Google云端硬盘(Google drive)

首先,打开谷歌,登陆你的 Google 账号。

深度学习 共享gpu内存 共享gpu内存怎么用_深度学习 共享gpu内存

登录 Google 账号之后,在页面右上角的 Google 应用里就可进入云端硬盘里。这相当于百度网盘,可以存储我们的文件。

深度学习 共享gpu内存 共享gpu内存怎么用_ubuntu_02

Google 硬盘真是良心啊,每个人都有 15 G 的免费空间可以使用。如果觉得空间不够的话可以升级。

深度学习 共享gpu内存 共享gpu内存怎么用_ubuntu_03

2. 关联 Colaboratory

进入 Google 云端硬盘之后,需要关联 Colaboratory。点击我的云端硬盘 -> 更多 -> 关联更多应用。我已经关联了 Colaboratory。Colaboratory相当于一个云服务器,Ubuntu服务器。内置好了CPU和GPU。

深度学习 共享gpu内存 共享gpu内存怎么用_ubuntu_04

然后,搜索并找到 Colaboratory,然后关联。

深度学习 共享gpu内存 共享gpu内存怎么用_Google_05

这样,Google 云端硬盘就完成了与 Colaboratory 的关联,我们就可以使用 Colaboratory 了。

3. 创建 Colaboratory 笔记本

关联 Colaboratory 之后,新建文件夹(Colab为例)。

深度学习 共享gpu内存 共享gpu内存怎么用_ubuntu_06

然后进入 文件夹,空白处右键点击更多 -> Colaboratory,即可创建 Jupyter Notebook。

深度学习 共享gpu内存 共享gpu内存怎么用_tensorflow_07

通过点击文件名实现重命名,例如重命名为 test.ipynb。

深度学习 共享gpu内存 共享gpu内存怎么用_深度学习 共享gpu内存_08

4. 使用 Colaboratory(重点)

首先是配置 Colaboratory,这一步非常重要也是非常强大的。点击修改 -> 笔记本设置。

深度学习 共享gpu内存 共享gpu内存怎么用_深度学习_09

在笔记本设置中,我们可以选择使用 Python 2 还是 Python 3。更重要的,可以选择使用 GPU 硬件加速。设置完毕后点击保存。

深度学习 共享gpu内存 共享gpu内存怎么用_ubuntu_10

然后,我们就可以在 Jupyter Notebook 里任意写我们的代码和注释文档了。Colaboratory 本身就是一种数据分析工具,可将文字、代码和代码输出内容合并到一个协作文档中。

5. 挂载Google Drive

完成前面的配置,我们可以在Colab里编写代码了。但是我们如何在Colab里访问我们谷歌硬盘里的文件呢。

在Jupyter botebook里输入以下代码:(不要省略前面的感叹号)。

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

运行代码,运行中会提示输入验证码,点击程序给出的网址进行验证即可。

其实完成前面的操作我们就可以在Colab中敲写代码或者输入一些系统命令了,但是我们现在连接的虚拟机是和Google Drive脱离的,也就是说我们跑的程序无法使用谷歌云盘里的文件,这就非常受限制了。所以我们一般需要将谷歌云盘看作是虚拟机中的一个硬盘挂载,这样我们就可以使用虚拟机轻松访问谷歌云盘。
挂载Google Drive代码:

!mkdir -p drive
!google-drive-ocamlfuse -o nonempty drive

在Colab中cd命令是无效的,切换工作目录使用chdir函数

import os
os.chdir("drive")

执行以上代码,当前工作目录会进入到drive文件夹下。我们再使用!ls命令会发现系统输出的是drive文件夹下的目录。

深度学习 共享gpu内存 共享gpu内存怎么用_Google_11

后面我们就可以正常的访问我们的数据集了。