图像分类数据集（FASHION-MNIST）
图像分类数据集中最常用的是⼿写数字识别数据集MNIST。但⼤部分模型在MNIST上的分类精度都超过了了95%。为了更直观地观察算法之间的差异，我们将使⽤一个图像内容更加复杂的数据集Fashion-MNIST（这个数据集也⽐较⼩，只有⼏十M，没有GPU的电脑也能吃得消）。
本节我们将使用torchvision包，它是服务于PyTorch深度学习框架的，主要⽤用来构建计算机视觉模型。
torchvision主要由以下⼏部分构成：
- torchvision.datasets : ⼀些加载数据的函数及常用的数据集接口；
- torchvision.models : 包含常⽤的模型结构（含预训练模型），例如AlexNet、VGG、ResNet等；
- torchvision.transforms : 常⽤用的图⽚片变换，例如裁剪、旋转等；
- torchvision.utils : 其他的⼀些有⽤用的⽅方法。
获取数据集
import torch
import torchvision
import torchvision.transforms as transforms
import matplotlib.pyplot as plt
import time
import sys
sys.path.append("..") # 为了导入上层⽬目录的d2lzh_pytorch
import d2lzh_pytorch as d2l下面，我们通过torchvision的 torchvision.datasets 来下载这个数据集。第⼀次调⽤用时会⾃动从⽹上获取数据。我们通过参数 train 来指定获取训练数据集或测试数据集（testing data set）。测试数据集也叫测试集（testing set），只⽤来评价模型的表现，并不用来训练模型。
另外我们还指定了参数 transform = transforms.ToTensor() 使所有数据转换为 Tensor ，如果不进⾏转换则返回的是PIL图⽚片。 transforms.ToTensor() 将尺⼨寸为 (H x W x C) 且数据位于[0, 255]的PIL 图 片 或 者 数 据 类 型 为 np.uint8 的 NumPy 数 组 转 换 为 尺 ⼨ 为 (C x H x W) 且 数 据 类 型为 torch.float32 且位于[0.0, 1.0]的 Tensor 。
注 意 ： 由 于 像 素 值 为 0 到 255 的 整 数 ， 所 以 刚 好 是 uint8 所 能 表 示 的 范 围 ， 包 括transforms.ToTensor() 在内的⼀些关于图⽚的函数就默认输入的是uint8型，若不是，可能不会报错但的可能得不到想要的结果。所以，如果用像素值(0-255整数)表示图⽚片数据，那么⼀律律将其类型设置成uint8，避免不必要的bug。
mnist_train =
torchvision.datasets.FashionMNIST(root='~/Datasets/FashionMNIST',
train=True, download=True, transform=transforms.ToTensor())
mnist_test =
torchvision.datasets.FashionMNIST(root='~/Datasets/FashionMNIST',
train=False, download=True, transform=transforms.ToTensor())上⾯的 mnist_train 和 mnist_test 都是 torch.utils.data.Dataset 的⼦类，所以我们可以⽤ len() 来获取该数据集的⼤小，还可以⽤下标来获取具体的⼀个样本。训练集中和测试集中的每个类别的图像数分别为6,000和1,000。因为有10个类别，所以训练集和测试集的样本数分别为60,000和10,000。
print(type(mnist_train))
print(len(mnist_train), len(mnist_test))输出：<class 'torchvision.datasets.mnist.FashionMNIST'>
60000 10000
我们可以通过下标来访问任意⼀个样本:
feature, label = mnist_train[0]
print(feature.shape, label) # Channel x Height X Width变量 feature 对应高和宽均为28像素的图像。由于我们使⽤了 transforms.ToTensor() ，所以每个像素的数值为[0.0, 1.0]的32位浮点数。需要注意的是， feature 的尺⼨是 (C x H x W) 的，⽽不是 (Hx W x C)。第⼀维是通道数，因为数据集中是灰度图像，所以通道数为1。后⾯面两维分别是图像的⾼和宽。
Fashion-MNIST中⼀共包括了了10个类别，分别为t-shirt（T恤）、trouser（裤子）、pullover（套衫）、dress（连⾐衣裙）、coat（外套）、sandal（凉鞋）、shirt（衬衫）、sneaker（运动鞋）、bag（包）和ankle boot（短靴）。以下函数可以将数值标签转成相应的文本标签。
# 本函数已保存在d2lzh包中⽅方便便以后使⽤用
def get_fashion_mnist_labels(labels):
text_labels = ['t-shirt', 'trouser', 'pullover', 'dress','coat','sandal', 'shirt',
sneaker', 'bag', 'ankleboot']
return [text_labels[int(i)] for i in labels]下⾯面定义⼀个可以在⼀⾏⾥画出多张图像和对应标签的函数。
# 本函数已保存在d2lzh包中⽅便以后使⽤用
def show_fashion_mnist(images, labels):
d2l.use_svg_display()
# 这⾥里里的_表示我们忽略略（不不使⽤用）的变量量
_, figs = plt.subplots(1, len(images), figsize=(12, 12))
for f, img, lbl in zip(figs, images, labels):
f.imshow(img.view((28, 28)).numpy())
f.set_title(lbl)
f.axes.get_xaxis().set_visible(False)
f.axes.get_yaxis().set_visible(False)
plt.show()现在，我们看⼀下训练数据集中前9个样本的图像内容和⽂本标签。
X, y = [], []
for i in range(10):
X.append(mnist_train[i][0])
y.append(mnist_train[i][1])
show_fashion_mnist(X, get_fashion_mnist_labels(y))
读取⼩批量
我们将在训练数据集上训练模型，并将训练好的模型在测试数据集上评价模型的表现。前面说过 ， mnist_train 是 torch.utils.data.Dataset 的 子 类 ， 所 以 我 们 可 以 将 其 传入 torch.utils.data.DataLoader 来创建⼀个读取⼩批量数据样本的DataLoader实例。
在实践中，数据读取经常是训练的性能瓶颈，特别当模型较简单或者计算硬件性能较⾼时。PyTorch的DataLoader 中 一 个 很 ⽅ 便 的 功 能 是 允 许 使用 多 进 程 来 加 速 数 据 读 取 。 这 ⾥ 我 们 通 过 参数 num_workers 来设置4个进程读取数据。
batch_size = 256
if sys.platform.startswith('win'):
num_workers = 0 # 0表示不不⽤用额外的进程来加速读取数据
else:
num_workers = 4
train_iter = torch.utils.data.DataLoader(mnist_train,
batch_size=batch_size, shuffle=True, num_workers=num_workers)
test_iter = torch.utils.data.DataLoader(mnist_test,
batch_size=batch_size, shuffle=False, num_workers=num_workers)最后我们查看读取⼀遍训练数据需要的时间
start = time.time()
for X, y in train_iter:
continue
print('%.2f sec' % (time.time() - start))输出：1.57 sec
⼩结
- Fashion-MNIST是⼀个10类服饰分类数据集，之后章节里将使⽤它来检验不同算法的表现。
- 我们将⾼和宽分别为 h和 w像素的图像的形状记为 hXw或 (h，w) 。
