文章目录

  • Tensor维度变换
  • 1. view / reshape
  • 1.1 view 函数
  • 1.2 reshape 函数
  • 2. squeeze / unsqueeze
  • 2.1 unsqueeze 函数
  • 案例
  • 2.2 squeeze 函数
  • 3. expand / repeat
  • 3.1 expand 函数
  • 3.2 repeat 函数
  • 4. 矩阵转置
  • 4.1 t 函数
  • 4.2 transpose 函数
  • 案例：数据污染
  • 4.3 permute 函数
  • 5. Broadcasting


Tensor维度变换

1. view / reshape

  • 在 Pytorch 0.3 时，使用的默认 API 是 view
  • 在 Pytorch 0.4 时，为了与numpy一致，增加了 reshape 方法
  • 保证其元素个数不变的前提下，任意改变其维度
  • 若改变了元素个数，就会报错

1.1 view 函数

a = torch.rand(2, 1, 2, 2)	# 共有 2 * 1 * 2 * 2 = 8 个元素
print(a.shape)  # torch.Size([2, 1, 2, 2])
print(a.numel())	# 8
print(a)
'''
tensor([
        [[[0.6904, 0.6917],[0.1554, 0.4077]]],
        [[[0.7704, 0.3776],[0.5143, 0.8417]]]
        ])
'''

b = a.view(2, 2 * 2)	# 表示把 1 2 3三个维度合并成 1 个维度，第 0 维度不动
print(b.shape)  # torch.Size([2, 4])
print(b.numel())	# 8
print(b)
'''
tensor([[0.6904, 0.6917, 0.1554, 0.4077],
        [0.7704, 0.3776, 0.5143, 0.8417]])
'''

c = b.view(8)
print(c.shape) 		# torch.Size([8])
print(c.numel())	# 8
print(c)
'''
tensor([0.6904, 0.6917, 0.1554, 0.4077, 0.7704, 0.3776, 0.5143, 0.8417])
'''

d = c.view(8, 1, 1, 1, 1, 1, 1, 1, 1, 1)
print(d.shape)  # torch.Size([8, 1, 1, 1, 1, 1, 1, 1, 1, 1])
print(d)
'''
tensor([[[[[[[[[[0.6904]]]]]]]]],
        [[[[[[[[[0.6917]]]]]]]]],
        [[[[[[[[[0.1554]]]]]]]]],
        [[[[[[[[[0.4077]]]]]]]]],
        [[[[[[[[[0.7704]]]]]]]]],
        [[[[[[[[[0.3776]]]]]]]]],
        [[[[[[[[[0.5143]]]]]]]]],
        [[[[[[[[[0.8417]]]]]]]]]])
'''

print(a.dim())		# 4维度
print(b.dim())		# 2维度
print(c.dim())		# 1维度
print(d.dim())  	# 10w维度

1.2 reshape 函数

  • 与 view 函数用法一致
a = torch.ones(2, 1,  2)
print(a.shape)      # torch.Size([2, 1, 2, 2])
print(a.dim())      # 3
print(a.numel())    # 4
print(a)
'''
tensor([
        [[1., 1.]],
        [[1., 1.]]
       ])
'''


b = a.reshape(4)
print(b.shape)  # torch.Size([2, 4])
print(b.dim())  # 1
print(b.numel())    # 4
print(b)
'''
tensor([1., 1., 1., 1.])
'''

2. squeeze / unsqueeze

2.1 unsqueeze 函数

def unsqueeze(dim) -> Tensor
  • unsqueeze：展开，增加一个维度，但是不改变数据个数
  • dim ： 参数范围 dim ∈ [ -(原dimMax + 1), (原dimMax + 1) )，能取左边界，无法取右边界
  • 功能：在 dim 维度处插入一个维度，原 dim 维度及后续维度后移

参数dim正数范围： [ 0, 原 dimMax ]，下面测试代码为 dim∈ [0, 4] ，如果在第 5 维度新增维度会报错

import torch

a = torch.ones(4, 3, 28, 28)
print(a.dim())  # 4
print(a.shape)  # torch.Size([4, 3, 28, 28])

b = a.unsqueeze(0)  # 在 0 维度处插入一个维度
print(b.dim())  # 5
print(b.shape)  # torch.Size([1, 4, 3, 28, 28])

b = a.unsqueeze(1)  # 在 1 维度处插入一个维度
print(b.dim())  # 5
print(b.shape)  # torch.Size([4, 1, 3, 28, 28])

b = a.unsqueeze(2)  # 在 2 维度处插入一个维度
print(b.dim())  # 5
print(b.shape)  # torch.Size([4, 3, 1, 28, 28])

b = a.unsqueeze(3)  # 在 3 维度处插入一个维度
print(b.dim())  # 5
print(b.shape)  # torch.Size([4, 3, 28, 1, 28])

b = a.unsqueeze(4)  # 在 4 维度处插入一个维度
print(b.dim())  # 5
print(b.shape)  # torch.Size([4, 3, 28, 28, 1])

b = a.unsqueeze(5)  # 在 5 维度处插入一个维度
print(b.dim())  
print(b.shape)  
# IndexError: Dimension out of range (expected to be in range of [-5, 4], but got 5)

参数dim负数范围： [ - ( 原 dimMax + 1 ), 0 ]，下面测试代码为 dim∈ [ -5, 0 ]

import torch

a = torch.ones(4, 3, 28, 28)
print(a.dim())  # 4
print(a.shape)  # torch.Size([4, 3, 28, 28])

b = a.unsqueeze(0)  # 在 0 维度前面插入一个新维度
print(b.dim())  # 5
print(b.shape)  # torch.Size([1, 4, 3, 28, 28])

b = a.unsqueeze(-1)  # 在 4 维度处插入一个维度
print(b.dim())  # 5
print(b.shape)  # torch.Size([4, 3, 28, 28, 1])

b = a.unsqueeze(-2)  # 在 3 维度处插入一个维度
print(b.dim())  # 5
print(b.shape)  # torch.Size([4, 3, 28, 1, 28])

b = a.unsqueeze(-3)  # 在 2 维度处插入一个维度
print(b.dim())  # 5
print(b.shape)  # torch.Size([4, 3, 1, 28, 28])

b = a.unsqueeze(-4)  # 在 1 维度处插入一个维度
print(b.dim())  # 5
print(b.shape)  # torch.Size([4, 1, 3, 28, 28])

b = a.unsqueeze(-5)  # 在 0 维度处插入一个维度
print(b.dim())  # 5
print(b.shape)  # torch.Size([1, 4, 3, 28, 28])

案例

  • 将 b Tensor 的维度变成和 f Tensor 的维度一样
b = torch.rand(32)
f = torch.rand(4, 32, 14, 14)
b = b.unsqueeze(1).unsqueeze(2).unsqueeze(0)
print(b.shape)	# torch.Size([1, 32, 1, 1])

2.2 squeeze 函数

def squeeze(dim=None) -> Tensor
  • 参数不填：将所有维度中值为1的维度删除
  • 填入正dim：将dim维度删除，若dim超过原维度最大值，则报错
  • 填入负dim：将倒数dim维度删除，若该dim中的值不为 1 则不删除，只有 dim 中的值为 1 才删除该维度

参数dim正数范围：[1, 原 dimMax]

a = torch.ones(1, 1, 2, 2)
print(a.dim())  # 4
print(a.shape)  # torch.Size([1, 1, 2, 2])

b = a.squeeze()
print(b.dim())  # 2
print(b.shape)  # torch.Size([2, 2])

b = a.squeeze(0)
print(b.dim())  # 3
print(b.shape)  # torch.Size([1, 2, 2])

b = a.squeeze(1)
print(b.dim())  # 3
print(b.shape)  # torch.Size([1, 2, 2])

b = a.squeeze(2)
print(b.dim())  # 2
print(b.shape)  # torch.Size([2, 2])

b = a.squeeze(3)
print(b.dim())  # 4
print(b.shape)  # torch.Size([1, 1, 2, 2])

b = a.squeeze(4)
print(b.dim()) 
print(b.shape)  
# IndexError: Dimension out of range (expected to be in range of [-4, 3], but got 4)

参数dim负数范围：[- 原 dimMax, -1]

a = torch.ones(1, 1, 2, 2)
print(a.dim())  # 4
print(a.shape)  # torch.Size([4, 3, 28, 28])

b = a.squeeze()
print(b.dim())  # 2
print(b.shape)  # torch.Size([2, 2])

b = a.squeeze(0)
print(b.dim())  # 3
print(b.shape)  # torch.Size([1, 2, 2])

b = a.squeeze(-1)
print(b.dim())  # 4
print(b.shape)  # torch.Size([1, 1, 2, 2])

b = a.squeeze(-2)
print(b.dim())  # 4
print(b.shape)  # torch.Size([1, 1, 2, 2])

b = a.squeeze(-3)
print(b.dim())  # 3
print(b.shape)  # torch.Size([1, 2, 2])

b = a.squeeze(-4)
print(b.dim())  # 3
print(b.shape)  # torch.Size([1, 2, 2])

3. expand / repeat

3.1 expand 函数

def expand(*sizes) -> Tensor
  • 按照传入的参数，将原 dim 中的值个数按照参数的值进行修改，并将其中的值按原有的值进行初始化
  • 原维度中的值必须 小于等于 改变后的维度中的值
  • 将不想改变的维度中填入 -1 后，该维度中的值不会改变
a = torch.rand(2, 1, 2, 2)
b = torch.rand(2, 1, 1, 1)
c = b.expand(a.shape)
print(c.shape)  # torch.Size([2, 1, 2, 2])
print(a)
print(b)
print(c)
'''
tensor([[[[0.4356, 0.0878],
          [0.3151, 0.1201]]],
        [[[0.3978, 0.2646],
          [0.0629, 0.9532]]]])
tensor([[[[0.9870]]],
        [[[0.1181]]]])
tensor([[[[0.9870, 0.9870],
          [0.9870, 0.9870]]],
        [[[0.1181, 0.1181],
          [0.1181, 0.1181]]]])
'''

3.2 repeat 函数

def repeat(*sizes) -> Tensor
  • 将原维度中的值进行复制sizes次
b = torch.rand(2, 1, 1, 1)
c = b.repeat(1, 2, 1, 2)
print(c.shape)  # torch.Size([2, 2, 1, 2])
print(c)
'''
tensor([[[[0.2657, 0.2657]],
         [[0.2657, 0.2657]]],
        [[[0.8223, 0.8223]],
         [[0.8223, 0.8223]]]])
'''

代码解释：

c = b.repeat(1, 2, 1, 2)

将 b 的 0 维度中的值复制 1 次，所以复制之后 0 维度中有 2 * 1 个值

将 b 的 1 维度中的值复制 2 次，所以复制之后 1 维度中有 1 * 2 个值

将 b 的 2 维度中的值复制 1 次，所以复制之后 2 维度中有 1 * 1 个值

将 b 的 3 维度中的值复制 2 次，所以复制之后 3 维度中有 1 * 2 个值

4. 矩阵转置

4.1 t 函数

def t() -> Tensor
  • 将矩阵转置
  • 只适用于 2D 的矩阵，其他多维度都不适用
a = torch.randn(2, 2)
print(a)
b = a.t()
print(b)
'''
tensor([[-0.6856,  0.7479],
        [ 0.7589,  0.6101]])
tensor([[-0.6856,  0.7589],
        [ 0.7479,  0.6101]])
'''

4.2 transpose 函数

def transpose(dim0, dim1) -> Tensor
  • 功能：将 dim0 维度与 dim1 维度进行交换
a = torch.randn(4, 3, 28, 28)
print(a.shape)      # torch.Size([4, 3, 28, 28])
a1 = a.transpose(0, 3)
print(a1.shape)     # torch.Size([28, 3, 28, 4])

案例：数据污染

  • 注意：view 函数运行之后需要记住原维度及size才能恢复原状，要不然可能会产生数据污染，如下代码所示
a = torch.randn(4, 3, 32, 32)

a1 = a.transpose(1, 3).contiguous().view(4, 3 * 32 * 32).view(4, 3, 32, 32)
a2 = a.transpose(1, 3).contiguous().view(4, 3 * 32 * 32).view(4, 32, 32, 3).transpose(1, 3)

# 比较是否完全一样
print(torch.all(torch.eq(a, a1)))   # tensor(False)
print(torch.all(torch.eq(a, a2)))   # tensor(True)

4.3 permute 函数

def permute(*dims) -> Tensor
  • 对维度顺序进行指定
a = torch.rand(4, 3, 28, 28)
b = a.permute(0, 2, 3, 1)
print(b.shape)  # torch.Size([4, 28, 28, 3])

解释：

将原来的 0 维度放置在 0 维度处

将原来的 2 维度放置在 1 维度处

将原来的 3 维度放置在 2 维度处

将原来的 1 维度放置在 3 维度处

5. Broadcasting

特点：

  • 自动扩展维度并改变维度中的值：自动调用 expand 函数
  • 没有数据拷贝：不需要拷贝数据

例如：Tensor A [4, 32, 14, 14] ; Tensor B [32, 1, 1]

将 B 转化为 A ：先扩展维度，再扩展维度中的值

[32, 1, 1] -> [1, 32, 1, 1] -> [4, 32, 14, 14]