文章目录

  • 前言
  • 一、安装Pytorch
  • 二、Pytorch基础知识
  • 1.张量
  • 2.自动求导
  • 3.并行计算


前言

本次更新意为记录pytorch的学习笔记。课程名就如标题所写的，Datawhale第38期六月份组队学习《深入浅出pytorch》。希望能对你有所帮助~

一、安装Pytorch

https://pytorch.org/get-started/locally/ 上述链接为pytorch官网下载地址，选择对应的编译版本、编译系统、包安装方式、编译环境以及CUDA版本号，选择完成后最后一栏会自动生成安装命令，直接运行即可。
由于我并没有使用过Anacoda，我所有的环境都是安装到本地上的。
怎么查看自己的pytorch环境版本 命令行查看pytorch版本_人工智能

如何查看自己电脑中CUDA版本号？

打开电脑的命令提示符，简称cmd，输入nvidia-smi，即可查看CUDA版本号。

怎么查看自己的pytorch环境版本 命令行查看pytorch版本_深度学习_02

二、Pytorch基础知识

1.张量

https://github.com/ZSIRS/Learn_Pytorch

2.自动求导

https://github.com/ZSIRS/Learn_Pytorch

3.并行计算

并行计算是一种一次可执行多个指令的算法，目的是提高计算速度及通过扩大问题求解规模，解决大型而复杂的计算问题。所谓并行计算可分为时间上的并行和空间上的并行。 时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。是提高计算机系统计算速度和处理能力的一种有效手段。

神经网络并行的方法：

（1）网络结构分布到不同设备中

怎么查看自己的pytorch环境版本 命令行查看pytorch版本_并行计算_03


主要的思路是，将一个模型拆分，然后将拆分的部分放到不同的GPU中来做不同任务计算。（2）同一层的任务分布到不同数据中

怎么查看自己的pytorch环境版本 命令行查看pytorch版本_怎么查看自己的pytorch环境版本_04


第二种方式就是将同一层模型做拆分，让不同的GPU去训练同一层模型的不同部分任务。（3）不同数据分布到不同的设备中

怎么查看自己的pytorch环境版本 命令行查看pytorch版本_并行计算_05


第三种方式的逻辑是不再拆分模型，训练的时候模型都是一整个模型。但是将输入的数据拆分。比如一共有16个数据，前8个放入GPU1里，后8个放入GPU2中进行训练，最后需要将输出的数据做一个汇总，然后再反传。