20180829
参考：https://www.nowcoder.com/courses/190

GPU

训练深度学习的强大工具，基本上，每个软件库都支持GPU。

CPU需要复杂的控制逻辑来管理不同任务。且CPU设计为一个接一个的串行处理任务，而不是并行处理。并行性可以通过多核技术来获得，这些核是通用的，但需要设计为处理通用任务。

用向量来实现深度学习网络，向量代数等并行计算。
通过使用并行实现，深度网络能够快上几个数量级。
并行处理：在硬件层实现的并行。

  • 共享内存Shared memory
    GPU：不像CPU只有个位数或者两位数的和，GPU可以有成百上千的和。每一个GPU的和是通用的，能够进行通用的并行计算。Disadvantage：通用性导致了很高的电力消耗。
    现场可编程逻辑门阵列FPGA：FPGA是高可配置的，在最低的逻辑门层次修改芯片的功能。能为深度学习应用定制成低功耗的硬件。
    特定电路集成电路（ASIC）：ASIC设计在硬件和集成电路层级，功耗最小。（Tensor Processing Unit \ Nervana System）
  • 分布式计算Distributed Computing
  • 数据并行：让你在训练的每一步在各个不同的节点上，训练数据的一部分子集，对集群中的节点进行参数平均和替换。
  • 模型并行：模型的不同部分会同时在不同的设备上并行训练。
  • 流水线并行：每一个job分解成独立的task，每一个task会被分配到一个专有的工人，以确保每个工人相对来说都得到合理应用。当一个工人完成了task，它可以继续处理流水线上的其他job的task，同时其他工人还在处理当前任务。
    并行编程：在软件层实现的并行。

三种并行化代码的方法

  • 把数据模型分解成几个chunk，每个chunk处理一个task。
  • 有相互依赖性的task，分到同一组里。通过创建多个组，每个组之间没有相互依赖性，即可并行处理这个最终任务。
  • 实现线程，每个线程处理不同task或task组。结合方法二使用