前言

在人工智能领域，大型预训练模型（Large Pre-trained Models, LPMs）已经成为推动自然语言处理（NLP）技术发展的重要力量。这些模型在海量数据上进行预训练，能够捕捉到丰富的语言模式和知识，进而在各种下游任务上展现出卓越的性能。

今天，给大家分享的这份手册以PyTorch 2.0为基础框架，通过Chat GLM详细讲解大模型的基本理论、算法、程序实现、应用实战以及微调技术，为读者揭开大模型开发的神秘面纱。

终于有人从零到精通开始教大模型开发了！《从零开始大模型开发与微调基于PyTorch与ChatGLM》【附PDF】_pdf

本书是一本深度学习自然语言处理领域的实用教程。作者详细讲解了基于PyTorch 2.0和ChatGLM的大模型开发和微调技术，从理论到实践，内容全面丰富。书中不仅介绍了人工智能与大模型的基础知识，还涵盖了PyTorch 2.0深度学习环境搭建、基础学习、深度学习基础算法等。特别是书中对ChatGLM的介绍，让读者了解到了大模型在自然语言处理领域的应用。这本书适合PyTorch深度学习初学者、大模型开发初学者和开发人员学习，也可以作为高等院校相关专业的教学参考书。

目录

第1章 新时代的曙光—人工智能与大模型 1

  • 1.1 人工智能：思维与实践的融合 1
  • 1.2 大模型开启人工智能的新时代 4
  • 1.3 本章小结 7

第2章 PyTorch 2.0深度学习环境搭建 8

  • 2.1 环境搭建1：安装Python 8
  • 2.2 环境搭建2：安装PyTorch 2.0 15
  • 2.3 生成式模型实战：古诗词的生成 18
  • 2.4 图像降噪：手把手实战第一个深度学习模型 19
  • 2.5 本章小结 26

第3章 从零开始学习PyTorch 2.0 27

  • 3.1 实战MNIST手写体识别 27
  • 3.2 自定义神经网络框架的基本设计 34
  • 3.3 本章小结 43

第4章 一学就会的深度学习基础算法详解 44

  • 4.1 反向传播神经网络的前身历史 44
  • 4.2 反向传播神经网络两个基础算法详解 47
  • 4.3 反馈神经网络反向传播算法介绍 58
  • 4.4 本章小结 70

第5章 基于PyTorch卷积层的MNIST分类实战 71

  • 5.1 卷积运算的基本概念 71
  • 5.2 实战：基于卷积的MNIST手写体分类 80
  • 5.3 PyTorch的深度可分离膨胀卷积详解 84
  • 5.4 本章小结 90

第6章 可视化的PyTorch数据处理与模型展示 91

  • 6.1 用于自定义数据集的torch.utils.data工具箱使用详解 92
  • 6.2 实战：基于tensorboardX的训练可视化展示 100
  • 6.3 本章小结 105

第7章 ResNet实战 106

  • 7.1 ResNet基础原理与程序设计基础 106
  • 7.2 ResNet实战：CIFAR-10数据集分类 114
  • 7.3 本章小结 118

第8章 有趣的词嵌入 120

  • 8.1 文本数据处理 120
  • 8.2 更多的词嵌入方法—FastText和预训练词向量 134
  • 8.3 针对文本的卷积神经网络模型简介—字符卷积 141
  • 8.4 针对文本的卷积神经网络模型简介—词卷积 151
  • 8.5 使用卷积对文本分类的补充内容 155
  • 8.6 本章小结 158

第9章 基于循环神经网络的中文情感分类实战 160

  • 9.1 实战：循环神经网络与情感分类 160
  • 9.2 循环神经网络理论讲解 165
  • 9.3 本章小结 168

第10章 从零开始学习自然语言处理的编码器 169

  • 10.1 编码器的核心—注意力模型 170
  • 10.2 编码器的实现 180
  • 10.3 实战编码器：拼音汉字转化模型 184
  • 10.4 本章小结 191

第11章 站在巨人肩膀上的预训练模型BERT 193

  • 11.1 预训练模型BERT 193
  • 11.2 实战BERT：中文文本分类 198
  • 11.3 更多的预训练模型 203
  • 11.4 本章小结 205

第12章 从1开始自然语言处理的解码器 206

  • 12.1 解码器的核心—注意力模型 206
  • 12.2 解码器实战—拼音汉字翻译模型 215
  • 12.3 本章小结 231

第13章 基于PyTorch 2.0的强化学习实战 232

  • 13.1 基于强化学习的火箭回收实战 232
  • 13.2 强化学习的基本算法—PPO算法 243
  • 13.3 本章小结 249

第14章 ChatGPT前身—只具有解码器的GPT-2模型 250

  • 14.1 GPT-2模型简介 250
  • 14.2 Hugging Face GPT-2模型源码模型详解 259
  • 14.3 Hugging Face GPT-2模型的使用与自定义微调 282
  • 14.4 自定义模型的输出 286
  • 14.5 本章小结 290

第15章 实战训练自己的ChatGPT 291

  • 15.1 什么是ChatGPT 291
  • 15.2 RLHF模型简介 293
  • 15.3 基于RLHF实战的ChatGPT正向评论的生成 297
  • 15.4 本章小结 304

第16章 开源大模型ChatGLM使用详解 305

  • 16.1 为什么要使用大模型 305
  • 16.2 ChatGLM使用详解 307
  • 16.3 本章小结 311

第17章 开源大模型ChatGLM 高级定制化应用实战 312

  • 17.1 医疗问答GLMQABot搭建实战—基于ChatGLM搭建专业客服问答机器人 312
  • 17.2 金融信息抽取实战—基于知识链的ChatGLM本地化知识库检索与智能答案生成 318
  • 17.3 基于ChatGLM的一些补充内容 327
  • 17.4 本章小结 331

第18章 对训练成本上亿美元的ChatGLM进行高级微调 332

  • 18.1 ChatGLM模型的本地化处理 332
  • 18.2 高级微调方法1—基于加速库Accelerator的全量数据微调 339
  • 18.3 高级微调方法2—基于LoRA的模型微调 348
  • 18.4 高级微调方法3—基于Huggingface的PEFT模型微调 357
  • 18.5 本章小结 362