PART1: 基础篇
自然语言处理概述
| 什么是自然语言处理
| 自然语言处理的现状和前景
| 自然语言处理应用
| 自然语言处理经典任务
| 学习自然语言处理技术
数据结构与算法基础
| 时间复杂度、空间复杂度
| 斐波那契数列的时间和空间复杂度
| 动态规划算法
| 经典的DP问题
| 练习：DP问题的代码解法
| 专题：时序分析中的DTW算法
机器学习基础 - 逻辑回归
| 分类问题以及逻辑回归重要性
| 逻辑回归的条件概率
| 最大似然估计
| 构建逻辑回归的目标函数
| 优化与梯度下降法
| 随机梯度下降法
| 练习：从零实现逻辑回归
| 案例：预测客户是否开设银行账户
机器学习基础 - 模型的泛化
| 理解什么是过拟合
| 如何防止过拟合现象
| L1与L2正则
| 交叉验证
| L1正则与拉普拉斯分布
| L2正则与高斯分布
| 练习：从零实现逻辑回归+L2正则
| 练习：从零实现K折交叉验证
| 案例：预测一个学生是否能及格
机器学习基础 - 其他机器学习模型
| KNN算法
| 朴素贝叶斯
| 决策树
| 随机森林
| 案例：预测保险电话是否能打通
PART2: 文本处理技术
分词、词的标准化、过滤
| 文本分析流程
| 中英文的分词
| 最大匹配算法
| 基于语言模型的分词
| Stemming和Lemmazation
| 停用词的使用
| 拼写纠错问题
| 编辑距离的实现
| 暴力搜索法
| 基于后验概率的纠错
| 练习：基于jieba的分词
| 练习：基于NLTK的分词
| 案例：从零实现拼写纠错
文本的表示
| 单词的独热编码表示
| 句子的独热编码表示
| tf-idf表示
| 句子相似度比较
| 独热编码下的单词语义相似度
| 从独热编码到词向量
| 词向量的可视化、句子向量
| 练习：词向量的可视化
8.【项目作业】豆瓣电影评分预测
| 数据描述以及任务
| 中文分词
| 独热编码、tf-idf
| 分布式表示与Word2Vec
| BERT向量
| 句子向量
| 项目：豆瓣电影评分预测
词向量技术
| 独热编码表示的优缺点
| 独热编码与分布式表示的比较
| 静态词向量与动态词向量
| 学习词向量 - 分布式假设
| SkipGram与CBOW
| SkipGram模型的目标
| 负采样（Negative Sampling）
| 基于矩阵分解的词向量学习
| 基于Glove的词向量学习
| 在非欧式空间中的词向量学习
| 案例：基于SkipGram的推荐
| 案例：从零实现Word2Vec算法
【项目作业】智能客服问答系统
| 问答系统和应用场景
| 问答系统搭建流程
| 文本的向量化表示
| FastText
| 倒排表技术
| 问答系统中的召回
| 问答系统中的排序
| 项目：搭建知乎智能客服系统
语言模型
| 语言模型的必要性
| 马尔科夫假设
| Unigram语言模型
| Bigram、Trigram语言模型
| 语言模型的评估
| 语言模型的平滑技术
| 案例：基于语言模型的语法纠错 (中文）
PART3: 经典的序列模型
隐马尔科夫模型
| HMM的应用
| HMM的参数
| HMM的推理过程和维特比算法
| 前向、后向算法
| Complete Case中的参数估计
| Incomplete Case中的参数估计
| 案例：从零完整实现HMM
| 案例：基于HMM实现词性分析器
无向图模型与标记偏置
| 有向图与无向图
| 无向图中的特征函数
| 生成模型与判别模型
| 从HMM到MEMM
| MEMM中的标记偏置问题
Linear-CRF模型
| Log-Linear模型介绍
| Log-Linear与逻辑回归
| 从Log-Linear到Linear-CRF
| Log-Linear中的参数估计
| Linear-CRF中的Partition函数计算
| Linear-CRF的参数估计
| 案例：从零实现Linear-CRF
| 案例：基于CRF的词性分析
【项目作业】基于Liner-CRF的医疗实体识别
| 命名实体识别介绍
| 训练数据的准备
| 特征工程
| 结果的评估标准
| 训练模型和测试模型
| 项目：利用CRF抽取并识别医疗文本中的实体
PART4: 自然语言处理与深度学习
深度学习基础
| 理解神经网络
| 各类常见的激活函数
| 理解多层神经网络
| 反向传播算法
| 神经网络中的过拟合
| 浅层模型与深层模型对比
| 深度学习中的层次表示
| 练习：从零实现多层神经网络
| 练习：激活函数的实现技巧
| 案例：基于神经网络的人脸识别
Pytorch的使用
| 环境安装
| Pytorch与Numpy的语法比较
| Pytorch中的Autograd用法
| Pytorch的Forward函数
| 案例：基于Pytorch的逻辑回归实现
| 案例：基于Pytorch的多层神经网络实现
RNN与LSTM
| 从HMM到RNN模型
| RNN中的梯度问题
| 解决梯度爆炸问题
| 梯度消失与LSTM
| LSTM到GRU
| 双向LSTM模型
| 基于LSTM的生成
| 练习：利用Pytorch实现RNN/LSTM
| 案例：基于LSTM的情感分析
| 案例：利用LSTM生成代码
| 案例：利用LSTM写文章
Seq2Seq模型与注意力机制
| 浅谈机器翻译
| Seq2Seq模型
| Greedy Decoding
| Beam Search
| 长依赖所存在的问题
| 注意力机制
| 注意力机制的不同实现
| 练习：利用Pytorch实现Seq2Seq模型
| 练习：Beam Search的实现
| 案例：基于Seq2Seq的机器翻译
【项目作业】智能营销文案生成
| 任务描述，数据讲解
| 构建Seq2Seq模型
| Beam Search的改造
| 模型调优
| 评估标准 Rouge
| Pointer-Generator Network
| PGN与Seq2Seq的融合
| 项目：智能营销文案生成
动态词向量与ELMo技术
| 基于上下文的词向量技术
| 图像识别中的层次表示
| 文本领域中的层次表示
| 深度BI-LSTM
| ELMo模型
| ELMo的训练与测试
| ELMo的优缺点
| 案例：利用ELMo训练词向量
自注意力机制与Transformer
| 基于LSTM模型的缺点
| Transformer结构概览
| 理解自注意力机制
| 位置信息的编码
| 理解Encoder与Decoder区别
| 理解Transformer的训练和预测
| Transformer的缺点
| 练习：从零实现Transformer
| 案例：基于Transformer的机器翻译
BERT与ALBERT
| 自编码器介绍
| Transformer Encoder
| Masked LM
| BERT模型
| BERT模型不同训练方式
| ALBERT
| 练习：从零实现BERT模型
| 练习：从零实现ALBERT模型
| 案例：基于BERT-BiLSTM-CRF的命名实体识别
【项目作业】基于闲聊的对话系统搭建
| 对话系统介绍
| 常见的对话系统技术
| 闲聊型对话系统框架
| 语料库的准备
| 数据的处理
| 项目：基于闲聊的对话系统搭建
BERT的其他变种
| RoBERTa模型
| SpanBERT模型
| FinBERT模型
| 引入先验知识
| K-BERT
| KG-BERT
| 案例：基于KG-BERT的知识图谱学习
GPT与XLNet
| Transformer Encoder回顾
| GPT-1，GPT-2
| GPT-3
| ELMo的缺点
| 语言模型下同时考虑上下文
| Permutation LM
| 双流自注意力机制
| Transformer-XL
| XLNet总结
PART5: 信息抽取
命名实体识别与实体消歧
| 信息抽取的应用和关键技术
| 命名实体识别
| NER识别常用技术
| 实体消歧技术
| 实体消歧常用技术
| 实体统一技术
| 指代消解
| 案例：利用相似度算法解决实体消歧问题
关系抽取
| 关系抽取的应用
| 基于规则的方法
| 基于监督学习方法
| Bootstrap方法
| Distant Supervision方法
| 练习：从零实现基于规则的方法
| 练习：从零实现Bootstrap方法
| 案例：抽取研报中的关键指标和数据
句法分析
| 句法分析以及应用
| CFG介绍
| 从CFG到PCFG
| 评估语法树
| 寻找最好的语法树
| CKY算法
依存文法分析
| 从语法分析到依存文法分析
| 依存文法分析的应用
| 使用依存文法分析
| 基于图算法的依存文法分析
| 基于Transtion-based的依存文法分析
| 其他依存文法分析方法论
| 案例：依存文法分析在信息抽取中的应用
知识图谱
| 知识图谱以及重要性
| 知识图谱中的实体和关系
| 利用非结构化数据构造知识图谱
| 知识图谱的设计
| 案例：基于知识图谱的风控案例
| 案例：基于知识图谱的个性化教学
【项目作业】搭建基于医疗知识图谱的问答系统
| 基于知识图谱的问答系统框架
| 医疗专业词汇的使用
| 获取问句的意图
| 问句的解释，提取关键实体
| 讲意图和关键信息转化为查询语句
| 把查询结果转化为自然语言的形式
| 项目：搭建基于医疗知识图谱的问答系统
PART6: 图神经网络与模型压缩
模型的压缩
| 模型压缩的必要性
| 常见的模型压缩算法总览
| 基于矩阵分解的压缩技术
| 从BERT到ALBERT的压缩
| 基于贝叶斯模型的压缩技术
| 模型的量化
| 模型的蒸馏方法
| 案例：利用Distillation压缩Transformer模型
| 案例：利用Distillation压缩Seq2Seq模型
基于图的学习
| 图的表示
| 图与知识图谱
| 基于图表示的应用场景
| 关于图的一些常见算法
| Deepwalk和Node2vec
| TransE图嵌入模型
| DSNE图嵌入模型
| 案例：基于人工特征的朋友关系预测
| 案例：基于Node2Vec的推荐系统
图神经网络
| 卷积神经网络的回顾
| 图神经网络发展历程
| 设计图中的卷积操作
| 图中的信息传递
| 图卷积神经网络（GCN）
| 练习：从零实现GCN模型
| 案例：基于GCN的Twitter网络分析
| 案例：基于GCN的商品推荐
GraphSage与GAT
| GCN的优缺点
| 从GCN到GraphSage
| 注意力机制回顾
| 注意力机制与图表示
| GAT模型详解
| GAT与GCN的比较
| 对于Heterogenous数据处理
| 练习：从零实现GAT模型
| 案例：基于GAT的商品推荐
| 案例：基于GAT的虚假新闻检测
【项目作业】新闻文本摘要生成
| 文本摘要生成任务介绍和应用场景
| 基于抽取式的摘要提取技术
| 关键句子的提取技术
| 基于图神经网络的摘要生成方法
| 基于生成式的摘要提取技术
| Seq2Seq、Transformer模型的使用
| 文本摘要系统的评估指标
| 项目：文本摘要生成项目
图神经网络与其他应用
| Node Classification
| Graph Classification
| Link Prediction
| Community Detection
| 推荐系统中的应用
| 文本分类中的应用
| 图神经网络的未来发展
