前言
BERT (transformer 的双向编码器表示) 彻底改变了自然语言处理 (NLP) 的世界,并取得了可喜的结果。
这本书是一本入门指南,将帮助您掌握 Google 的 BERT 架构。通过对 transformer 架构的详细说明,这本书将帮助您了解 transformer 的编码器和解码器是如何工作的。
您将通过学习如何预训练 BERT 模型来探索 BERT 架构,以及如何通过使用 Hugging Face transformers 库针对 NLP 任务(例如情感分析和文本摘要)对其进行微调来将预训练的 BERT 用于下游任务。随着您的进步,您将了解 BERT 的不同变体,例如 ALBERT、RoBERTa 和 ELECTRA,并查看 SpanBERT,它用于问答等 NLP 任务。您还将介绍基于知识蒸馏的更简单、更快速的 BERT 变体,例如 DistilBERT 和 TinyBERT。这本书将带您详细介绍 MBERT、XLM 和 XLM-R,然后向您介绍用于获取句子表示的句子 BERT。
最后,您将发现特定领域的 BERT 模型,例如 BioBERT 和 ClinicalBERT,并发现一种称为 VideoBERT 的有趣变体。
在这本 BERT 书的结尾,您将精通使用 BERT 及其变体来执行实际的 NLP 任务。
您将学到什么
- 从头开始了解 transformer 模型
- 了解 BERT 的工作原理,并使用掩码语言模型 (MLM) 和下一句预测 (NSP) 任务对其进行预训练
- 通过学习生成上下文单词和句子嵌入,动手实践 BERT
- 针对下游任务微调 BERT
- 掌握 ALBERT、RoBERTa、ELECTRA 和 SpanBERT 模型
- 掌握基于知识蒸馏的 BERT 模型的窍门
- 了解 XLM 和 XLM-R 等跨语言模型
- 探索 Sentence-BERT、VideoBERT 和 BART
这本书是给谁的
本书适用于希望简化 NLP 任务以使用 BERT 实现高效语言理解的 NLP 专业人员和数据科学家。要充分利用本书,需要对 NLP 概念和深度学习有基本的了解。
目录
Transformer入门
了解 BERT 模型
动手实践 BERT
BERT 变体 I - ALBERT、RoBERTa、ELECTRA 和 SpanBERT
BERT 变体 II - 基于知识蒸馏
探索 BERTSUM 的文本摘要
将 BERT 应用于其他语言
探索句子和领域特定的 BERT
使用 VideoBERT、BART 等