前言

BERT (transformer 的双向编码器表示) 彻底改变了自然语言处理 (NLP) 的世界,并取得了可喜的结果。

这本书是一本入门指南,将帮助您掌握 Google 的 BERT 架构。通过对 transformer 架构的详细说明,这本书将帮助您了解 transformer 的编码器和解码器是如何工作的。

从入门到精通的NLP实战手册《Getting Started with Google BERT》【附PDF】_pdf

您将通过学习如何预训练 BERT 模型来探索 BERT 架构,以及如何通过使用 Hugging Face transformers 库针对 NLP 任务(例如情感分析和文本摘要)对其进行微调来将预训练的 BERT 用于下游任务。随着您的进步,您将了解 BERT 的不同变体,例如 ALBERT、RoBERTa 和 ELECTRA,并查看 SpanBERT,它用于问答等 NLP 任务。您还将介绍基于知识蒸馏的更简单、更快速的 BERT 变体,例如 DistilBERT 和 TinyBERT。这本书将带您详细介绍 MBERT、XLM 和 XLM-R,然后向您介绍用于获取句子表示的句子 BERT。

最后,您将发现特定领域的 BERT 模型,例如 BioBERT 和 ClinicalBERT,并发现一种称为 VideoBERT 的有趣变体。

在这本 BERT 书的结尾,您将精通使用 BERT 及其变体来执行实际的 NLP 任务。


您将学到什么

  • 从头开始了解 transformer 模型
  • 了解 BERT 的工作原理,并使用掩码语言模型 (MLM) 和下一句预测 (NSP) 任务对其进行预训练
  • 通过学习生成上下文单词和句子嵌入,动手实践 BERT
  • 针对下游任务微调 BERT
  • 掌握 ALBERT、RoBERTa、ELECTRA 和 SpanBERT 模型
  • 掌握基于知识蒸馏的 BERT 模型的窍门
  • 了解 XLM 和 XLM-R 等跨语言模型
  • 探索 Sentence-BERT、VideoBERT 和 BART

这本书是给谁的

本书适用于希望简化 NLP 任务以使用 BERT 实现高效语言理解的 NLP 专业人员和数据科学家。要充分利用本书,需要对 NLP 概念和深度学习有基本的了解。

目录

Transformer入门

了解 BERT 模型

动手实践 BERT

BERT 变体 I - ALBERT、RoBERTa、ELECTRA 和 SpanBERT

BERT 变体 II - 基于知识蒸馏

探索 BERTSUM 的文本摘要

将 BERT 应用于其他语言

探索句子和领域特定的 BERT

使用 VideoBERT、BART 等

从入门到精通的NLP实战手册《Getting Started with Google BERT》【附PDF】_bert_02


从入门到精通的NLP实战手册《Getting Started with Google BERT》【附PDF】_bert_03


从入门到精通的NLP实战手册《Getting Started with Google BERT》【附PDF】_pdf_04


从入门到精通的NLP实战手册《Getting Started with Google BERT》【附PDF】_自然语言处理_05

从入门到精通的NLP实战手册《Getting Started with Google BERT》【附PDF】_bert_06


从入门到精通的NLP实战手册《Getting Started with Google BERT》【附PDF】_语言模型_07


从入门到精通的NLP实战手册《Getting Started with Google BERT》【附PDF】_人工智能_08


从入门到精通的NLP实战手册《Getting Started with Google BERT》【附PDF】_pdf_09


从入门到精通的NLP实战手册《Getting Started with Google BERT》【附PDF】_语言模型_10


从入门到精通的NLP实战手册《Getting Started with Google BERT》【附PDF】_pdf_11