fastText是Facebook于2016年开源的一个词向量计算和文本分类工具，在文本分类任务中，fastText（浅层网络）往往能取得和深度网络相媲美的精度，却在训练时间上比深度网络快许多数量级。在标准的多核CPU上， 能够训练10亿词级别语料库的词向量在10分钟之内，能够分类有着30万多类别的50多万句子在1分钟之内。
该工具的理论基础是以下两篇论文：
- Enriching Word Vectors with Subword Information：这篇论文提出了用 word n-gram 的向量之和来代替简单的词向量的方法，以解决简单 word2vec 无法处理同一词的不同形态的问题。fastText 中提供了 maxn 这个参数来确定 word n-gram 的 n 的大小。
- Bag of Tricks for Efficient Text Classification：这篇论文提出了 fastText 算法，该算法实际上是将目前用来算 word2vec 的网络架构做了个小修改，原先使用一个词的上下文的所有词向量之和来预测词本身（CBOW 模型），现在改为用一段短文本的词向量之和来对文本进行分类。
FastText背后的主要原理是，单词的词法结构会携带有关单词含义的重要信息，而传统的单词嵌入并不会考虑这些信息，传统的单词嵌入会为每个单词训练一个唯一的单词嵌入。这对于形态丰富的语言（德语，土耳其语）尤其重要，在这种语言中，单个单词可能具有大量的形态形式，每种形态形式很少出现，因此很难训练良好的词嵌入。
FastText尝试通过将每个单词视为其子单词的集合来解决此问题。为了简单和独立于语言，将子词视为该词的字符n-gram（n元）。一个单词的向量被简单地认为是其组成特征图的所有向量之和。
与原始Word2Vec相比，FastText在语法任务上的表现要好得多，尤其是在训练语料库较小的情况下。在语义任务上，Word2Vec的性能略优于FastText。随着训练语料库大小的增加，差异变得越来越小。
FastText的训练时间明显长于Word2Vec的Gensim版本（15min 42s vs 6min 42s on text8, 17 mil tokens, 5 epochs, and a vector size of 100）。
总的来说，word2vec有一个很大的局限性，那就是该模型无法推断出不熟悉的单词的向量。如果这个限制了我们，那就尝试使用FastText模型。
FastText还有自己的预训练词向量
时刻记着自己要成为什么样的人！
