朴素贝叶斯公式
P(A,B) = P(A) * P(B|A)
P(A|B) = P(A,B) / P(B) = P(A) * P(B|A) / P(B)
独立性假设不合理的地方,对于一些语言有先后依赖的关系的语言模型,比如本田雅阁,和本田奔驰,雅阁和奔驰出现的概率不一致情况
一元模型Unigram:词与词之间是相互独立的
p(w1,w2,w3)=p(w1) * p(w2) * p(w3)
二元模型Bigram:当前词只依赖1个单词 – 一阶马尔科夫模型
p(w1,w2,w3)= p(w1)*p(w2|w1)*p(w3|w2)
三元模型Unigram:当前词只依赖2个单词 – 二阶马尔科夫模型
p(w1,w2,w3)= p(w1)*p(w2|w1)*p(w3|w2,w1)
N元模型Unigram:当前词只依赖(N-1)个单词 – N-1阶马尔科夫模型