下面是拼写检查器很好的文章，本文参照该文，将实现java版
整个拼写检查器的基础就是贝叶斯概率模型
我简单的介绍一下它的工作原理. 给定一个单词, 我们的任务是选择和它最相似的拼写正确的单词. (如果这个单词本身拼写就是正确的, 那么最相近的就是它自己啦). 当然, 不可能绝对的找到相近的单词, 比如说给定 lates 这个单词, 它应该别更正为 late 呢 还是 latest 呢? 这些困难指示我们, 需要使用概率论, 而不是基于规则的判断. 我们说, 给定一个词 w, 在所有正确的拼写词中, 我们想要找一个正确的词 c, 使得对于 w 的条件概率最大, 也就是说:
argmax
c P(
c|
w)
按照
贝叶斯理论
上面的式子等价于:
argmax
c P(
w|
c) P(
c) / P(
w)
因为用户可以输错任何词, 因此对于任何 c 来讲, 出现 w 的概率 P(w) 都是一样的, 从而我们在上式中忽略它, 写成:
argmax
c P(
w|
c) P(
c)
这个式子有三个部分, 从右到左, 分别是:
1. P(c), 文章中出现一个正确拼写词 c 的概率, 也就是说, 在英语文章中, c 出现的概率有多大呢? 因为这个概率完全由英语这种语言决定, 我们称之为做
语言模型. 好比说, 英语中出现 the 的概率 P('the') 就相对高, 而出现 P('zxzxzxzyy') 的概率接近0(假设后者也是一个词的话).
2. P(w|c), 在用户想键入 c 的情况下敲成 w 的概率. 因为这个是代表用户会以多大的概率把 c 敲错成 w, 因此这个被称为
误差模型.
3. argmax
c, 用来枚举所有可能的 c 并且选取概率最大的, 因为我们有理由相信, 一个(正确的)单词出现的频率高, 用户又容易把它敲成另一个错误的单词, 那么, 那个敲错的单词应该被更正为这个正确的.
有人肯定要问, 你笨啊, 为什么把最简单的一个 P(
c
|
w
) 变成两项复杂的式子来计算? 答案是本质上 P(c|w) 就是和这两项同时相关的, 因此拆成两项反而容易处理. 举个例子, 比如一个单词 thew 拼错了. 看上去 thaw 应该是正确的, 因为就是把 a 打成 e 了. 然而, 也有可能用户想要的是 the, 因为 the 是英语中常见的一个词, 并且很有可能打字时候手不小心从 e 滑到 w 了. 因此, 在这种情况下, 我们想要计算 P(
c
|
w
), 就必须同时考虑 c 出现的概率和从 c 到 w 的概率. 把一项拆成两项反而让这个问题更加容易更加清晰.
使用到的语料库为:big.txt.
java 代码如下:
import java.util.*;
import java.io.*;
public class SpellCorrect{
public static void readLines(String file, ArrayList lines) {
BufferedReader reader = null;
try {
reader = new BufferedReader(new FileReader(new File(file)));
String line = null;
while ((line = reader.readLine()) != null) {
lines.add(line);
}
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
} finally {
if (reader != null) {
try {
reader.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
private static String readText(File file) {
String text = null;
try
{
InputStreamReader read = new InputStreamReader(new FileInputStream(file));
BufferedReader br = new BufferedReader(read);
StringBuffer buff = new StringBuffer();
while((text = br.readLine()) != null)
{
buff.append(text + "\r\n");
}
br.close();
text = buff.toString();
}
catch(FileNotFoundException e)
{
System.out.println(e);
}
catch(IOException e)
{
System.out.println(e);
}
return text;
}
public static void tokenizeAndLowerCase(String line, ArrayList tokens) {
// TODO Auto-generated method stub
StringTokenizer strTok = new StringTokenizer(line,"\r\n\t/\\\':\" ()[]{};.,#-_=!@$%^&*+1234567890");
while (strTok.hasMoreTokens()) {
String token = strTok.nextToken();
tokens.add(token.toLowerCase().trim());
}
}
public static void trainPrior(ArrayList str,Map map)
{
for(int i=0;i
{
if(map.containsKey(str.get(i)))
{
int tmp=map.get(str.get(i));
map.put(str.get(i),1+tmp);
}
else
map.put(str.get(i),1);
}
}
public static Set Edit1(String str){
Set array=new HashSet();
for(int i=0;i
{
String tmpstr=str.substring(0,i)+str.substring(i+1,str.length());
array.add(tmpstr);
}
for(int i=0;i
{
for(char x='a';x<='z';x++)
{
String tmpstr=str.substring(0,i)+x+str.substring(i,str.length());
array.add(tmpstr);
}
}
for(int i=0;i
{
String tmpstr=str.substring(0,i)+str.charAt(i+1)+str.charAt(i)+str.substring(i+2,str.length());
array.add(tmpstr);
}
for(int i=0;i
{
for(char x='a';x<='z';x++)
{
String tmpstr=str.substring(0,i)+x+str.substring(i+1,str.length());
array.add(tmpstr);
}
}
return array;
}
public static Set Edit2(String str){
Set array=new HashSet();
array=Edit1(str);
Set array2=new HashSet();
Iterator iter=array.iterator();
while(iter.hasNext())
{
String str1=iter.next();
array2.addAll(Edit1(str1));
}
return array2;
}
public static boolean kowns(Set checkset,Set wordset)
{
Iterator iter=checkset.iterator();
while(iter.hasNext())
{
String str=iter.next();
if(!wordset.contains(str))
iter.remove();
}
return checkset.size()>0;
}
public static void main(String[] args){
String text=readText(new File("big.txt"));
ArrayList s=new ArrayList();
tokenizeAndLowerCase(text,s);
Map map=new HashMap();
trainPrior(s,map);
Set keys=map.keySet();
// System.out.println(map.size());
Scanner scan=new Scanner(System.in);
System.out.println("spell correct starting");
while(true)
{
System.out.println("please input a term:");
String str=scan.next();
if("q".equals(str))
break;
Set edit1=Edit1(str);
Set edit2=Edit2(str);
boolean flag=kowns(new HashSet(Arrays.asList(str)),keys);
if(flag)
return;
Set edit=edit1;
flag=kowns(edit,keys);
if(!flag)
{
edit=edit2;
flag=kowns(edit,keys);
}
Iterator iter=edit.iterator();
int max=0;
int tmp=1;
String maxStr=null;
while(iter.hasNext())
{
String tmpStr = iter.next();
// System.out.println(tmpStr);
tmp=map.get(tmpStr);
if(max
{
maxStr=tmpStr;
max=tmp;
}
}
System.out.println(maxStr);
}
System.out.println("spell correct ending");
// Set> allSet=null;
// allSet=map.entrySet();
// for(Map.Entry me : allSet)
// System.out.println(me.getKey()+"-->"+me.getValue());
}
}
