盘古分词是一个基于 .net framework 的中英文分词组件。主要功能
中文未登录词识别
盘古分词可以对一些不在字典中的未登录词自动识别
词频优先
盘古分词可以根据词频来解决分词的歧义问题
多元分词
盘古分词提供多重输出解决分词粒度和分词精度权衡的问题
中文人名识别
输入: “张三说的确实在理”
分词结果:张三/说/的/确实/在理/
输入 “李三买了一张三角桌子”
分词结果:李三/买/了/一张/三角/桌子/
强制一元分词
输入 “张三说的确实在理”
分词结果: 张(0,1)/张三(0,5)/三说的(1,1)/三(1,1)/说(2,5)/的(3,5)/确(4,1)/确实(4,5)/实(5,1)/在 (6,1)/在理(6,5)/理(7,1)/
繁体中文分词
输入"我的選擇"
分词结果: 我/的/選擇/
同时输出简体和繁体
输入"我的選擇"
分词结果:我(0,5)/的(1,5)/选择(2,1)/選擇(2,5)/
中文词性输出
盘古分词可以将以登录词的中文词性输出给用户,以方便用户做进一步处理。
全角字符支持
盘古分词可以识别全角的字母和数字
在项目下新建Dict文件以及dll文件包含Lucene与盘古分词所需的组件及文件信息如图示
创建词库
#region 将数据库关键字表的数据生成到分词关键字库
/// <summary>
/// 将数据库关键字表的数据生成到分词关键字库
/// </summary>
public void CreateKeyWordLibrary()
{
try
{
m_Trace.Trace("CreateKeyWordLibrary m_IsRuning=" + m_IsRuning);
if (m_IsRuning)
return;
lock (m_lock)
{
m_IsRuning = true;
var indexPath = AppDomain.CurrentDomain.BaseDirectory + @"\Config\lucenedir";
var directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NativeFSLockFactory());
//指定索引文件(打开索引目录) FS指的是就是FileSystem
var isUpdate = IndexReader.IndexExists(directory);
//IndexReader:对索引进行读取的类。该语句的作用:判断索引库文件夹是否存在以及索引特征文件是否存在。
if (isUpdate)
{
//同时只能有一段代码对索引库进行写操作。当使用IndexWriter打开directory时会自动对索引库文件上锁。
//如果索引目录被锁定(比如索引过程中程序异常退出),则首先解锁(提示一下:如果我现在正在写着已经加锁了,但是还没有写完,这时候又来一个请求,那么不就解锁了吗?这个问题后面会解决)
if (IndexWriter.IsLocked(directory))
IndexWriter.Unlock(directory);
}
var writer = new IndexWriter(directory, new PanGuAnalyzer(), !isUpdate, Lucene.Net.Index.IndexWriter.MaxFieldLength.UNLIMITED);
//向索引库中写索引。这时在这里加锁。
using (var bll = new WxOpenMsgManageBll())
{
listKeyWord = bll.QueryWxKeyWordManage();
}
m_Trace.Trace("CreateKeyWordLibrary listKeyWord=" + listKeyWord.Count.ToString());
foreach (var keyword in listKeyWord)
{
var doc = new Document();
//Field.Store.YES:表示是否存储原值。只有当Field.Store.YES在后面才能用doc.Get("number")取出值来.Field.Index. NOT_ANALYZED:不进行分词保存
doc.Add(new Field("WxKeyWordManageId", keyword.WxKeyWordManageId.ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED));
doc.Add(new Field("ResponseType", keyword.ResponseType.ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED));
//Field.Index. ANALYZED:进行分词保存:也就是要进行全文的字段要设置分词 保存(因为要进行模糊查询)
//Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS:不仅保存分词还保存分词的距离。
doc.Add(new Field("KeyWord", keyword.KeyWord ?? "", Field.Store.YES, Field.Index.ANALYZED, Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS));
doc.Add(new Field("Contents", keyword.Contents ?? "", Field.Store.YES, Field.Index.NOT_ANALYZED));
doc.Add(new Field("FilePath", keyword.FilePath ?? "", Field.Store.YES, Field.Index.NOT_ANALYZED));
doc.Add(new Field("PicUrl", keyword.PicUrl ?? "", Field.Store.YES, Field.Index.NOT_ANALYZED));
doc.Add(new Field("Title", keyword.Title ?? "", Field.Store.YES, Field.Index.NOT_ANALYZED));
doc.Add(new Field("Descriptions", keyword.Descriptions ?? "", Field.Store.YES, Field.Index.NOT_ANALYZED));
doc.Add(new Field("MusicURL", keyword.MusicURL ?? "", Field.Store.YES, Field.Index.NOT_ANALYZED));
doc.Add(new Field("HQMusicUrl", keyword.HQMusicUrl ?? "", Field.Store.YES, Field.Index.NOT_ANALYZED));
doc.Add(new Field("Url", keyword.Url ?? "", Field.Store.YES, Field.Index.NOT_ANALYZED));
doc.Add(new Field("ArticleCount", keyword.ArticleCount.ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED));
writer.AddDocument(doc);
}
writer.Close();//会自动解锁。
directory.Close();//不要忘了Close,否则索引结果搜不到
m_IsRuning = false;
m_LastTime = DateTime.Now;
}
}
catch (Exception ex)
{
m_Trace.Trace("CreateKeyWordLibrary Exception=" + ex);
m_IsRuning = false;
}
}
#endregion
搜索关键字
#region 搜索关键字响应信息
/// <summary>
/// 搜索关键字响应信息
/// </summary>
/// <param name="messager"></param>
/// <returns></returns>
public string SearchKeyWord(WxMessager messager)
{
if (string.IsNullOrWhiteSpace(messager.Content))
return "";
try
{
var indexPath = AppDomain.CurrentDomain.BaseDirectory + @"\Config\lucenedir";
var list = PanGuSplitWord(messager.Content);//对用户输入的搜索条件进行拆分。
var directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NoLockFactory());
var reader = IndexReader.Open(directory, true);
var searcher = new IndexSearcher(reader);
var parser = new QueryParser(Lucene.Net.Util.Version.LUCENE_29, "KeyWord", new StandardAnalyzer(Lucene.Net.Util.Version.LUCENE_29));
var booleanQuery = new BooleanQuery();
foreach (string word in list)//先用空格,让用户去分词,空格分隔的就是词“计算机 专业”
{
var query1 = new TermQuery(new Term("KeyWord", word));
booleanQuery.Add(query1, Lucene.Net.Search.BooleanClause.Occur.SHOULD);
}
var collector = TopScoreDocCollector.create(1000, true);
searcher.Search(booleanQuery, null, collector);
var docs = collector.TopDocs(0, collector.GetTotalHits()).scoreDocs;
//得到所有查询结果中的文档,GetTotalHits():表示总条数 TopDocs(300, 20);//表示得到300(从300开始),到320(结束)的文档内容.
//可以用来实现分页功能
var viewModelList = new List<WxKeyWordManage>();
for (int i = 0; i < docs.Length; i++)
{
var keyWordManage = new WxKeyWordManage();
int docId = docs[i].doc;//得到查询结果文档的id(Lucene内部分配的id)
var doc = searcher.Doc(docId);//找到文档id对应的文档详细信息
keyWordManage.ArticleCount = Convert.ToInt32(doc.Get("ArticleCount"));
keyWordManage.Contents = doc.Get("Contents");
keyWordManage.Descriptions = doc.Get("Descriptions");
keyWordManage.FilePath = doc.Get("FilePath");
keyWordManage.HQMusicUrl = doc.Get("HQMusicUrl");
keyWordManage.KeyWord = doc.Get("KeyWord");
keyWordManage.MusicURL = doc.Get("MusicURL");
keyWordManage.PicUrl = doc.Get("PicUrl");
keyWordManage.ResponseType = Convert.ToInt32(doc.Get("ResponseType"));
keyWordManage.Title = doc.Get("Title");
keyWordManage.Url = doc.Get("Url");
viewModelList.Add(keyWordManage);
}
if (viewModelList != null && viewModelList.Count > 0)
{
//获取到相应的数据--响应给用户
var first = viewModelList.FirstOrDefault();//根据搜索规则第一条为最佳匹配项
//0-文本1-图片2-语音3-视频4-音乐5-图文
var resp_type = first.ResponseType;
switch (resp_type)
{
case 0://文本信息
return messager.ToTextMessageXml(first.Contents.Replace("@@H5Domain@@", AirwayKeeperModel.KTGJDomainName));
case 1://图片
string picUrl = first.PicUrl;
var image = WxUpLoad(picUrl);
if (!string.IsNullOrWhiteSpace(image.media_id))
return messager.ToImageMessageXml(image.media_id);
break;
case 2://语音
break;
case 3://视频
break;
case 4://音乐
break;
case 5://图文
break;
default:
break;
}
}
}
catch (Exception ex)
{
m_Trace.Trace("SearchKeyWord Exception=" + ex);
}
return "";
}
#endregion
根据搜索结果处理相关业务即可
例如
回复内容:<a href='http://h5.ktgj.com/h5/WMyPoints'>点我查看</a>我的积分
引导用户跳转H5网页查询相关业务数据
网盘资料