安装
- 全自动：easy_install jieba 或者 pip install jieba 或者pip3 install jieba
- 手 动：jieba 目录放置于当前目录或者 site-packages 目录
- 半自动：下载http://pypi.python.org/pypi/jieba/、解压、运行python setup.py install
算法
- 基于统计词典，构造前缀词典；基于前缀词典对句子进行切分，得到所有切分可能；根据切分位置，构造一个有向无环图(DAG)
- 基于DAG图，采用动态规划计算最大概率路径(最有可能的分词结果)，根据最大概率路径分词
- 对于未登录词(词库中没有的词)，采用有汉字成词能力的 HMM 模型进行切分
- 注： jieba中没有使用trie树作为前缀词典存储的数据结构，用的是前缀集合,如set([‘数’, ‘数据’, ‘数据结’, ‘数据结构’])
功能
1、分词(三种分词模式 )
A、精确模式：将句子精确切开，适合文本分析。默认是精确模式。
B、全模式：将句中所有可以成词的词语都扫描出来，适合用于搜索引擎构建倒排索引的分词，粒度比较细
C、搜索引擎模式：在精确模式基础上，对长词再次切分，适合搜索引擎
注：当指定jieba.cut_for_search或jieba.cut的参数HMM=True时，就有了新词发现的能力
# encoding=utf-8
import jieba
# 精确模式
seg_list = jieba.cut("我去过清华大学和北京大学。")
print(unicode("精确模式: ","utf-8")+ "/ ".join(seg_list))
# 全模式
seg_list = jieba.cut("我去过清华大学和北京大学。", cut_all=True)
print(unicode("全模式: ","utf-8") + "/ ".join(seg_list))
# 搜索引擎模式
seg_list = jieba.cut_for_search("我去过清华大学和北京大学。")
print(unicode("搜索引擎模式: ","utf-8") + "/ ".join(seg_list))
# 精确模式/全模式下-新词发现 “杭研”没有在词典中，也被HMM模型 Viterbi算法识别出来
seg_list = jieba.cut("他来到了网易杭研大厦",HMM=True)
print(unicode("精确模式/全模式-新词发现: ","utf-8") + "/ ".join(seg_list))
# 搜索引擎模式下-新词发现 “杭研”没有在词典中，也被HMM模型 Viterbi算法识别出来
seg_list = jieba.cut_for_search("他来到了网易杭研大厦",HMM=True)
print(unicode("搜索引擎模式-新词发现: ","utf-8") + "/ ".join(seg_list))
#print result：
#精确模式: 我/ 去过/ 清华大学/ 和/ 北京大学/ 。
#全模式: 我/ 去过/ 清华/ 清华大学/ 华大/ 大学/ 和/ 北京/ 北京大学/ 大学/ /
#搜索引擎模式: 我/ 去过/ 清华/ 华大/ 大学/ 清华大学/ 和/ 北京/ 大学/ 北京大学/ 。
#精确模式/全模式-新词发现: 他/ 来到/ 了/ 网易/ 杭研/ 大厦
#搜索引擎模式-新词发现: 他/ 来到/ 了/ 网易/ 杭研/ 大厦2、添加自定义用户词典
Jieba 有新词发现能力，但添加用户词典可以保证更高的正确率。
无用户词典下中英文分词示例
# encoding=utf-8
import jieba
data=[
"世界经济论坛也叫达沃斯论坛。",
"The World Economic Forum is also called the Davos Forum."
]
for d in data:
seg_list = jieba.cut(d)
#词与词之间用","连接
print(",".join(seg_list))
#无用户词典下中英文分词结果
# 世界, 经济, 论坛, 也, 叫, 达沃斯, 论坛,。
# The,, World,, Economic,, Forum,, is, , also,, called,, the,, >Davos,, Forum,.有用户词典下的中英文分词
# encoding=utf-8
import jieba
"""
默认格式下的用户词典"dict/userdict：
世界经济论坛 n
达沃斯论坛 n
World Economic Forum n
Davos Forum n
"""
# 加载用户词典
jieba.load_userdict("dict/userdict")
# 测试用户词典
data=[
"世界经济论坛也叫达沃斯论坛。",
"The World Economic Forum is also called the Davos Forum."
]
for d in data:
seg_list = jieba.cut(d)
#词与词之间用","连接
print(",".join(seg_list))
#默认格式用户词典下中英文分词结果
# 世界经济论坛,也,叫,达沃斯论坛,。
# The, ,World, ,Economic, ,Forum, ,is, ,also, ,called, ,the, ,Davos, >,Forum,.可以看到jieba分词在默认格式下，中文没问题，英文专有名词不太理想。不过，可以通过修改jieba包中的init.py文件几个正则来解决。
修改格式后用户词典下中英文分词示例
# encoding=utf-8
import jieba
"""
修改格式后的用户词典"dict/userdict：用@@来间隔词、词频、词性
世界经济论坛@@n
达沃斯论坛@@n
World Economic Forum@@n
Davos Forum@@n
"""
# 加载用户词典
jieba.load_userdict("dict/userdict")
# 测试用户词典
data=[
"世界经济论坛也叫达沃斯论坛。",
"The World Economic Forum is also called the Davos Forum."
]
for d in data:
seg_list = jieba.cut(d)
#词与词之间用","连接
print(",".join(seg_list))
#修改格式后中英文分词结果
# 世界经济论坛,也,叫,达沃斯论坛,。
# The, ,World Economic Forum, ,is, ,also, ,called, ,the, ,Davos >Forum,.3、关键词提取
基于 TF-IDF 算法的关键词抽取
jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=(‘ns’, ‘n’, ‘vn’, ‘v’))
参数解释：
(1)sentence ：待提取的文本；
(2)topK ：返回K个权重最大的关键词
(3)withWeight ：是否返回权重
(4)allowPOS ：是否仅包括指定词性的词
# encoding=utf-8
#关键词提取
import jieba.analyse
kWords = jieba.analyse.extract_tags("此外，公司拟对全资子公司吉林欧亚置业>有限公司增资4.3亿元，增资后，吉林欧亚置业注册资本由7000万元增加到5亿元。>吉林欧亚置业主要经营范围为房地产开发及百货零售等业务。目前在建吉林欧亚城>市商业综合体项目。2013年，实现营业收入0万元，实现净利润-139.13万元。", >topK=5,withWeight=True)
for word,weight in kWords:
# print(word+":"+weight)
print word,":",weight
#结果
# 欧亚 : 0.730014270029
# 吉林 : 0.659038184374
# 置业 : 0.488713452211
# 万元 : 0.339272248186
# 增资 : 0.335824019852
"""
注： 关键词提取所使用逆文频（IDF）库、停用词库可切换成自定路径
基于 TextRank 算法的关键词抽取
jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=(‘ns’, ‘n’, ‘vn’, ‘v’))
参数解释：
(1)sentence ：待提取的文本；
(2)topK ：返回K个权重最大的关键词
(3)withWeight ：是否返回权重
(4)allowPOS ：是否仅包括指定词性的词
TextRank基本思想：
(1)分词
(2)找词之间共现关系，构建图
(3)计算图中节点的PageRank
"""4、词性标注
import jieba.posseg as pseg
words = pseg.cut("我爱北京天安门")
for word, flag in words:
print('%s %s' % (word, flag))
#词性
#我 r
#爱 v
#北京 ns
#天安门 ns5、并行分词
原理：
文本按行分隔后，分配到多个 Python 进程并行分词，最后归并结果。
用法：
jieba.enable_parallel(4) # 开启并行分词模式，参数为并行进程数
jieba.disable_parallel() # 关闭并行分词模式
效果：
在 4 核 3.4GHz Linux 机器上，对金庸全集进行精确分词，获得了 1MB/s 的速度，是单进程版的 3.3 倍。
注意：
并行分词仅支持默认分词器 jieba.dt 和 jieba.posseg.dt。目前暂不支持 Windows
6、返回词语在原文的起止位置
import jieba
result = jieba.tokenize(u'永和服装饰品有限公司')
for tk in result:
print("word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2]))
#结果
#word 永和 start: 0 end:2
#word 服装 start: 2 end:4
#word 饰品 start: 4 end:6
#word 有限公司 start: 6 end:10
#word 不是 start: 10 end:12
