Python开发 之 Jieba分词示例

文章目录

• ​​1、唠唠叨叨​​
• ​​2、先看一下效果吧​​
• ​​3、核心代码​​

• ​​3.1、分词​​
• ​​3.2、读取Excel文件​​
• ​​3.3、去除数组中的\n符​​

• ​​4、Github源码分享​​
• ​​5、其它小知识​​

• ​​5.1、在github.com的README中添加image图片​​

1、唠唠叨叨

之前讲述过关于Jieba分词的内容，最近又有关于这方面的需求，于是做了一个小示例来学习。此示例先获取xlsx文件的语料内容，然后再针对语料进行分词。

回顾一下：

• ​​Python第三方库jieba（中文分词）入门与进阶（官方文档）​​

2、先看一下效果吧

3、核心代码

3.1、分词

• 全模式

seg_list = jieba.cut(label, cut_all=True)

• 精确模式

seg_list = jieba.cut(label, cut_all=False)

• 搜索引擎模式

seg_list = jieba.cut_for_search(label)

• 默认模式（默认是精确模式）

seg_list = jieba.cut(label)

• TextRank 关键词抽取，只获取固定词性

words = jieba.analyse.textrank(label, topK=50, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v'))

• 去除标点符号（去除所有半角全角符号，只留字母、数字、中文）

rule = re.compile(u"[^a-zA-Z0-9\u4e00-\u9fa5]")
label = rule.sub('',label)

• 去除标点符号（手工指定标点符号）

punctuation ="""！？｡＂＃＄％＆＇（）＊＋－／：；＜＝＞＠［＼］＾＿｀｛｜｝～｟｠｢｣､、〃》「」『』【】〔〕〖〗〘〙〚〛〜〝〞〟〰〾〿–—‘'‛“”„‟…‧﹏"""
re_punctuation ="[{}]+".format(punctuation)
label = re.sub(re_punctuation, "", label).strip()

3.2、读取Excel文件

• 打开文件

workbook = xlrd.open_workbook(path)

• 根据sheet索引或者名称获取sheet内容

sheet = workbook.sheet_by_index(page)

• sheet的名称，行数，列数

print("Sheet的名称:", sheet.name, ",行数:", sheet.nrows, ",列数:", sheet.ncols)

• 获取Excel内容

sheet.cell_value(rown, coln)

3.3、去除数组中的\n符

s = [x.strip() for x in item_arr]

4、Github源码分享

​​https://github.com/ShaShiDiZhuanLan/Demo_Jieba_Python​​

5、其它小知识

5.1、在github.com的README中添加image图片

先上传图片到项目中，然后提交完图片之后在项目中找到图片的url

makedown 写 README：

# 6、运行效果 
![image](在github上的图片url)

效果：