NLP 民工的乐园

今天在 GitHub 上看到一个非常受欢迎的仓库，33.7K。

https://github.com/fighting41love/funNLP

它几乎最全的中文 NLP 资源库，很多包非常有趣，也很实用，可以完全满足大家的收藏癖，如果有帮助，也请分享给你的朋友们。

列举如下：

1. textfilter: 中英文敏感词过滤  observerss/textfilter^[1]

>>> f = DFAFilter()
>>> f.add("sexy")
>>> f.filter("hello sexy baby")
hello **** baby

敏感词包括政治、脏话等话题词汇。其原理主要是基于词典的查找（项目中的keyword文件），内容很劲爆。。。

2. langid：97种语言检测 https://github.com/saffsd/langid.py^[2]

pip install langid

>>> import langid
>>> langid.classify("This is a test")
('en', -54.41310358047485)

3. langdetect：另一个语言检测https://code.google.com/archive/p/language-detection/^[3]

pip install langdetect

from langdetect import detect
from langdetect import detect_langs

s1 = "本篇博客主要介绍两款语言探测工具，用于区分文本到底是什么语言，"
s2 = 'We are pleased to introduce today a new technology'
print(detect(s1))
print(detect(s2))
print(detect_langs(s3))    # detect_langs()输出探测出的所有语言类型及其所占的比例

输出结果如下：注：语言类型主要参考的是ISO 639-1语言编码标准，详见ISO 639-1百度百科^[4]

跟上一个语言检测比较，准确率低，效率高。

4. phone 中国手机归属地查询： ls0f/phone^[5]

已集成到 python package cocoNLP^[6]中，欢迎试用

from phone import Phone
p  = Phone()
p.find(18100065143)
#return {'phone': '18100065143', 'province': '上海', 'city': '上海', 'zip_code': '200000', 'area_code': '021', 'phone_type': '电信'}

支持号段: 13*,15*,18*,14[5,7],17[0,6,7,8]

记录条数: 360569 (updated:2017年4月)

作者提供了数据phone.dat^[7] 方便非python用户Load数据。

5. phone国际手机、电话归属地查询：AfterShip/phone^[8]

npm install phone

import phone from 'phone';
phone('[phone]'); // return ['[phone]', 'HKG']
phone('[phone]'); // return ['[phone], 'USA']

6. ngender 根据名字判断性别：observerss/ngender^[9] 基于朴素贝叶斯计算的概率

pip install ngender

>>> import ngender
>>> ngender.guess('赵本山')
('male', 0.9836229687547046)
>>> ngender.guess('宋丹丹')
('female', 0.9759486128949907)

7. 抽取email的正则表达式

已集成到 python package cocoNLP^[10]中，欢迎试用

email_pattern = '^[*#\u4e00-\u9fa5 a-zA-Z0-9_.-]+@[a-zA-Z0-9-]+(\.[a-zA-Z0-9-]+)*\.[a-zA-Z0-9]{2,6}$'
emails = re.findall(email_pattern, text, flags=0)

8. 抽取phone_number的正则表达式

已集成到 python package cocoNLP^[11]中，欢迎试用

cellphone_pattern = '^((13[0-9])|(14[0-9])|(15[0-9])|(17[0-9])|(18[0-9]))\d{8}$'
phoneNumbers = re.findall(cellphone_pattern, text, flags=0)

9. 抽取身份证号的正则表达式

IDCards_pattern = r'^([1-9]\d{5}[12]\d{3}(0[1-9]|1[012])(0[1-9]|[12][0-9]|3[01])\d{3}[0-9xX])$'
IDs = re.findall(IDCards_pattern, text, flags=0)

10.  人名语料库： wainshine/Chinese-Names-Corpus^[12]

人名抽取功能 python package cocoNLP^[13]，欢迎试用

中文（现代、古代）名字、日文名字、中文的姓和名、称呼（大姨妈、小姨妈等）、英文->中文名字（李约翰）、成语词典

（可用于中文分词、姓名识别）

11. 中文缩写库：github^[14]

全国人大: 全国/n 人民/n 代表大会/n
中国: 中华人民共和国/ns
女网赛: 女子/n 网球/n 比赛/vn

12. 汉语拆字词典：kfcd/chaizi^[15]

漢字 拆法 (一) 拆法 (二) 拆法 (三)
拆 手 斥 扌 斥 才 斥

13. 词汇情感值：rainarch/SentiBridge^[16]

山泉水 充沛 0.400704566541 0.370067395878
视野         宽广 0.305762728932 0.325320747491
大峡谷 惊险 0.312137906517 0.378594957281

14. 中文词库、停用词、敏感词 dongxiexidian/Chinese^[17]

此package的敏感词库分类更细：

反动词库^[18]， 敏感词库表统计^[19]， 暴恐词库^[20]， 民生词库^[21]， 色情词库^[22]

15. 汉字转拼音：mozillazg/python-pinyin^[23]

文本纠错会用到

16. 中文繁简体互转：skydark/nstools^[24]

17. 英文模拟中文发音引擎 funny chinese text to speech enginee：tinyfool/ChineseWithEnglish^[25]

say wo i ni
#说：我爱你

相当于用英文音标，模拟中文发音。

18. 汪峰歌词生成器：phunterlau/wangfeng-rnn^[26]

我在这里中的夜里
就像一场是一种生命的意旪
就像我的生活变得在我一样
可我们这是一个知道
我只是一天你会怎吗

19. 同义词库、反义词库、否定词库：guotong1988/chinese_dictionary^[27]

20. 无空格英文串分割、抽取单词：wordninja^[28]

>>> import wordninja
>>> wordninja.split('derekanderson')
['derek', 'anderson']
>>> wordninja.split('imateapot')
['im', 'a', 'teapot']

21. IP地址正则表达式：

(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)

22. 腾讯QQ号正则表达式：

[1-9]([0-9]{5,11} "1-9")

23. 国内固话号码正则表达式：

[0-9-()（）]{7,18}

24. 用户名正则表达式：

[A-Za-z0-9_\-\u4e00-\u9fa5]+

25. 汽车品牌、汽车零件相关词汇：

见本repo的data文件 [data](https://github.com/fighting41love/funNLP/tree/master/data "data")

26. 时间抽取：

已集成到 python package cocoNLP^[29]中，欢迎试用

在2016年6月7日9:44执行測試，结果如下

Hi，all。下周一下午三点开会

>> 2016-06-13 15:00:00-false

周一开会

>> 2016-06-13 00:00:00-true

下下周一开会

>> 2016-06-20 00:00:00-true

java version^[30]

python version^[31]

27. 各种中文词向量： github repo^[32]

中文词向量大全

28. 公司名字大全： github repo^[33]

29. 古诗词库： github repo^[34]更全的古诗词库^[35]

30. THU整理的词库： link^[36]

已整理到本repo的data文件夹中.

IT词库、财经词库、成语词库、地名词库、历史名人词库、诗词词库、医学词库、饮食词库、法律词库、汽车词库、动物词库

31. 中文聊天语料 link^[37]

该库搜集了包含:豆瓣多轮, PTT八卦语料, 青云语料, 电视剧对白语料, 贴吧论坛回帖语料,微博语料,小黄鸡语料

32. 中文谣言数据: github^[38]

该数据文件中，每一行为一条json格式的谣言数据，字段释义如下：

rumorCode: 该条谣言的唯一编码，可以通过该编码直接访问该谣言举报页面。
title: 该条谣言被举报的标题内容
informerName: 举报者微博名称
informerUrl: 举报者微博链接
rumormongerName: 发布谣言者的微博名称
rumormongerUr: 发布谣言者的微博链接
rumorText: 谣言内容
visitTimes: 该谣言被访问次数
result: 该谣言审查结果
publishTime: 该谣言被举报时间

33. 情感波动分析：github^[39]

词库已整理到本repo的data文件夹中.

本repo项目是一个通过与人对话获得其情感值波动图谱, 内用词库在data文件夹中.

34. 中文问答数据集：链接^[40] 提取码: 2dva

35. 句子、QA相似度匹配:MatchZoo  github^[41]

文本相似度匹配算法的集合，包含多个深度学习的方法，值得尝试。

36. bert资源：

• bert论文中文翻译: link^[42]
• bert原作者的slides: link^[43]提取码: iarj
• 文本分类实践: github^[44]
• bert tutorial文本分类教程: github^[45]
• bert pytorch实现:  github^[46]
• bert用于中文命名实体识别 tensorflow版本: github^[47]
• BERT生成句向量，BERT做文本分类、文本相似度计算github^[48]
• bert 基于 keras 的封装分类标注框架 Kashgari，几分钟即可搭建一个分类或者序列标注模型: github^[49]
• bert、ELMO的图解：github^[50]
• BERT: Pre-trained models and downstream applications: github^[51]

37. Texar - Toolkit for Text Generation and Beyond: github^[52]

• 基于Tensorflow的开源工具包，旨在支持广泛的机器学习，特别是文本生成任务，如机器翻译、对话、摘要、内容处置、语言建模等

38. 中文事件抽取： github^[53]

• 中文复合事件抽取，包括条件事件、因果事件、顺承事件、反转事件等事件抽取，并形成事理图谱。

39. cocoNLP: github^[54]

人名、地址、邮箱、手机号、手机归属地 等信息的抽取，rake短语抽取算法。

pip install cocoNLP

>>> from cocoNLP.extractor import extractor

>>> ex = extractor()

>>> text = '急寻特朗普，男孩，于2018年11月27号11时在陕西省安康市汉滨区走失。丢失发型短发，...如有线索，请迅速与警方联系：18100065143，132-6156-2938，[e-mail] 和yangyangfuture at gmail dot com'

# 抽取邮箱
>>> emails = ex.extract_email(text)
>>> print(emails)

['[e-mail]', '[e-mail]']
# 抽取手机号
>>> cellphones = ex.extract_cellphone(text,nation='CHN')
>>> print(cellphones)

['18100065143', '13261562938']
# 抽取手机归属地、运营商
>>> cell_locs = [ex.extract_cellphone_location(cell,'CHN') for cell in cellphones]
>>> print(cell_locs)

cellphone_location [{'phone': '18100065143', 'province': '上海', 'city': '上海', 'zip_code': '200000', 'area_code': '021', 'phone_type': '电信'}]
# 抽取地址信息
>>> locations = ex.extract_locations(text)
>>> print(locations)
['陕西省安康市汉滨区', '安康市汉滨区', '汉滨区']
# 抽取时间点
>>> times = ex.extract_time(text)
>>> print(times)
time {"type": "timestamp", "timestamp": "2018-11-27 11:00:00"}
# 抽取人名
>>> name = ex.extract_name(text)
>>> print(name)
特朗普

40. 国内电话号码正则匹配（三大运营商+虚拟等）: github^[55]

41. 清华大学XLORE:中英文跨语言百科知识图谱: link^[56]

上述链接中包含了所有实体及关系的TTL文件，更多数据将在近期发布。概念，实例，属性和上下位关系数目

	百度	中文维基	英文维基	总数
概念数量	32,009	150,241	326,518	508,768
实例数量	1,629,591	640,622	1,235,178	3,505,391
属性数量	157,370	45,190	26,723	229.283
InstanceOf	7,584,931	1,449,925	3,032,515	12,067,371
SubClassOf	2,784	191,577	555,538	749,899

跨语言连接（概念/实例）

	百度	中文维基	英文维基
百度	-	10,216/336,890	4,846/303,108
中文维基	10,216/336,890	-	28,921/454,579
英文维基	4,846/303,108	28,921/454,579	-

42. 清华大学人工智能技术系列报告： link^[57]

每年会出AI领域相关的报告，内容包含

• 自然语言处理 link^[58]
• 知识图谱 link^[59]
• 数据挖掘 link^[60]
• 自动驾驶 link^[61]
• 机器翻译 link^[62]
• 区块链 link^[63]
• 机器人 link^[64]
• 计算机图形学 link^[65]
• 3D打印 link^[66]
• 人脸识别 link^[67]
• 人工智能芯片 link^[68]
• 等等

43.自然语言生成方面:

• Ehud Reiter教授的博客^[69]  北大万小军教授强力推荐，该博客对NLG技术、评价与应用进行了深入的探讨与反思。
• 文本生成相关资源大列表^[70]
• 自然语言生成：让机器掌握自动创作的本领 - 开放域对话生成及在微软小冰中的实践^[71]
• 文本生成控制^[72]
• 自然语言生成相关资源大列表^[73]
• 用BLEURT评价自然语言生成^[74]

44.:jieba^[75]和hanlp^[76]就不必介绍了吧。

45.NLP太难了系列: github^[77]

• 来到杨过曾经生活过的地方，小龙女动情地说：“我也想过过过儿过过的生活。”
• 来到儿子等校车的地方，邓超对孙俪说：“我也想等等等等等过的那辆车。”
• 赵敏说：我也想控忌忌己不想无忌。
• 你也想犯范范范玮琪犯过的错吗
• 对叙打击是一次性行为？

46.自动对联数据及机器人:

70万对联数据 link^[78]

代码 link^[79]

上联	下联
殷勤怕负三春意	潇洒难书一字愁
如此清秋何吝酒	这般明月不须钱

47.用户名黑名单列表： github^[80]包含了用户名禁用列表，比如: link^[81]

administrator
administration
autoconfig
autodiscover
broadcasthost
domain
editor
guest
host
hostmaster
info
keybase.txt
localdomain
localhost
master
mail
mail0
mail1

48.罪名法务名词及分类模型:   github^[82]

包含856项罪名知识图谱, 基于280万罪名训练库的罪名预测,基于20W法务问答对的13类问题分类与法律资讯问答功能

49.微信公众号语料: github^[83]

3G语料，包含部分网络抓取的微信公众号的文章，已经去除HTML，只包含了纯文本。每行一篇，是JSON格式，name是微信公众号名字，account是微信公众号ID，title是题目，content是正文

50.cs224n深度学习自然语言处理课程：link^[84]

• 课程中模型的pytorch实现 link^[85]
• 面向深度学习研究人员的自然语言处理实例教程 link^[86]

51.中文手写汉字识别：github^[87]

52.中文自然语言处理 语料/数据集：github^[88]竞品：THUOCL（THU Open Chinese Lexicon）中文词库^[89]

53.变量命名神器：github^[90]link^[91]

54.分词语料库+代码：百度网盘链接^[92]

• 提取码: pea6
• keras实现的基于Bi-LSTM + CRF的中文分词+词性标注^[93]
• 基于Universal Transformer + CRF 的中文分词和词性标注^[94]
• 快速神经网络分词包 java version^[95]

55. NLP新书推荐《Natural Language Processing》by Jacob Eisenstein： link^[96]

56. 任务型对话英文数据集：   github^[97]

【最全任务型对话数据集】主要介绍了一份任务型对话数据集大全，这份数据集大全涵盖了到目前在任务型对话领域的所有常用数据集的主要信息。此外，为了帮助研究者更好的把握领域进展的脉络，我们以Leaderboard的形式给出了几个数据集上的State-of-the-art实验结果。

57. ASR 语音数据集 + 基于深度学习的中文语音识别系统：  github^[98]

• Data Sets 数据集注：数据集解压方法$ tar xzf data_aishell.tgz$ cd data_aishell/wav $ for tar in *.tar.gz;  do tar xvf $tar; done

• Primewords Chinese Corpus Set 1
  primewords_md_2018_set1.tar.gzOpenSLR国内镜像^[109]OpenSLR国外镜像^[110]
• 清华大学THCHS30中文语音数据集
  data_thchs30.tgzOpenSLR国内镜像^[99]OpenSLR国外镜像^[100]
  test-noise.tgzOpenSLR国内镜像^[101]OpenSLR国外镜像^[102]
  resource.tgzOpenSLR国内镜像^[103]OpenSLR国外镜像^[104]
• Free ST Chinese Mandarin Corpus
  ST-CMDS-20170001_1-OS.tar.gzOpenSLR国内镜像^[105]OpenSLR国外镜像^[106]
• AIShell-1 开源版数据集
  data_aishell.tgzOpenSLR国内镜像^[107]OpenSLR国外镜像^[108]

58. 笑声检测器：  github^[111]

59. Microsoft多语言数字/单位/如日期时间识别包： [github](https://github.com/Microsoft/Recognizers-Text

60. chinese-xinhua 中华新华字典数据库及api，包括常用歇后语、成语、词语和汉字 github^[112]

61. 文档图谱自动生成 github^[113]

• TextGrapher - Text Content Grapher based on keyinfo extraction by NLP method。输入一篇文档，将文档进行关键信息提取，进行结构化，并最终组织成图谱组织形式，形成对文章语义信息的图谱化展示

62. SpaCy 中文模型 github^[114]

• 包含Parser, NER, 语法树等功能。有一些英文package使用spacy的英文模型的，如果要适配中文，可能需要使用spacy中文模型。

63. Common Voice语音识别数据集新版  link^[115]

• 包括来自42,000名贡献者超过1,400小时的语音样本，涵github

64. 神经网络关系抽取 pytorch  github^[116]

• 暂不支持中文

65. 基于bert的命名实体识别 pytorch  github^[117]

• 暂不支持中文

66. 关键词(Keyphrase)抽取包 pke  github^[118]

pke: an open source python-based keyphrase extraction toolkit^[119]

• 暂不支持中文，我于近期对其进行修改，使其适配中文。请关注我的github动态，谢谢！

67. 基于医疗领域知识图谱的问答系统  github^[120]

• 该repo参考了github^[121]

68. 基于依存句法与语义角色标注的事件三元组抽取  github^[122]

69. 依存句法分析4万句高质量标注数据 by 苏州大学汉语依存树库（SUCDT）Homepage^[123]数据下载详见homepage底部，需要签署协议，需要邮件接收解压密码。

70. cnocr：用来做中文OCR的Python3包，自带了训练好的识别模型 github^[124]

71. 中文人物关系知识图谱项目 github^[125]

• 中文人物关系图谱构建
• 基于知识库的数据回标
• 基于远程监督与bootstrapping方法的人物关系抽取
• 基于知识图谱的知识问答等应用

72. 中文nlp竞赛项目及代码汇总 github^[126]

• 文本生成、文本摘要：Byte Cup 2018 国际机器学习竞赛
• 知识图谱：瑞金医院MMC人工智能辅助构建知识图谱大赛
• 视频识别 问答：2018之江杯全球人工智能大赛：视频识别&问答

73. 中文字符数据 github^[127]

• 简/繁体汉字笔顺
• 矢量笔画

74. speech-aligner: 从“人声语音”及其“语言文本”，产生音素级别时间对齐标注的工具 github^[128]

75. AmpliGraph: 知识图谱表示学习(Python)库：知识图谱概念链接预测 github^[129]

• 埃森哲出品，目前尚不支持中文

76. Scattertext 文本可视化(python) github^[130]

• 很好用的工具包，简单修改后可支持中文
• 能否分析出某个类别的文本与其他文本的用词差异

77. 语言/知识表示工具：BERT & ERNIE github^[131]

• 百度出品，ERNIE也号称在多项nlp任务中击败了bert

78. 中文对比英文自然语言处理NLP的区别综述 ​​link​​

79. Synonyms中文近义词工具包 github^[132]

• Synonyms 中文近义词工具包，可以用于自然语言理解的很多任务：文本对齐，推荐算法，相似度计算，语义偏移，关键字提取，概念提取，自动摘要，搜索引擎等

80. HarvestText领域自适应文本挖掘工具（新词发现-情感分析-实体链接等） github^[133]

81. word2word：(Python)方便易用的多语言词-词对集：62种语言/3,564个多语言对 github^[134]

82. 语音识别语料生成工具：从具有音频/字幕的在线视频创建自动语音识别(ASR)语料库 github^[135]

83. ASR语音大辞典/词典： github^[136]

84. 构建医疗实体识别的模型，包含词典和语料标注，基于python: github^[137]

85. 单文档非监督的关键词抽取： github^[138]

86. Kashgari中使用gpt-2语言模型 github^[139]

87.  开源的金融投资数据提取工具 github^[140]

88. 文本自动摘要库TextTeaser: 仅支持英文 github^[141]

89. 人民日报语料处理工具集 github^[142]

90. 一些关于自然语言的基本模型 github^[143]

91. 基于14W歌曲知识库的问答尝试，功能包括歌词接龙，已知歌词找歌曲以及歌曲歌手歌词三角关系的问答 github^[144]

92. 基于Siamese bilstm模型的相似句子判定模型,提供训练数据集和测试数据集 github^[145]

• 提供了10万个训练样本

93. 用Transformer编解码模型实现的根据Hacker News文章标题自动生成评论 github^[146]

94. 用BERT进行序列标记和文本分类的模板代码 github^[147]

95. LitBank：NLP数据集——支持自然语言处理和计算人文学科任务的100部带标记英文小说语料 github^[148]

96. 百度开源的基准信息抽取系统 github^[149]

97. 虚假新闻数据集 fake news corpus github^[150]

98. Facebook: LAMA语言模型分析，提供Transformer-XL/BERT/ELMo/GPT预训练语言模型的统一访问接口 github^[151]

• 用于分析预训练语言模型中包含的事实和常识知识的探针。

99. CommonsenseQA：面向常识的英文QA挑战 link^[152]

100. 中文知识图谱资料、数据及工具 github^[153]

101. 各大公司内部里大牛分享的技术文档 PDF 或者 PPT github^[154]

102. 自然语言生成SQL语句（英文） github^[155]

103. 中文NLP数据增强（EDA）工具 github^[156]

• [ ] 英文NLP数据增强工具 github^[157]
• [ ] 一键中文数据增强工具 github^[158]

104. 基于医药知识图谱的智能问答系统 github^[159]

105. 京东商品知识图谱 github^[160]

• 基于京东网站的1300种商品上下级概念，约10万商品品牌，约65万品牌销售关系，商品描述维度等知识库，基于该知识库可以支持商品属性库构建，商品销售问答，品牌物品生产等知识查询服务，也可用于情感分析等下游应用．

106. 基于mongodb存储的军事领域知识图谱问答项目 github^[161]

• 基于mongodb存储的军事领域知识图谱问答项目，包括飞行器、太空装备等8大类，100余小类，共计5800项的军事武器知识库，该项目不使用图数据库进行存储，通过jieba进行问句解析，问句实体项识别，基于查询模板完成多类问题的查询，主要是提供一种工业界的问答思想demo。

107. 基于远监督的中文关系抽取 github^[162]

108. 语音情感分析 github^[163]

109. 中文ULMFiT 情感分析 文本分类 语料及模型 github^[164]

110. 一个拍照做题程序。输入一张包含数学计算题的图片，输出识别出的数学计算式以及计算结果 github^[165]

111. 世界各国大规模人名库 github^[166]

112. 一个利用有趣中文语料库 qingyun 训练出来的中文聊天机器人 github^[167]

• 使用了青云语料10万语料，本repo中也有该语料的链接

113. 中文聊天机器人， 根据自己的语料训练出自己想要的聊天机器人，可以用于智能客服、在线问答、智能聊天等场景 github^[168]

• 根据自己的语料训练出自己想要的聊天机器人，可以用于智能客服、在线问答、智能聊天等场景。加入seqGAN版本。
• repo中提供了一份质量不太高的语料

114. 省市区镇行政区划数据带拼音标注 github^[169]

• 国家统计局中的省市区镇行政区划数据带拼音标注，高德地图的坐标和行政区域边界范围，在浏览器里面运行js代码采集的2019年发布的最新数据，含采集源码，提供csv格式数据，支持csv转成省市区多级联动js代码
• 坐标、边界范围、名称、拼音、行政区等多级地址

115. 教育行业新闻 自动文摘 语料库 github^[170]

116. 开放了对话机器人、知识图谱、语义理解、自然语言处理工具及数据 github^[171]

• 另一个qa对的机器人 Amodel-for-Retrivalchatbot - 客服机器人，Chinese Retreival chatbot（中文检索式机器人）^[172]

117. 中文知识图谱：基于百度百科中文页面，抽取三元组信息，构建中文知识图谱 github^[173]

118. masr: 中文语音识别，提供预训练模型，高识别率 github^[174]

119. Python音频数据增广库 github^[175]

120. 中文全词覆盖BERT及两份阅读理解数据 github^[176]

• DRCD数据集由中国台湾台达研究院发布，其形式与SQuAD相同，是基于繁体中文的抽取式阅读理解数据集。
• CMRC 2018数据集是哈工大讯飞联合实验室发布的中文机器阅读理解数据。根据给定问题，系统需要从篇章中抽取出片段作为答案，形式与SQuAD相同。

121. ConvLab：开源多域端到端对话系统平台 github^[177]

122. 中文自然语言处理数据集 github^[178]

123. 基于最新版本rasa搭建的对话系统 github^[179]

124. 基于TensorFlow和BERT的管道式实体及关系抽取 github^[180]

• Entity and Relation Extraction Based on TensorFlow and BERT. 基于TensorFlow和BERT的管道式实体及关系抽取，2019语言与智能技术竞赛信息抽取任务解决方案。Schema based Knowledge Extraction, SKE 2019

125. 一个小型的证券知识图谱/知识库 github^[181]

126. 复盘所有NLP比赛的TOP方案 github^[182]

127. OpenCLaP：多领域开源中文预训练语言模型仓库 github^[183]包含如下语言模型及百度百科数据

• 民事文书BERT bert-base 全部民事文书 2654万篇文书 22554词 370MB
• 刑事文书BERT bert-base 全部刑事文书 663万篇文书 22554词 370MB
• 百度百科BERT bert-base 百度百科 903万篇词条 22166词 367MB

128. UER：基于不同语料、编码器、目标任务的中文预训练模型仓库（包括BERT、GPT、ELMO等） github^[184]

• 基于PyTorch的预训练模型框架，支持对编码器，目标任务等进行任意的组合，从而复现已有的预训练模型，或在已有的预训练模型上进一步改进。基于UER训练了不同性质的预训练模型（不同语料、编码器、目标任务），构成了中文预训练模型仓库，适用于不同的场景。

129. 中文自然语言处理向量合集 github^[185]

• 包括字向量,拼音向量,词向量,词性向量,依存关系向量.共5种类型的向量

130. 基于金融-司法领域(兼有闲聊性质)的聊天机器人 github^[186]

• 其中的主要模块有信息抽取、NLU、NLG、知识图谱等，并且利用Django整合了前端展示,目前已经封装了nlp和kg的restful接口

131. g2pC：基于上下文的汉语读音自动标记模块 github^[187]

132. Zincbase 知识图谱构建工具包 github^[188]

133. 诗歌质量评价/细粒度情感诗歌语料库 github^[189]

134. 快速转化「中文数字」和「阿拉伯数字」 github^[190]

• 中文、阿拉伯数字互转
• 中文与阿拉伯数字混合的情况，在开发中

135. 百度知道问答语料库 github^[191]

• 超过580万的问题，938万的答案，5800个分类标签。基于该问答语料库，可支持多种应用，如闲聊问答，逻辑挖掘

136. 基于知识图谱的问答系统 github^[192]

• BERT做命名实体识别和句子相似度，分为online和outline模式

137. jieba_fast 加速版的jieba github^[193]

• 使用cpython重写了jieba分词库中计算DAG和HMM中的vitrebi函数，速度得到大幅提升

138. 正则表达式教程 github^[194]

139. 中文阅读理解数据集 github^[195]

140. 基于BERT等最新语言模型的抽取式摘要提取 github^[196]

141. Python利用深度学习进行文本摘要的综合指南 link

142. 知识图谱深度学习相关资料整理 github^[197]

• 深度学习与自然语言处理、知识图谱、对话系统。包括知识获取、知识库构建、知识库应用三大技术研究与应用

143. 维基大规模平行文本语料 github^[198]

• 85种语言、1620种语言对、135M对照句

144. StanfordNLP 0.2.0：纯Python版自然语言处理包 link^[199]

145. NeuralNLP-NeuralClassifier：腾讯开源深度学习文本分类工具 github^[200]

146. 端到端的封闭域对话系统 github^[201]

147. 中文命名实体识别：NeuroNER vs. BertNER github^[202]

148. 新闻事件线索抽取 github^[203]

• An exploration for Eventline (important news Rank organized by pulic time)，针对某一事件话题下的新闻报道集合，通过使用docrank算法，对新闻报道进行重要性识别，并通过新闻报道时间挑选出时间线上重要新闻

149. 2019年百度的三元组抽取比赛，“科学空间队”源码(第7名) github^[204]

150. 基于依存句法的开放域文本知识三元组抽取和知识库构建 github^[205]

151. 中文的GPT2训练代码 github^[206]

152. ML-NLP - 机器学习(Machine Learning)、NLP面试中常考到的知识点和代码实现 github^[207]

153. nlp4han:中文自然语言处理工具集(断句/分词/词性标注/组块/句法分析/语义分析/NER/N元语法/HMM/代词消解/情感分析/拼写检查 github^[208]

154. XLM：Facebook的跨语言预训练语言模型 github^[209]

155. 用基于BERT的微调和特征提取方法来进行知识图谱百度百科人物词条属性抽取 github^[210]

156. 中文自然语言处理相关的开放任务，数据集, 以及当前最佳结果 github^[211]

157. CoupletAI - 基于CNN+Bi-LSTM+Attention 的自动对对联系统 github^[212]

158. 抽象知识图谱，目前规模50万，支持名词性实体、状态性描述、事件性动作进行抽象 github^[213]

159. MiningZhiDaoQACorpus - 580万百度知道问答数据挖掘项目 github^[214]

160. brat rapid annotation tool: 序列标注工具 link^[215]

161. 大规模中文知识图谱数据：：1.4亿实体 github^[216]

162. 数据增强在机器翻译及其他nlp任务中的应用及效果 link

163. allennlp阅读理解:支持多种数据和模型 github^[217]

164. PDF表格数据提取工具 github^[218]

165. Graphbrain：AI开源软件库和科研工具，目的是促进自动意义提取和文本理解以及知识的探索和推断 github^[219]

166. 简历自动筛选系统 github^[220]

167. 基于命名实体识别的简历自动摘要 github^[221]

168. 中文语言理解测评基准，包括代表性的数据集&基准模型&语料库&排行榜 github^[222]

169. 树洞 OCR 文字识别 github^[223]

• 一个c++ OCR github^[224]
• 
  

170. 从包含表格的扫描图片中识别表格和文字 github^[225]

171. 语声迁移 github^[226]

172. Python口语自然语言处理工具集(英文) github^[227]

173. similarity：相似度计算工具包，java编写 github^[228]

• 用于词语、短语、句子、词法分析、情感分析、语义分析等相关的相似度计算

174. 海量中文预训练ALBERT模型 github^[229]

175. Transformers 2.0 github^[230]

• 支持TensorFlow 2.0 和 PyTorch 的自然语言处理预训练语言模型(BERT, GPT-2, RoBERTa, XLM, DistilBert, XLNet…) 8种架构/33种预训练模型/102种语言

176. 基于大规模音频数据集Audioset的音频增强 github^[231]

177. Poplar：网页版自然语言标注工具 github^[232]

178. 图片文字去除，可用于漫画翻译 github^[233]

179. 186种语言的数字叫法库 github^[234]

180. Amazon发布基于知识的人-人开放领域对话数据集 github^[235]

181. 中文文本纠错模块代码 github^[236]

182. 繁简体转换 github^[237]

183. Python实现的多种文本可读性评价指标 github^[238]

184. 类似于人名/地名/组织机构名的命名体识别数据集 github^[239]

185. 东南大学《知识图谱》研究生课程(资料) github^[240]

186. 英文拼写检查库 github^[241]

from spellchecker import SpellChecker

spell = SpellChecker()

# find those words that may be misspelled
misspelled = spell.unknown(['something', 'is', 'hapenning', 'here'])

for word in misspelled:
# Get the one `most likely` answer
print(spell.correction(word))

# Get a list of `likely` options
print(spell.candidates(word))

187. wwsearch是企业微信后台自研的全文检索引擎 github^[242]

188. CHAMELEON：深度学习新闻推荐系统元架构 github^[243]

189. 8篇论文梳理BERT相关模型进展与反思 github^[244]

190. DocSearch：免费文档搜索引擎 github^[245]

191. LIDA：轻量交互式对话标注工具 github^[246]

192. aili - the fastest in-memory index in the East 东半球最快并发索引 github^[247]

193. 知识图谱车音工作项目 github^[248]

194. 自然语言生成资源大全 github^[249]

• 内含英文数据、论文、代码

195. 中日韩分词库mecab的Python接口库 github^[250]

196. 中文文本摘要/关键词提取 github^[251]

197. 汉字字符特征提取器 (featurizer)，提取汉字的特征（发音特征、字形特征）用做深度学习的特征 github^[252]

198. 中文生成任务基准测评 github^[253]

199. 中文缩写数据集 github^[254]

200. 中文任务基准测评 - 代表性的数据集-基准(预训练)模型-语料库-baseline-工具包-排行榜 github^[255]

201. PySS3：面向可解释AI的SS3文本分类器机器可视化工具 github^[256]

202. 中文NLP数据集列表 github^[257]

203. COPE - 格律诗编辑程序 github^[258]

204. doccano：基于网页的开源协同多语言文本标注工具 github^[259]

205. PreNLP：自然语言预处理库 github^[260]

206. 简单的简历解析器，用来从简历中提取关键信息 github^[261]

207. 用于中文闲聊的GPT2模型：GPT2-chitchat github^[262]

208. 基于检索聊天机器人多轮响应选择相关资源列表(Leaderboards、Datasets、Papers) github^[263]

209. (Colab)抽象文本摘要实现集锦(教程 github^[264]

210. 词语拼音数据 github^[265]

211. 高效模糊搜索工具 github^[266]

212. NLP数据增广资源集 github^[267]

213. 微软对话机器人框架 github^[268]

214. GitHub Typo Corpus：大规模GitHub多语言拼写错误/语法错误数据集 github^[269]

215. TextCluster：短文本聚类预处理模块 Short text cluster github^[270]

216. 面向语音识别的中文文本规范化 github^[271]

217. BLINK：最先进的实体链接库 github^[272]

218. BertPunc：基于BERT的最先进标点修复模型 github^[273]

219. Tokenizer：快速、可定制的文本词条化库 github^[274]

220. 中文语言理解测评基准，包括代表性的数据集、基准(预训练)模型、语料库、排行榜 github^[275]

221. spaCy 医学文本挖掘与信息提取 github^[276]

222. NLP任务示例项目代码集 github^[277]

223. python拼写检查库 github^[278]

224. chatbot-list - 行业内关于智能客服、聊天机器人的应用和架构、算法分享和介绍 github^[279]

225. 语音质量评价指标(MOSNet, BSSEval, STOI, PESQ, SRMR) github^[280]

226. 用138GB语料训练的法文RoBERTa预训练语言模型 link^[281]

227. BERT-NER-Pytorch：三种不同模式的BERT中文NER实验 github^[282]

228. 无道词典 - 有道词典的命令行版本，支持英汉互查和在线查询 github^[283]

229. 2019年NLP亮点回顾 download^[284]

• 提取码: yb6x

230. Chinese medical dialogue data 中文医疗对话数据集 github^[285]

231. 最好的汉字数字(中文数字)-阿拉伯数字转换工具 github^[286]

232. 基于百科知识库的中文词语多词义/义项获取与特定句子词语语义消歧 github^[287]

233. awesome-nlp-sentiment-analysis - 情感分析、情绪原因识别、评价对象和评价词抽取 github^[288]

234. LineFlow：面向所有深度学习框架的NLP数据高效加载器 github^[289]

235. 中文医学NLP公开资源整理 github^[290]

236. MedQuAD：(英文)医学问答数据集 github^[291]

237. 将自然语言数字串解析转换为整数和浮点数 github^[292]

238. Transfer Learning in Natural Language Processing (NLP) youtube^[293]

239. 面向语音识别的中文/英文发音辞典 github^[294]

240. Tokenizers：注重性能与多功能性的最先进分词器 github^[295]

241. CLUENER 细粒度命名实体识别 Fine Grained Named Entity Recognition github^[296]

242. 基于BERT的中文命名实体识别 github^[297]

243. 中文谣言数据库 github^[298]

244. NLP数据集/基准任务大列表 github^[299]

• 大多数为英文数据

245. nlp相关的一些论文及代码, 包括主题模型、词向量(Word Embedding)、命名实体识别(NER)、文本分类(Text Classificatin)、文本生成(Text Generation)、文本相似性(Text Similarity)计算等，涉及到各种与nlp相关的算法，基于keras和tensorflow github^[300]

246. Python文本挖掘/NLP实战示例 github^[301]

247. Blackstone：面向非结构化法律文本的spaCy pipeline和NLP模型 github^[302]

248. 通过同义词替换实现文本“变脸” github^[303]

249. 中文 预训练 ELECTREA 模型: 基于对抗学习 pretrain Chinese Model github^[304]

250. albert-chinese-ner - 用预训练语言模型ALBERT做中文NER github^[305]

251. 基于GPT2的特定主题文本生成/文本增广 github^[306]

252. 开源预训练语言模型合集 github^[307]

253. 多语言句向量包 github^[308]

254. 编码、标记和实现：一种可控高效的文本生成方法 github^[309]

255. 英文脏话大列表 github^[310]

256. attnvis：GPT2、BERT等transformer语言模型注意力交互可视化 github^[311]

257. CoVoST：Facebook发布的多语种语音-文本翻译语料库，包括11种语言(法语、德语、荷兰语、俄语、西班牙语、意大利语、土耳其语、波斯语、瑞典语、蒙古语和中文)的语音、文字转录及英文译文 github^[312]

258. Jiagu自然语言处理工具 - 以BiLSTM等模型为基础，提供知识图谱关系抽取 中文分词 词性标注 命名实体识别 情感分析 新词发现 关键词 文本摘要 文本聚类等功能 github^[313]

259. 用unet实现对文档表格的自动检测，表格重建 github^[314]

260. NLP事件提取文献资源列表 github^[315]

261. 金融领域自然语言处理研究资源大列表 github^[316]

262. CLUEDatasetSearch - 中英文NLP数据集：搜索所有中文NLP数据集，附常用英文NLP数据集 github^[317]

263. medical_NER - 中文医学知识图谱命名实体识别 github^[318]

264. (哈佛)讲因果推理的免费书 pdf^[319]

265. 知识图谱相关学习资料/数据集/工具资源大列表 github^[320]

266. Forte：灵活强大的自然语言处理pipeline工具集 github^[321]

267. Python字符串相似性算法库 github^[322]

268. PyLaia：面向手写文档分析的深度学习工具包 github^[323]

269. TextFooler：针对文本分类/推理的对抗文本生成模块 github^[324]

270. Haystack：灵活、强大的可扩展问答(QA)框架 github^[325]

271. 中文关键短语抽取工具 github^[326]

272. pdf文档解析相关工具包

• pdf生成

• fdfgen^[327]: 能够自动创建pdf文档，并填写信息

• pdf表格解析

• pdftabextract^[328]: 用于OCR识别后的表格信息解析，很强大
• tabula-py^[329]: 直接将pdf中的表格信息转换为pandas的dataframe，有java和python两种版本代码
• pdfx^[330]: 自动抽取出引用参考文献，并下载对应的pdf文件
• invoice2data^[331]: 发票pdf信息抽取
• camelot^[332]: pdf表格解析
• pdfplumber^[333]: pdf表格解析
• pdf文档信息抽取^[334]

• pdf语义分割

• PubLayNet^[335]:能够划分段落、识别表格、图片

• pdf读取工具

• PDFMiner^[336]：PDFMiner能获取页面中文本的准确位置，以及字体或行等其他信息。它还有一个PDF转换器，可以将PDF文件转换成其他文本格式(如HTML)。还有一个可扩展的解析器PDF，可以用于文本分析以外的其他用途。
• PyPDF2^[337]：PyPDF 2是一个python PDF库，能够分割、合并、裁剪和转换PDF文件的页面。它还可以向PDF文件中添加自定义数据、查看选项和密码。它可以从PDF检索文本和元数据，还可以将整个文件合并在一起。
• ReportLab^[338]：ReportLab能快速创建PDF 文档。经过时间证明的、超好用的开源项目，用于创建复杂的、数据驱动的PDF文档和自定义矢量图形。它是免费的，开源的，用Python编写的。该软件包每月下载5万多次，是标准Linux发行版的一部分，嵌入到许多产品中，并被选中为Wikipedia的打印/导出功能提供动力。
• 
  

273. 中文词语相似度计算方法 gihtub^[339]

• 综合了同义词词林扩展版与知网（Hownet）的词语相似度计算方法，词汇覆盖更多、结果更准确。

274. 人民日报语料库处理工具集 github^[340]

275. stanza:斯坦福团队NLP工具 github^[341]

• 可处理六十多种语言

276. 一个大规模医疗对话数据集 github^[342]

• 包含110万医学咨询，400万条医患对话

277. 新冠肺炎相关数据

• 新冠及其他类型肺炎中文医疗对话数据集 github^[343]
• 清华大学等机构的开放数据源（COVID-19）github^[344]

278. DGL-KE 图嵌入表示学习算法 github^[345]

279. nlp-recipes：微软出品--自然语言处理最佳实践和范例 github^[346]

280. chinese_keyphrase_extractor (CKPE) - A tool for chinese keyphrase extraction 一个快速从自然语言文本中提取和识别关键短语的工具 github^[347]

281. 使用GAN生成表格数据（仅支持英文） github^[348]

282. Google发布Taskmaster-2自然语言任务对话数据集 github^[349]

283. BDCI2019金融负面信息判定 github^[350]

284. 用神经网络符号推理求解复杂数学方程 github^[351]

285. 粤语/英语会话双语语料库 github^[352]

286. 中文ELECTRA预训练模型 github^[353]

287. 面向深度学习研究人员的自然语言处理实例教程 github^[354]

288. Parakeet：基于PaddlePaddle的文本-语音合成 github^[355]

289. 103976个英语单词库（sql版，csv版，Excel版）包 github^[356]

290. 《海贼王》知识图谱 github^[357]

291. 法务智能文献资源列表 github^[358]

292. Datasaur.ai 在线数据标注工作流管理工具 link^[359]

293. (Java)准确的语音自然语言检测库 github^[360]

294. 面向各语种/任务的BERT模型大列表/搜索引擎 link^[361]

295. CoVoST：Facebook发布的多语种语音-文本翻译语料库 github^[362]

296. 基于预训练模型的中文关键词抽取方法 github^[363]

297. Fancy-NLP:用于建设商品画像的文本知识挖掘工具 github^[364]

298. 基于百度webqa与dureader数据集训练的Albert Large QA模型 github^[365]

299. BERT/CRF实现的命名实体识别 github^[366]

300. ssc, Sound Shape Code, 音形码 - 基于“音形码”的中文字符串相似度计算方法

• version 1^[367]
• version 2^[368]
• blog/introduction^[369]

301. 中文指代消解数据 github^[370]

• baidu ink^[371]  code: a0qq

302. 全面简便的中文 NLP 工具包 github^[372]

303. 中文地址分词（地址元素识别与抽取），通过序列标注进行NER github^[373]

304. 用Transformers(BERT, XLNet, Bart, Electra, Roberta, XLM-Roberta)预测下一个词(模型比较) github^[374]

305. 文本机器学习模型最先进解释器库 github^[375]

306. 多文档摘要数据集 github^[376]

307. 用记事本渲染3D图像 github^[377]

308. char_featurizer - 汉字字符特征提取工具 github^[378]

309. SimBERT - 基于UniLM思想、融检索与生成于一体的BERT模型 github^[379]

310. Python音频特征提取包 github^[380]

311. TensorFlow 2 实现的文本语音合成 github^[381]

312. 情感分析技术：让智能客服更懂人类情感 github^[382]

313. TensorFlow Hub最新发布40+种语言的新语言模型(包括中文) link^[383]

314. 汉字字符特征提取器 (featurizer)，提取汉字的特征（发音特征、字形特征）用做深度学习的特征 github^[384]

315. 工业界常用基于DSSM向量化召回pipeline复现 github^[385]

316. 不存在的词：用GPT-2变体从头生成新词及其定义、例句 github^[386]

317. TextAttack：自然语言处理模型对抗性攻击框架 github^[387]

318. 仇恨言论检测进展 link^[388]

319. OPUS-100：以英文为中心的多语(100种)平行语料 github^[389]

320. 从论文中提取表格数据 github^[390]

321. 让人人都变得“彬彬有礼”：礼貌迁移任务——在保留意义的同时将非礼貌语句转换为礼貌语句，提供包含1.39M + 实例的数据集 paper and code^[391]

322. 用BERT在表格中寻找答案 github^[392]

323. PyTorch实现的BERT事件抽取(ACE 2005 corpus) github^[393]

324. 表格问答的系列文章

• 简介
• 模型
• 完结篇

325. LibKGE：面向可复现研究的知识图谱嵌入库 github^[394]

326. comparxiv :用于比较arXiv上两提交版本差异的命令 pypi^[395]

327. ViSQOL：音频质量感知客观、完整参考指标，分音频、语音两种模式 github^[396]

328. 方面情感分析包 github^[397]

329. dstlr：非结构化文本可扩展知识图谱构建平台 github^[398]

330. 由文本自动生成多项选择题 github^[399]

331. 大规模跨领域中文任务导向多轮对话数据集及模型CrossWOZ paper & data^[400]

332. whatlies：词向量交互可视化 spacy 工具

333. 支持批并行的LatticeLSTM中文命名实体识别 github^[401]

334. 基于Albert、Electra，用维基百科文本作为上下文的问答引擎 github^[402]

335. Deepmatch：针对推荐、广告和搜索的深度匹配模型库 github^[403]

336. 语音工具合集

• zhrtvc 好用的中文语音克隆兼中文语音合成系统 github^[404]
• aukit 好用的语音处理工具箱，包含语音降噪、音频格式转换、特征频谱生成等模块 github^[405]
• phkit 好用的音素处理工具箱，包含中文音素、英文音素、文本转拼音、文本正则化等模块 github^[406]
• zhvoice 中文语音语料，语音更加清晰自然，包含8个开源数据集，3200个说话人，900小时语音，1300万字 github^[407]

337. 多音字词典数据及代码 github^[408]

338. audio：面向语音行为检测、二值化、说话人识别、自动语音识别、情感识别等任务的音频标注工具 github^[409]

339. 大规模、结构化、中英文双语的新冠知识图谱(COKG-19) link^[410]

• COKG-19包含了505个概念、393个属性、26282个实例和32352个知识三元组，覆盖了医疗、健康、物资、防控、科研和人物等

340. 132个知识图谱的数据集 link^[411]

• 涵盖常识、城市、金融、农业、地理、气象、社交、物联网、医疗、娱乐、生活、商业、出行、科教

341. 42GB的JD客服对话数据(CSDD) github^[412]

• 12亿句子训练得到的word embedding

342. 合成数据生成基准 github^[413]

343. 汉字、词语、成语查询接口 github^[414]

344. 中文问题句子相似度计算比赛及方案汇总 github^[415]

345. Texthero：文本数据高效处理包，包括预处理、关键词提取、命名实体识别、向量空间分析、文本可视化等 github^[416]

346. SIMPdf：Python写的简单PDF文件文字编辑器 github^[417]

347. 《配色辞典》数据集 github^[418]

348. carefree-learn：(PyTorch)表格数据集自动化机器学习(AutoML)包 github^[419]

349. token2index：与PyTorch/Tensorflow兼容的强大轻量词条索引库 github^[420]

350. 开源对话式信息搜索平台 github^[421]

351. 对联数据 github^[422]

• 700,000 couplets, 超过70万对对联
• 百度云盘：链接^[423]  密码:egpt

352. 基于Pytorch的Bert应用，包括命名实体识别、情感分析、文本分类以及文本相似度等 github^[424]

353. TaBERT：理解表格数据查询的新模型 paper^[425]

354. Dakshina数据集：十二种南亚语言的拉丁/本地文字平行数据集合 github^[426]

355. NLP标注平台综述 github^[427]

356. 封闭域微调表格检测 github^[428]

357. 深度学习情感文本语音合成 github^[429]

358. 中文写作校对工具 github^[430]

359. 用Quora问题对训练的T5问题意译(Paraphrase) github^[431]

360. 情境互动多模态对话挑战2020(DSTC9 2020) github^[432]

361. nlpgnn：图神经网络自然语言处理工具箱 github^[433]

362. Macadam：以Tensorflow(Keras)和bert4keras为基础，专注于文本分类、序列标注和关系抽取的自然语言处理工具包 github^[434]

363. 用新版nlp库加载17GB+英文维基语料只占用9MB内存遍历速度2-3 Gbit/s github^[435]

最后

能看到这里的不是帅气就是漂亮，如果已关注「Python七号」，后台回复「与孩子一起学编程」获取电子书，感谢一直以来的陪伴，如果觉得不错，请点击在看分享给你的朋友们。