本文由来

在做抽取日常短语中地名（包括省市区县街道社区道路）的工作，待处理的文本都是常用语，本身该工作也只是一个小工程，暂时没有花时间学术研究模型，也不太在意准确率。语言是python，有一些bug和处理方法建议，主要是关于中文句子的正则匹配，记录下来以备不时之需。

汉字正则和取字符问题

  • 问题：需要匹配该句子的规则性很强的部分汉字。例如：我去了长安路买东西。识别路的结果应为“长安路”
str=u'我去长安路买东西'
pattern = re.compile(ur'[去,走,了]{1,2}([\u4e00-\u9fa5]{2,3}路)')
target = re.findall(pattern, str)
for item in target:
print item

注：

  1. [\u4e00-\u9fa5]是中文字符的字符集。 {2,3}表名该字符集可以重复两到三次，也就是说，介词和路之间限制了只能有两到三个汉子，此情况下，我们认为这是一个路名（极可能是路名，但也可能不是）
  2. str必须是unicode编码，即u'我是待匹配字符串'，此时才输出匹配结果。如果读取的是utf-8的文本，正则匹配前读取到的行内容一定要先解码line.decode(utf-8)
  3. 特别地，句子可能是“走了”、“去了”，针对这种情况，我们加入重复花括号{}，这样不必在字符集中穷举所有两字词语，只需要穷举可能出现的字，允许1到2次重复就可以了。
  • 抽取汉字：待读取文本本身是utf-8编码，通过python程序读入后，应先解码后编码，才能保证在不乱码的情况下提取对应某个具体的字。python程序读入代码：
file = open('f:/test.txt', 'r')
for (num, line) in enumerate(file):
print "LineNum"+str(num)+" : "+line #行号从0开始
print line[2]  #出现乱码
newstr1=line.decode('utf-8')[0:3].encode('utf-8')
newstr2=line.decode('utf-8')[2].encode('utf-8')
print newstr1   #输出“周末”
print newstr2   #输出“末”
print newstr2=='末' #输出 true

注：

  1. [1:3]代表包括第一个汉字起，到第三个汉字结束，但不包括第三个汉字。如果想全部输出，则写为[0:-1]。
  2. 先把utf-8字符串解码为unicode才能输出对应位（汉字位从1开始）。2.x版本中，字符串有str和unicode两种类型，str有各种编码区别，例如utf-8、utf-16、gbk等等，unicode是没有编码的标准形式。unicode通过编码（encode函数指定编码类型）转化成str，str通过解码（decode函数）转化成unicode。在进行同时包含 str 类型和 unicode 类型的字符串操作时，Python2 一律都把 str 解码（decode）成 unicode 再运算。
  3. 字符串单引号和双引号问题：在表示字符串时，是没有区别的。
    但是如果你的字符串中本身有单引号，那整个字串用双引号就省得将原字串中的单引号转义。如果字串中本身有双引号，那就用单引号扩起整个字串，也是省去转义。

文本读写

  • 读取txt中某一行内容：
# 读取文本中某行内容(文本序号从1开始)

count = linecache.getline('f:/userdict.txt', num)
  • 读取行号和行内容：
#文本序号从0开始

file = open('f:/test.txt', 'r')
for (num, line) in enumerate(file):
     print num,line
  • 循环输出列表内容（包括索引）
def printList(list):
for index,item in enumerate(list):
    print index,"|", item

注意索引是从1开始的

  • 对比当前字符串和词典文本中字符串是否相同的函数（主要参考带注释部分的代码）
def findDirString(str,dict):
file = open('f:/userdict.txt', 'r')
flag=0
for (num, value) in enumerate(file):
    # 输出行号和行内容 (序号从0开始)
    # print "line number", num, "is:", value
    line=value.decode('utf-8')[0:-1].strip();# 对文本解码并去掉字符串前后的空格
    if str.__eq__(line):
        if line[-1] not in [u'省',u'市',u'区',u'县']:
            count = linecache.getline('f:/userdict.txt', num)# 读取文本中某行内容(序号从1开始)
            cla = count.decode('utf-8')[0:-1].strip()[-1]
            flag=1
            dict[str]=cla
            return 1
return 0