python查询汉字函数

一：概述

在Python中，查询汉字是一个比较常见的需求，尤其是在处理文本数据或者涉及到自然语言处理的项目中。本文将介绍多种实现方法，包括使用汉字库、利用第三方库和基于机器学习的方法，来实现查询汉字的功能。

二：具体说明

<1>使用汉字库

Python中有一些常用的汉字库，可以用来进行汉字的查询。其中比较常见的是库，可以将汉字转换为拼音，并进行拼音的查询。

from pypinyin import pinyin

def get_pinyin(word):
    return ''.join([x[0] for x in pinyin(word)])

def search_hanzi(text, keyword):
    pinyin_keyword = get_pinyin(keyword)  # 将关键字转换为拼音
    if pinyin_keyword in get_pinyin(text):  # 判断拼音是否在文本中
        return True
    else:
        return False

text = "锄禾日当午，汗滴禾下土"
keyword1 = "当午"
keyword2 = "123"
result1 = search_hanzi(text, keyword1)
result2 = search_hanzi(text, keyword2)
print(result1)  # 输出True
print(result2)  # 输出True

<2>利用第三方库

除了pypinyin库，还有其他一些第三方库也可以用来查询汉字。比如jieba库可以用来进行中文分词，然后再进行关键字的查询。

import jieba

def search_hanzi(text, keyword):
    seg_list = jieba.lcut(text)  # 对文本进行分词
    if keyword in seg_list:  # 判断关键字是否在分词结果中
        return True
    else:
        return False

jieba.setLogLevel(jieba.logging.INFO)
text = "智者不入爱河，遇你难做智者"
keyword1 = "爱河"
keyword2 = "123"
result1 = search_hanzi(text, keyword1)
result2 = search_hanzi(text, keyword2)
print(result1)  # 输出True
print(result2)  # 输出True

jieba.setLogLevel(jieba.logging.INFO)

注意：上面这行代码需要加上，虽然并不影响结果的判断，但是会报错。

<3>基于机器学习的方法

更高级的方法是使用机器学习模型来识别和查询汉字。可以使用自然语言处理工具，如NLTK或者TensorFlow，来构建文本分类模型，实现汉字的查询功能。

1. 准备数据集：首先需要准备一个包含标记好的文本数据集，其中正例表示文本中包含关键字，负例表示文本中不包含关键字。可以使用已标记的数据集，或者自行标记数据集。
2. 特征提取：对文本数据进行特征提取，将文本转换为能够被机器学习模型处理的特征。常用的特征提取方法包括词袋模型、TF-IDF、词嵌入等。
3. 选择模型：选择合适的机器学习模型进行训练。在文本分类任务中，常用的模型包括朴素贝叶斯、支持向量机（SVM）、逻辑斯蒂回归等。
4. 训练模型：使用已经提取好的特征数据集对选择的模型进行训练，并调整模型参数以提高性能。
5. 评估模型：使用测试集来评估训练好的模型的性能，查看模型的准确率、召回率、F1分数等指标。
6. 预测结果：使用训练好的模型来预测新的文本数据是否包含关键字。

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import accuracy_score

# 准备数据集，包含文本和标签
data = {
    'text': ['我是一个程序员', '今天天气不错', 'Python很有趣'],
    'label': [1, 0, 1]  # 1代表包含关键字，0代表不包含
}
df = pd.DataFrame(data)

# 特征提取
tfidf = TfidfVectorizer()
X = tfidf.fit_transform(df['text'])
y = df['label']

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5, random_state=42)

# 训练模型
nb = MultinomialNB()
nb.fit(X_train, y_train)

# 预测
y_pred = nb.predict(X_test)

# 评估模型
acc = accuracy_score(y_test, y_pred)
print('准确率：', acc)

<4>具体案例

测试文本内容

智者不如爱河，遇你难做智者。
锄禾日当午，汗滴禾下土。
谁之盘中餐，粒粒皆辛苦。
我是一个程序员

from pypinyin import pinyin

def get_pinyin(word):
    return ''.join([x[0] for x in pinyin(word)])

def search_hanzi(text, keyword):
    pinyin_keyword = get_pinyin(keyword)
    if pinyin_keyword in get_pinyin(text):
        return True
    else:
        return False


with open('D:\\PyCharmProjects\\Python-knowledges\\blog-essay\\find_dictionary\\test', 'r', encoding='utf-8') as file:
    text = file.read()
    keyword1 = "程序员"
    keyword2 = "智者"
    keyword3 = "123"

    result1 = search_hanzi(text, keyword1)
    result2 = search_hanzi(text, keyword2)
    result3 = search_hanzi(text, keyword3)
    if result1:
        print("文本中包含关键字：{}".format(keyword1))
    else:
        print("文本中不包含关键字：{}".format(keyword1))
    if result2:
        print("文本中包含关键字：{}".format(keyword2))
    else:
        print("文本中不包含关键字：{}".format(keyword2))
    if result3:
        print("文本中包含关键字：{}".format(keyword3))
    else:
        print("文本中不包含关键字：{}".format(keyword3))

注意：这个路径最好是绝对路径，不然可能会报错