目录


需求：使用postgresql13版本测试中文全文检索功能

安装postgresql13数据库

我这里是使用的docker容器安装测试的

1、创建一个centos7镜像容器

docker run -di --name postgres13 --privileged=true -p 5432:5432 centos:7 /usr/sbin/init

docker exec -it postgres13 bash

2、安装yum源

yum install https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm

3、开始安装

yum install -y gcc gcc-c++ epel-release llvm5.0 llvm5.0-devel clang libicu-devel perl-ExtUtils-Embed readline readline-devel zlib zlib-devel openssl openssl-devel pam-devel libxml2-devel libxslt-devel openldap-devel systemd-devel tcl-devel python-devel centos-release-scl-rh

yum makecache
yum -y install postgresql13-server.x86_64 postgresql13-devel.x86_64

5、初始化数据库

/usr/pgsql-13/bin/postgresql-13-setup initdb
systemctl enable postgresql-13
systemctl start postgresql-13

6、配置账号信息

su -postgres
psql

创建用户

create user test with password '123.com';

创建数据库

create database test_db owner test;

7、设置远程配置

修改配置文件postgresql.conf – 允许远程

位置：​​/var/lib/pgsql/13/data/postgresql.conf​​

修改： ​​listen_addresses = '*'​​

修改配置文件pg_hba.conf – 访问规则

位置：​​/var/lib/pgsql/13/data/pg_hba.conf​​

修改：底部Ipv4下新增 ​​host all all 0.0.0.0/0 md5​​ 访问规则

重启服务

systemctl restart postgresql-13.service

安装中文检索组件

安装​​zhparser​​

安装zhparser前，需要安装scws

安装编译工具

yum install gcc make wget git -y

wget http://www.xunsearch.com/scws/down/scws-1.2.3.tar.bz2

./configure && make && make install

git clone https://github.com/amutu/zhparser.git

export PATH=/usr/pgsql-13/bin:$PATH
make && make install

登录数据库

[root@229372496fad zhparser-master]# su - postgres
-bash-4.2$ psql
psql (13.4)
Type "help" for help.
#创建扩展
postgres=# create extension zhparser;
CREATE EXTENSION
postgres=# \dFp
         List of text search parsers
   Schema   |   Name   |     Description     
------------+----------+---------------------
 pg_catalog | default  | default word parser
 public     | zhparser | 
(2 rows)
#将扩展应用到配置中
postgres=# create text search configuration chinese (PARSER = zhparser);
CREATE TEXT SEARCH CONFIGURATION
#查看所有语言列表
postgres=# \dF
               List of text search configurations
   Schema   |    Name    |              Description              
------------+------------+---------------------------------------
 pg_catalog | arabic     | configuration for arabic language
 pg_catalog | danish     | configuration for danish language
 pg_catalog | dutch      | configuration for dutch language
 pg_catalog | english    | configuration for english language
 pg_catalog | finnish    | configuration for finnish language
 pg_catalog | french     | configuration for french language
 pg_catalog | german     | configuration for german language
 pg_catalog | greek      | configuration for greek language
 pg_catalog | hungarian  | configuration for hungarian language
 pg_catalog | indonesian | configuration for indonesian language
 pg_catalog | irish      | configuration for irish language
 pg_catalog | italian    | configuration for italian language
 pg_catalog | lithuanian | configuration for lithuanian language
 pg_catalog | nepali     | configuration for nepali language
 pg_catalog | norwegian  | configuration for norwegian language
 pg_catalog | portuguese | configuration for portuguese language
 pg_catalog | romanian   | configuration for romanian language
 pg_catalog | russian    | configuration for russian language
 pg_catalog | simple     | simple configuration
 pg_catalog | spanish    | configuration for spanish language
 pg_catalog | swedish    | configuration for swedish language
 pg_catalog | tamil      | configuration for tamil language
 pg_catalog | turkish    | configuration for turkish language
 public     | chinese    | 
(24 rows)

全文检索

查看数据库中已经安装的全文检索配置

\dF *

centos7 postgresql13 安装 zhparser，配置中文全文检索_操作符

postgresql官方提供了一种数据类型tsvector来存储预处理后的文档，还提供了一种类型tsquery来表示处理过的​​查询​​。有很多函数和操作符可以用于这些​​数据类型​​，其中最重要的是匹配操作符​​@@​​，通过动态检索自然语言文档的集合，定位到最匹配的查询结果。全文搜索还可以​​使用索引来加速​​。

使用帮助

1、PostgreSQL中的全文搜索基于匹配操作符@@，它在一个tsvector（文档）匹配一个tsquery（查询）时返回true

搜索​​a fat cat sat on a mat and ate a fat rat​​中存不存在​​cat​​和​​rat​​

SELECT 'a fat cat sat on a mat and ate a fat rat'::tsvector @@ 'cat & rat'::tsquery;
 ?column?
----------
 t

正如以上例子所建议的，一个tsquery并不只是一个未经处理的文本，顶多一个tsvector是这样。一个tsquery包含搜索术语，它们必须是已经正规化的词位，并且可以使用 AND 、OR、NOT 以及 FOLLOWED BY ​​操作符结合多个术语​​。有几个函数to_tsquery、plainto_tsquery以及phraseto_tsquery可用于将用户书写的文本转换为正确的tsquery，它们会主要采用正则化出现在文本中的词的方法。相似地，to_tsvector被用来解析和正规化一个文档字符串。因此在实际上一个文本搜索匹配可能看起来更像：

SELECT to_tsvector('fat cats ate fat rats') @@ to_tsquery('fat & rat');
 ?column? 
----------
 t

2、在tsquery中，&（AND）操作符指定它的两个参数都必须出现在文档中才表示匹配。类似地，|（OR）操作符指定至少一个参数必须出现，而!（NOT）操作符指定它的参数不出现才能匹配。例如，查询fat & ! rat匹配包含fat但不包含rat的文档。

搜索​​fat cats ate fat rats​​中存在​​ate​​并且不存在​​ca​​

SELECT to_tsvector('fat cats ate fat rats') @@ to_tsquery('ate & ! ca');
 ?column? 
----------
 t

判断两个词是不是相邻的

SELECT to_tsvector('fatal error not fatal') @@ to_tsquery('fatal <-> error');
 ?column? 
----------
 t

SELECT to_tsvector('fatal error not fatal') @@ to_tsquery('fatal <-> fatal');
 ?column? 
----------
 f

再看下在表中运用的例子

创建表

CREATE TABLE test(id int,info TEXT,crt_time TIMESTAMP);
INSERT INTO test SELECT generate_series(1,10000),md5(random()::TEXT),clock_timestamp();

可以在没有一个索引的情况下做一次全文搜索，指定要使用english配置来解析和正规化字符串

1、检索​​info​​列中的​​fcd801772aa08e53eb52fefc0504467d​​在​​id​​列的第几行

SELECT id
FROM test
WHERE to_tsvector('english', info) @@ to_tsquery('english', 'fcd801772aa08e53eb52fefc0504467d');

centos7 postgresql13 安装 zhparser，配置中文全文检索_数据_02

2、我们把表添加些中文数据，使用中文检索组件查找​​test​​表中 ​​info​​字段包含​​数据中心​​的数据

SELECT *
FROM test
WHERE to_tsvector('chinese', info) @@ to_tsquery('chinese', '数据中心');

centos7 postgresql13 安装 zhparser，配置中文全文检索_sql_03

3、在test表格中，检索字段​​id​​或者​​info​​中，包含​​数据中心​​和​​大连​​的数据

SELECT *
FROM test
WHERE to_tsvector('chinese', id || ' ' || info) @@ to_tsquery('chinese', '数据中心 & 大连');

centos7 postgresql13 安装 zhparser，配置中文全文检索_全文检索_04

4、在test表格中，检索字段​​id​​或者​​info​​中，包含​​数据中心​​但是不包含​​大连​​的数据

SELECT *
FROM test
WHERE to_tsvector('chinese', id || ' ' || info) @@ to_tsquery('chinese', '数据中心 &!大连');

centos7 postgresql13 安装 zhparser，配置中文全文检索_全文检索_05

5、匹配关于​​数据​​词组的所有内容（​​官网​​写的是匹配开头是​​数据​​的数据，但是我测试，是匹配所有与​​数据​​相关的数据）

待完善内容

1、​​添加索引，增加检索速度​​

2、自定义字典

3、​​高亮显示检索匹配内容​​

4、​​pg_search命令工具全文检索远程数据库​​

问题总结

问题1：​​make: pg_config: Command not found make: *** No targets. Stop.​​

解决：

export PATH=/usr/pgsql-13/bin:$PATH

再重新编译安装

make & make install

问题2：​​ERROR: could not access file "$libdir/zhparser": 没有那个文件或目录​​

解决：

这是因为依赖文件不对，需要把文件全部替换成新编译后的依赖文件

这里就需要手动去将文件移动至指定目录：

​​/usr/lib64/pgsql/zhparser.so → /usr/pgsql-13/lib​​ (/usr/pgsql-11/是PostgreSQL安装后路径，如果PostgreSQL是使用的YUM安装方式，路径应该是一样)

还有​​/usr/share/pgsql/extension/ → /usr/pgsql-13/share/extension​​、​​/usr/share/pgsql/tsearch_data/ → /usr/pgsql-13/share/tsearch_data​​

问题3：​​WARNING: sql version 9.2, server version 13.0.Some psql features might not work. Type "help" for​​

解决：

mv /bin/psql    /bin/psql-bk
ln -s /usr/pgsql-13/bin/psql   /bin/psql

参考博文：​

​​http://www.postgres.cn/docs/13/textsearch-tables.html​​

​​https://cloud.tencent.com/developer/article/1430039​​

​​http://pgbook.rails365.net/467197​​

​​https://www.postgresql.org/docs/9.4/textsearch-controls.html​​

​​https://www.jianshu.com/p/0dc2a8bf9631​​