1.ELK

elasticsearch

elastic

1.elasticsearch 介绍
2.elasticsearch 环境
3.elasticsearch进阶
4.elasticsearch集成
5.elasticsearch优化
6.elasticsearch面试题

 

1.elasticsearch 介绍 7.8.X version

elasticsearch中文官网:https://www.elastic.co/cn/
postman官网:https://getpostman.com
version:7.11.2
elasticsearch,kibana,logstach
get,post,head,put,delete

9300
9200

elasticsearch 是文档型数据库,java语言开发的
倒排索引
正排索引

基础操作:
​​​ http://127.0.0.1:9200​​​get 获取
put 更新
post 更新创建

条件查询:
分页查询:起始位置,from(2).size(3) 查询第2页,每页3条数据
组合查询:
模糊查询:
最大值查询
排序
范围查询
全文检索
完全匹配
高亮查询
聚合操作:avg
映射关系:
text,可用分词查询
keyword,不能分词查询
index:false ,没有索引,不支持查询

 

post: http://127.0.0.1:9200/shoping_doc 添加文档
post: http://127.0.0.1:9200/shoping_doc/101 添加文档

2.elasticsearch 环境
单点和集群elasticsearch

3.elasticsearch进阶

java,c# api 操作ES:创建索引,查询,删除,更新
es扩容:增加副本数,增加吞吐量
​​​http://127.0.0.1:1001/users/_settings​

json:
{
"number_of_replicas":2 //将每个分片的副本数从1个修改为2个副本,应对大量的访问,提供查询的吞吐量
}

路由计算:决定插入数据存放在分片上的方式,查询也按这个方式,存放规则和查询规则一样

分片是ES里最小的工作单元
倒排索引的结构,适用于快速全文搜索,
分词器:中文,英文,
ik_max_word, 细粒度分词,张三
ik_smart
kewword
text:空格分词

词条:索引中最小存储查询单元,词组,单词
词典:词条的集合,b+树
倒排表:关键词出现的位置,频率

写入延时:写主分的延时+ 并行写入副本的最大延时,合理配置副本数量

分析器:分词

分词器:IK 中文分词器,单个字分词,词组分词ik_smart,ik_max_word 分词粗细的区别
自定义字符过滤器

ES 5.X 支持多种type
ES 6.X 支持1种type
ES 7.X 不支持type,默认类型:_doc json
index
filed 字段
mapping 结构信息text,kework,index
分片shards:分表,扩展容量,10亿的文档,放在多个shards 提供访问速度
副本replicas: 防止数据分片数据丢失,提高访问吞吐量,可用从多个副本获取数据
分配:allocation

系统架构:
master
node1:包括分片,副本
node2
cluster

4.elasticsearch集成
spring data
flink 框架集成


5.elasticsearch优化
万物及索引
es 基础是lucenu,所有的索引和文档数据是存储在本地的磁盘中的,
5.1 ES重度使用磁盘,磁盘的吞吐能力决定了吞吐量越大,你的节点越稳定,使用I/O的技巧:SSD,RAID0 并行处理强,不要远程挂载

1个分片在创建索引是确定,即一个lucenu索引,会消耗一定文件句柄,内存,cpu,一个分片是一个独立的搜索引擎
每一个搜索请求都需要命中索引中的每一个分片,如何每一个分片都处于不同的节点还好,但如果多个分片处于同一个节点使用会竞争资源。

分片原则:分片数不超过节点数据的3倍,若有三个节点,分片数据为9比较合适
节点数《=主分片数据 * (副本数 +1)

路由选择优化

写入速度优化

合理使用合并
减少refresh的次数

减少副本数

优化内存:1G默认,不超过50%物理内存

传输压缩参数:true

6.elasticsearch面试题
1.为什么要使用es?
查询块,

2.es 写文档的流程,删除,更新的流程?查询流程?
3。ES读写一致性如何保证?
4.es 中集群,节点,索引,文档,类型是什么?
5.ES倒排索引是什么?
是在存储数据时将关键词和数据关联,保存到倒排表中,当查询时,将分词后的内容在倒排表中进行查询,匹配数据。

64G+SSD+分片+副本

es head 安装

cmd
cnpm install
npm run start


学习指南,资料汇总 转发

www.kuangstudy.com 狂神

https://www.yuque.com/yingwenerjie/yir85b/cvqw61 es 数据类型