乐胖代购免代理版

欢迎

一个正则快速找到在ES中使用profile的时产生慢查询的分片

在es中使用profile分析慢查询的时候，往往因为分片过多，或者因为查询条件太复杂，分析的结果几十万行。在kibana上点半天，也找不到一个耗时长的分片。kibana上可以通过正则来匹配。其实我们只需要匹配到耗时大于10秒的请求。

elasticsearch

大数据

搜索引擎

profile找到慢查询分片

慢查询

原创 2023-12-29 09:33:09 74 阅读

2023年12月5日，北京elastic Meetup 腾讯分享的搜索优化经验

这里整理了 2023年12月5日，北京elastic Meetup 腾讯分享的搜索优化经验。

数据库

elasticsearch

搜索优化建议

字段

数据

原创精选 2023-12-28 11:05:37 160 阅读

如何做搜索？如何做搜索优化？如何在搜索领域快速成长？

三年多的搜索研发经历，万亿级集群管理经历，集群优化搜索优化经历。将生产环境的集群，检索性能提升了数十倍。也做搜索？如何做好的搜索？如何提升性能。

elasticsearch

大数据

搜索引擎

搜索优化

如何做好搜索

原创 2023-12-28 11:05:19 74 阅读

elasticsearch在执行完forcemerge 后查询性能可能更差了，为何？

通常我们认为一个 LSM 架构的系统，其文件数量 merge 到更少总会带来查询性能的提升，但Elasticsearch 和 lucene 确实有他的复杂之处，最近遇到一个案例，当索引 forcemerge 为 1 之后其查询延迟和查询 QPS都降低了，主要原因是， forcemerge 之后，查询语句构建 query cache的代价更大。题外话：在 query cache 的

force

段合并优化

查询语句

Elastic

子查询

原创 2023-12-28 11:03:13 109 阅读

高级调优：查找并修复 Elasticsearch 慢查询

Elasticsearch 是一个非常灵活且功能丰富的应用程序，它提供了许多不同的数据查询方法。但是，您是否遇到过查询速度

运维

elasticsearch

es 慢查询调优

搜索

Elastic

转载 2023-12-28 11:02:45 122 阅读

windows下使用logstash同步跨网络集群的数据

我们在开发环境过程中，可能会遇到这样的场景。我们可以通过VPN访问远端的机房。有可能还要跨机房访问

windows

logstash使用

跨网络同步es集群之间的数据

Elastic

elasticsearch

原创 2023-12-28 11:02:22 107 阅读

ES集群G1回收器，堆空间无法被回收问题

ES堆空间不足的问题，困扰了我有两年的时间。dump堆去分析，也未能分析出来，堆到底是被什么占用了。我把堆空间

java

jvm

算法

堆空间回收不掉

es堆空间占用高问题

原创精选 2023-12-28 11:02:02 278 阅读

ES java client 搜索报错 entity content is too long[xxx1] for the configured buffer limit [xxx2]

应用同事反馈，在使用es的滚动导出的时候，一共有5567条数据，但是实际上只拿到4567条数据，并且打断点，最后一次是获取到了452]

elasticsearch

搜索引擎

java client报错

解决方案

数据

原创 2023-12-22 21:05:41 797 阅读

模型能力赋能搜索——零样本分类（Zero-Shot Classification）在搜索意图识别上的探索

从测试用例来看，Zero-Shot Classification分类效果还是很不错的。可以使用该模型，进行问题意图识别的。因为搜索框，对话框，

人工智能

意图识别

NLP

零样本分类

搜索效果提升

原创精选 2023-12-21 14:50:58 304 阅读

ES 如何将国际标准时间格式进行格式化与调整时区

需求，日志收集的时候，时间格式是国际标准时间格式。形如yyyy-MM-dd'T'HH:mm:ss.SSS。（2023-12-05T02:45:50.282Z）这个时区也不对，

elasticsearch

大数据

搜索引擎

es修正数据的时区

es pipeline

原创 2023-12-21 14:50:46 165 阅读

还记得当初自己为什么选择计算机？

我的故事或许只是众多逆袭者中的一个缩影，但我希望它能成为激励更多热爱计算机的年轻人，勇敢追逐自己梦想的动力。我开始尝试开发自己的

计算机完成逆袭

计算机世界

计算机专业

游戏开发者

原创 2023-12-21 14:50:40 80 阅读

期待一下elasticsearch还未发布的8.12版本，由lucene底层带来的大幅度提升

现在是北京时间23年12月10日。当前es最新版本还是es8.11版本。我们可以期待一下不久的将来，es的8.12版本看到大幅度的检索性能提升。

elasticsearch

大数据

搜索引擎

ES性能提升

es向量检索性能提升

原创 2023-12-21 14:50:36 192 阅读

为什么要用向量检索

之前写过一篇文章，是我个人到目前阶段的认知，所做的判断。我个人是做万亿级数据的搜索优化工作的。一直在

自然语言处理

人工智能

向量检索

向量检索的好处

机器学习为向量检索赋能

原创 2023-12-21 14:50:23 165 阅读

如何在LLM中切分数据更合理？【译】

分块的主要目的是为了确保嵌入的内容噪音尽可能少，但语义仍然保持关联在构建大语言模型应用的上下文中，指的是将大段文本

LLM

数据切分规则

分块

语言模型

搜索

原创 2023-12-21 14:49:59 180 阅读

关于对向量检索研究的一些学习资料整理什么是向量数据库什么是向量嵌入什么是大语言模型（LLM）什么是语义搜索向量搜索的优势

这里整理了一些我掌握和学习过的向量检索相关的文档。对向量检索，语义检索感兴趣的同学们，可以进来开看看，有任何问题都可以探讨。

深度学习

向量检索

向量检索学习资料

搜索

数据

原创精选 2023-12-21 14:49:27 483 阅读

向量做语义检索，效果测试

语义检索的效果确实不错，特别是在非关键词命中的情况下。通过做数据的文本嵌入，然后用向量的做召回。虽然我搜索的是“中国的首都”，

es做语义检索

语义检索的优势

语义检索和全文检索对比

向量检索

搜索

原创 2023-12-21 14:48:51 202 阅读

ES-ELSER 如何在内网中离线导入ES官方的稀疏向量模型（国内网络环境下操作方法）

在线的方式，在国内下载也麻烦，下载速度也慢。对于一般的生产环境，基本上也是网络隔离的。我这里已经点击过下载了，这里需要一点时间下载。等待下载完成，再部署模型。这里其实是把准备好的模型，导入到集群中。ES官方训练了稀疏向量模型，用来支持语义检索。直接把链接放在浏览器上，就可以去下载。（我用官方提供的地

elasticsearch

ES稀疏向量模型导入集群

ELSER

机器学习

语义检索

原创 2023-12-20 09:20:35 163 阅读

elasticsearch 内网下如何以离线的方式上传任意的huggingFace上的NLP模型（国内避坑指南）

es自2020年的8.x版本以来，就提供了机器学习的能力。我们可以使用es官方提供的工具eland，将hugging face上的NLP模型，上传到es

elasticsearch

自然语言处理

大数据

huggingface NLP

Eland

原创精选 2023-12-20 09:20:31 1571 阅读

ES通过抽样agg聚合性能提升3-5倍

一直以来，es的agg聚合分析性能都比较差（对应sql的 group by）。特别是在超多数据中做聚合，在搜索的条件命中特别多结果

elasticsearch

agg聚合性能提升

性能提升

抽样性能提升对比

es聚合抽样方案

原创 2023-12-20 09:19:59 207 阅读

Elasticsearch SQL插件调研与问题整理

通过大量调研，普遍的方案，都是open Distro，但是版本停留在了7.10版本。最近在做一件事情，需要能够降低es的学习使用成本，给

elasticsearch

sql

es sql插件

sql2dsl插件问题

sql2dsl插件调研

原创 2023-12-20 09:19:32 104 阅读

CPU标高load标高；linux故障日志排查

一般情况下，服务器不太会出问题。但是遇到特别诡异的情况，多半是服务器本身的问题。遇到问题，我们不能一味的去排查应用，

linux

运维

服务器故障

CPU标高

服务器内存和CPU故障排查

原创 2023-12-20 09:19:23 217 阅读

语义检索系统如何选择合适的embedding模型

最近几年向量召回（embedding–based retrieval，dense encoder）在IR领域大放异彩，已经是各个公开数据集的SOTA。相比传统的query分词–>倒章还不错。

语义检索

召回率

信息检索

知乎

转载 2023-12-16 11:56:08 304 阅读

下一代搜索引擎会什么？

现在是北京时间2023年11月18日。聊一聊搜索。说到搜索，大家首先想到的肯定是谷歌，百度。我把这些定义成上一个时

搜索引擎

搜索

数据

elasticsearch

原创 2023-12-14 10:03:01 51 阅读

Elasticsearch同义词最佳实践

毫无疑问，使用同义词是搜索工程师工具箱中最重要的技巧之一。尽管新手有时会低估同义词的重要性，但几乎所有

java

android

junit

搜索

analyzer

原创 2023-12-14 10:01:20 177 阅读

Elasticsearch中的语义检索

语义搜索是一种解读单词和短语含义的搜索引擎技术。语义搜索的结果将返回与查询含义相匹配的内容，而不是与查询字面意思相匹配的内容。语义搜

elasticsearch

大数据

搜索引擎

搜索

Elastic

原创精选 2023-12-14 10:01:12 310 阅读

大厂前沿技术导航

藏经阁

将json数据导入到ES集群——解决方案对比&填坑日记

git

jenkins

运维

elasticsearch

数据

原创 2023-12-06 09:46:23 341 阅读

elasticsearch一些重要的配置参数

整理了一些Elasticsearch重要的配置参数。

运维

默认值

缓存

数据

原创精选 2023-12-01 12:30:29 766 阅读

Elastic Universal Profiling

Universal Profiling 是Es提供的一种分析工具，可以根据官方描述，它基本上对业务是零侵入，运行成本极低的一个工具。

大数据

Universal

Elastic

应用程序

原创 2023-12-01 12:29:55 717 阅读

ES 8.x新特性一览(完整版)

在 2022 年 2 月 11 日，Elasticsearch（ES）正式发布了 8.0 版本，而截止到 2023 年 10 月，历经一年半时间，ES官方已经

elasticsearch

大数据

搜索引擎

Elastic

搜索

原创 2023-12-01 12:28:41 510 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx6335c69633819的博客

欢迎

一个正则快速找到在ES中使用profile的时产生慢查询的分片

2023年12月5日，北京elastic Meetup 腾讯分享的搜索优化经验

如何做搜索？如何做搜索优化？如何在搜索领域快速成长？

elasticsearch在执行完forcemerge 后查询性能可能更差了，为何？

高级调优：查找并修复 Elasticsearch 慢查询

windows下使用logstash同步跨网络集群的数据

ES集群G1回收器，堆空间无法被回收问题

ES java client 搜索报错 entity content is too long[xxx1] for the configured buffer limit [xxx2]

模型能力赋能搜索——零样本分类（Zero-Shot Classification）在搜索意图识别上的探索

ES 如何将国际标准时间格式进行格式化与调整时区

还记得当初自己为什么选择计算机？

期待一下elasticsearch还未发布的8.12版本，由lucene底层带来的大幅度提升

为什么要用向量检索

如何在LLM中切分数据更合理？【译】

关于对向量检索研究的一些学习资料整理什么是向量数据库什么是向量嵌入什么是大语言模型（LLM）什么是语义搜索向量搜索的优势

向量做语义检索，效果测试

ES-ELSER 如何在内网中离线导入ES官方的稀疏向量模型（国内网络环境下操作方法）

elasticsearch 内网下如何以离线的方式上传任意的huggingFace上的NLP模型（国内避坑指南）

ES通过抽样agg聚合性能提升3-5倍

Elasticsearch SQL插件调研与问题整理

CPU标高load标高；linux故障日志排查

语义检索系统如何选择合适的embedding模型

下一代搜索引擎会什么？

Elasticsearch同义词最佳实践

Elasticsearch中的语义检索

大厂前沿技术导航

将json数据导入到ES集群——解决方案对比&填坑日记

elasticsearch一些重要的配置参数

Elastic Universal Profiling

ES 8.x新特性一览(完整版)