乐胖代购免代理版

INFINI Gateway 如何防止大跨度查询

背景业务每天生成一个日期后缀的索引，写入当日数据。业务查询有时会查询好多天的数据，导致负载告警。现在想对查询进行限制--只允许查询一天的数据（不限定是哪天），如果想查询多天的数据就走申请。技术分析在每天一个索引的情况下，要进行多天的数据查询，有三种途径：查询时，指定多个索引查询时，写前缀+*号，模糊匹配多个索引查询别名，别名关联多个索引需求实现我们只需用网关代理 ES 集群，并在 default_

数据网关

Gateway

极限科技

原创 2023-12-23 14:23:42 147 阅读

使用 Filebeat+Easysearch+Console 打造日志管理平台

近年来，日志管理平台越来越流行。使用日志管理平台可以实时地、统一地、方便地管理和查看日志，挖掘日志数据价值，驱动运维、运营，提升服务管理效率。方案架构Beats 是轻量级采集器，包括 Filebeat、Metricbeat 等。Easysearch 是个分布式搜索引擎，提供搜集、分析、存储数据等主要功能。Console 是一个可视化工具，提供可视化查询，制作报表等功能。本文将搭建一个统一日志管理平

日志管理

Easysearch

Filebeat

Console

原创 2023-11-18 17:13:27 168 阅读

Console LDAP 配置解密

之前通过短视频向大家介绍了 Console 如何集成 LDAP，但很多小伙伴反映按照视频里的配置后不成功。今天就结合小伙伴们反映的问题来跟大家详细介绍一下。 Console LDAP 完整的配置参数如下：名称类型说明hoststringLDAP 服务器地址portintLDAP 服务器端口，默认 389tlsboolLDAP 服务器是否为 TLS 安全传输协议，默认 falsebind_dnstr

Console

LDAP

原创 2023-11-12 22:05:04 212 阅读

Easysearch 容量规划建议

基于容量估算主要问题：每天将索引多少原始数据（GB）？保留数据多少天？原始数据膨胀率您将强制执行多少个副本分片？您将为每个数据节点分配多少内存？您的内存:数据比例是多少？原则保留 +15% 以保持在磁盘水位以下。保留 +5% 用于误差和后台活动的余量。保留相当于一个数据节点的资源来处理故障。公式：总数据量 GB = 原始数据 GB/天 * 保留天数 * 膨胀率 * (副本数 + 1)总存储 GB

easysearch

搜索引擎

数据库

原创 2023-10-27 14:22:46 91 阅读

Easysearch压缩模式深度比较：ZSTD+source_reuse的优势分析

引言在使用 Easysearch 时，如何在存储和查询性能之间找到平衡是一个常见的挑战。Easysearch 具备多种压缩模式，各有千秋。本文将重点探讨一种特别的压缩模式：zstd + source_reuse，我们最近重新优化了 source_reuse,使得它在吞吐量和存储效率方面都表现出色。测试概览测试条件选用了 esrally 工具和 geonames 数据集来进行压力测试。数据集包含了

easysearch

数据库

原创 2023-10-15 20:13:48 172 阅读

Easysearch Chart 0.2.0都有哪些变化

Easysearch Chart 包更新了，让我们来看看都有哪些变化：Docker 镜像升级Service 名称调整，支持 NodePort 模式部署现在让我们用 NodePort 模式部署一下：# helm search repo infinilabs NAME CHART VERSION APP VERSION DESCRIPTION infinilabs/c

helm

easysearch

原创 2023-10-10 22:56:00 237 阅读

ES 关于 remote_cluster 的一记小坑

最近有小伙伴找到我们说 Kibana 上添加不了 Remote Cluster，填完信息点 Save 直接跳回原界面了。具体页面，就和没添加前一样。我们和小伙伴虽然隔着网线但还是进行了深入、详细的交流，梳理出来了如下信息：两个集群：集群 A 和集群 B ，版本都是 7.10.0 ；集群 A 没区分节点角色；集群 B 设置了独立的 master 节点、coordinator 节点和 data 节

easysearch

原创 2023-10-06 11:28:58 228 阅读

Easysearch 压缩功能的显著提升：从 8.7GB 到 1.4GB

引言在海量数据的存储和处理中，索引膨胀率是一个不可忽视的关键指标。它直接影响了存储成本和查询性能。近期，Easysearch 在这方面取得了显著的进展，其压缩功能的效果远超过了之前的版本。本文将详细介绍这一进展。Easysearch 各版本压缩性能对比根据之前文章的数据，Easysearch v1.1 在处理相同数据时，其索引大小比 Elasticsearch v6.4.3 降低了 50%。但这还

easysearch

压缩

原创 2023-09-25 10:15:41 137 阅读

INFINI Labs 产品更新 | Gateway 支持基于 Kafka 的复制能力，发布 Helm Charts 部署方式

INFINI Labs 产品又更新啦~。本次更新概要如下：Easysearch 新增了索引字段相关统计 API，优化了 source_reuse 提升压缩效率；Gateway 新增诸多新特性，如：支持基于 Kafka 的复制能力，可插拔的分布式锁实现，新增 CPU 资源限制等功能；Console 本次主要优化了数据迁移功能，迁移任务详情页新增了若干指标图和日志查看等功能。欢迎大家下载使用和反馈

Helm Charts

Easysearch

Console

Gateway

原创 2023-09-22 17:16:53 124 阅读

通过 Helm Chart 部署 Easysearch

Easysearch 可以通过 Helm 快速部署了，快来看看吧！Easysearch 的 Chart 仓库地址在这里 https://helm.infinilabs.com。使用 Helm 部署 Easysearch 有两个前提条件：cert-managerlocal-path我们先按照 Chart 仓库的说明来快速部署一下。~ helm repo add infinilabs htt

easysearch

helm

原创 2023-09-18 20:52:44 52 阅读

让Easysearch运行在LoongArch(3C5000L)上

简介在上一次，我介绍了在国产操作系统 Kylin V10 (Lance)-aarch64 上安装单机版 Easysearch/Console/Agent/Gateway/Loadgen，小伙伴们可查看原文。今天我重点介绍下在 Loongnix-Server Linux release 8.4.1 (3C5000L)上安装 Easysearch。系统配置在安装之前，需要先进行系统参数调整并创建操作用

Linux

loongarch

信创适配

原创 2023-09-11 11:21:26 107 阅读

喜讯！极限科技再次荣获一项国家发明专利授权

近日，由极限数据（北京）科技有限公司自主研发的《一种数据分区方法及数据处理方法》研究成果成功获得国家发明专利授权（专利号：ZL 2023 1 0188025.8）。本发明是一种数据分区方法及数据处理方法，通过文档的唯一标识设计和分区的二维拆分算法，基于数据感知且无需根据数据量来预判需要多少分区，能够无限水平增加，支撑未知海量数据的增长需求。相比常规分布式系统存储分区方法（基于哈希的分区方法、基于取

数据处理

数据分区

二维拆分算法

国家专利

原创 2023-09-07 15:57:32 120 阅读

喜讯！极限科技再次中标中国移动云 Elasticsearch 自研版技术开发服务项目！

喜讯！极限科技再次中标中国移动云 Elasticsearch 自研版技术开发服务项目！近日，极限科技再次成功中标中国移动苏州研发中心《云能力中心 2023—2024 年移动云 Elasticsearch 自研版技术开发服务项目》。实现了个性化搜索及聚合分析，更稳定可靠地支持万亿级数据规模，为移动云系统提供安全、稳定、可靠的快速检索和实时数据探索分析能力。

Elasticsearch

中国移动云

原创 2023-09-05 17:43:41 150 阅读

私密信息管理工具 Vault 快速入门

什么是 VaultVault 是一个基于身份的秘密和加密管理系统。秘密是您想要严格控制访问的任何内容，例如 API 加密密钥、密码和证书。 Vault 提供由身份验证和授权方法控制的加密服务。使用 Vault 的 UI、CLI 或 HTTP API，可以安全地存储和管理、严格控制（限制）和审核对机密和其他敏感数据的访问。为什么需要 Vault执行密码轮换策略很痛苦掌握机密的员工离职后可能泄密或是恶

加密

安全工具

vault

原创 2023-08-23 15:53:05 115 阅读 1收藏

Easysearch 跨集群复制实战

在之前的文章中，有通过网关实现容灾的案例。今天给大家介绍 Easysearch 的跨集群复制功能。该功能可在集群之间复制数据，应用场景包括但不限于以下举例：灾备同步：将数据同步到灾备中心，灾备中心可对外提供查询服务。读写分离：单一集群读写压力都较大时，为了避免读写互相干扰造成性能降级，可将读压力分流到另外的集群。就近查询：在多地中心之间复制数据，应用只需连接本地 ES 集群读取数据，避免网络延时和

Easysearch

原创 2023-08-22 16:35:16 140 阅读

基于 Easysearch kNN 搭建即时图片搜索服务

环境准备启动 Easysearch 服务:# Make sure your vm.max_map_count meets the requirement sudo sysctl -w vm.max_map_count=262144 docker run -it --rm -p 9200:9200 \ -e "discovery.type=single-node" \

图片检索

向量搜索

knn

easysearch

原创 2023-08-18 09:38:05 115 阅读

使用Logstash同步Mysql到Easysearch

从 Mysql 同步数据到 ES 有多种方案，这次我们使用 ELK 技术栈中的 Logstash 来将数据从 Mysql 同步到 Easysearch 。方案前提Mysql 表记录必须有主键，比如 id 字段。通过该字段，可将 Easysearch 索引数据与 Mysql 表数据形成一对一映射关系，支持修改。Mysql 表记录必须有时间字段，以支持增量同步。如果上述条件具备，便可使用 logsta

mysql

Easysearch

Logstash

原创 2023-08-15 09:51:22 208 阅读

INFINI Labs 产品更新 | Easysearch 支持 SQL 查询、Console 告警功能支持邮件等多渠道

INFINI Labs 产品又更新啦~。本次更新概要如下：Easysearch 新增 SQL 插件和JDBC 驱动，支持 SQL 查询，支持 SQL 常用函数等；Console 针对告警功能做了升级优化，新增了邮件渠道，支持自定义邮件服务器配置，以及支持飞书、钉钉、企业、Discord、Slack 等多渠道 Webhook 发送告警通知，优化平台概览 UI 界面、展示效果更简单友好，提高了用户

SQL

Easysearch

Console

Agent

Alerting

原创 2023-08-11 12:16:26 78 阅读

通过极限网关来加速索引写入速度

通过极限网关来加速索引写入速度可得，网关性能强悍，使用简单，通过使用网关，有 30%~50%的吞吐提升。

elasticsearch

加速索引写入速度

测试

极限网关

原创 2023-07-21 15:05:00 121 阅读

用极限网关实现 ES 容灾，简单！

身为 IT 人士，大伙身边的各种系统肯定不少吧。系统虽多，但最最最重要的那套、那几套，大伙肯定是捧在手心，关怀备至。如此重要的系统，万一发生故障了且短期无法恢复，该如何保障业务持续运行？有过这方面思考或经验的同学，肯定脱口而出--切灾备啊。是的，接下来我来介绍下我们的 ES 灾备方案。当然如果你有更好的，请使用各种可用的渠道联系我们。总体设计通过极限网关将应用对主集群的写操作，复制到灾备集群

数据

elastic

配置文件

原创 2023-07-19 18:39:52 85 阅读

关于 Elasticsearch 不同分片设置的压测报告

摘要为了验证当前集群经常出现索引超时以及请求拒绝的问题，现模拟线上集群环境及索引设置，通过压测工具随机生成测试数据，针对当前的 850 个分片的索引，以及减半之后的索引，以及更小分片索引的写入进行压测，使用不同的并发、不同的批次大小来观察索引的吞吐情况，并记录写入队列的堆积情况，用来分析分片数、批次数对写入的影响，从而确定后续的优化方案。压测场景Elasticsearch 版本 v7.7.1, 共

analyzer

压测

ci

原创精选 2023-07-17 11:07:59 295 阅读

ES 数据太敏感不让看，怎么办？

在使用 ES 的过程中，如果 ES 集群中存放的是敏感数据，是不能够随便供人查看的。什么？在排查故障？那也不行，合规高于一切。不知道大家有没有遇到过上面描述的情景，或者如果是你遇到了，你会怎么办呢？我们常常讲，解决问题要抓住问题的本质。人类的本质是复读机，上述问题的本质是"敏感"。既然问题的本质是数据敏感，那就把敏感数据变成普通数据。这样既符合了合规要求，也促进大家工作。话不多说，我们 d

敏感数据

数据

正则

原创 2023-07-14 14:55:54 105 阅读

给 ES 插上向量检索的翅膀 | DataFunSummit 2023 峰会演讲内容速达

近日，由 DataFun 主办的 DataFunSummit 2023 数据基础架构峰会圆满落下帷幕，本次峰会邀请了腾讯、字节、极限科技、Zilliz 等众多企业技术专家为大家带来分布式存储以及向量数据库的架构原理、性能优化与实践解析。

Elastic

搜索

Apache

原创 2023-07-13 10:34:29 188 阅读

Easysearch 跨版本兼容性测试，还原 Elasticsearch 各版本快照数据

本文主要验证 Elasticsearch 快照在 Easysearch 中进行数据恢复。准备测试数据索引别名模版生命周期策略创建快照 PUT /_snapshot/my_backup { "type": "fs", "settings": { "location": "/i

Elasticsearch

Easysearch

搜索引擎

快照恢复

原创 2023-06-17 13:13:13 1835 阅读

让 Easysearch 运行在 Kylin V10 (Lance)-aarch64 上

本文主要介绍在国产操作系统 Kylin V10 (Lance)-aarch64 上安装单机版 Easysearch/Console/Agent/Gateway/Loadgen

Easysearch

国产操作系统

kylin

原创 2023-06-06 16:19:11 202 阅读

ps vs top：CPU占用率统计的两种不同方式

如何计算 CPU 占用率？简单来说，进程的 CPU 占用率指的是 CPU 有多少时间花费在了运行进程上。在 Linux 系统里，进程运行的时间是以jiffies[1]统计的，通过计算jiffies * HZ，就可以得到进程消耗的 CPU 时间，再除以 CPU 的总时间，就可以得到进程的 CPU 占用率：jiffies * HZ / total_time。 ps 和 top 的不同之处 ps和to

系统监控

原创 2023-05-23 19:34:30 427 阅读

使用 Easysearch，日志存储少一半

在海量日志存储场景中，索引膨胀率是一个关键指标，直接影响存储成本和查询性能。它表示原始数据与索引数据在磁盘上所占空间的比率。较高的索引膨胀率不仅增加了存储成本，而且可能会影响查询速度，尤其是在 I/O 密集型的查询中。因此，我们需要密切关注和优化索引膨胀率。接下来，我们将比较 Elasticsearch 和 Easysearch 在处理相同数据时的索引膨胀率。

Elastic

Easysearch

日志压缩

ZSTD

原创 2023-05-15 18:02:02 251 阅读

ES数据没了？谁动了我的数据？

背景我们在使用 Elasticsearch 的时候，可能会遇到数据“丢”了的情况。有可能是数据没成功写入 ES 集群，也可能是数据被误删了。针对数据被误删，有没有好的解决办法呢？其实我们可以把“删除数据”这个操作管理起来。当 ES 集群接收到删除数据命令的时候，先不执行该命令，而是生成一条删除数据的记录，经过管理人员批准后，该命令才会执行。这样不仅可以管理数据的删除，还可以进行删除操作的追踪：什么

数据

删除数据

Elasticsearch

INFINI Gateway

INFINI Console

原创精选 2023-05-12 17:36:52 291 阅读

使用极限网关为 Elasticsearch 无缝添加代理和基础安全

如果你的 Elasticsearch 版本比较多或者比较旧，或者没有设置 TLS 和身份信息，那么任何人都有可能直接访问 Elasticsearch，而使用极限网关可以快速的进行修复。

Elastic

elasticsearch

HTTP

安全

代理

原创 2023-05-10 18:43:31 147 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

INFINI Labs 的博客

INFINI Gateway 如何防止大跨度查询

使用 Filebeat+Easysearch+Console 打造日志管理平台

Console LDAP 配置解密

Easysearch 容量规划建议

Easysearch压缩模式深度比较：ZSTD+source_reuse的优势分析

Easysearch Chart 0.2.0都有哪些变化

ES 关于 remote_cluster 的一记小坑

Easysearch 压缩功能的显著提升：从 8.7GB 到 1.4GB

INFINI Labs 产品更新 | Gateway 支持基于 Kafka 的复制能力，发布 Helm Charts 部署方式

通过 Helm Chart 部署 Easysearch

让Easysearch运行在LoongArch(3C5000L)上

喜讯！极限科技再次荣获一项国家发明专利授权

喜讯！极限科技再次中标中国移动云 Elasticsearch 自研版技术开发服务项目！

私密信息管理工具 Vault 快速入门

Easysearch 跨集群复制实战

基于 Easysearch kNN 搭建即时图片搜索服务

使用Logstash同步Mysql到Easysearch

INFINI Labs 产品更新 | Easysearch 支持 SQL 查询、Console 告警功能支持邮件等多渠道

通过极限网关来加速索引写入速度

用极限网关实现 ES 容灾，简单！

关于 Elasticsearch 不同分片设置的压测报告

ES 数据太敏感不让看，怎么办？

给 ES 插上向量检索的翅膀 | DataFunSummit 2023 峰会演讲内容速达

Easysearch 跨版本兼容性测试，还原 Elasticsearch 各版本快照数据

让 Easysearch 运行在 Kylin V10 (Lance)-aarch64 上

ps vs top：CPU占用率统计的两种不同方式

使用 Easysearch，日志存储少一半

ES数据没了？谁动了我的数据？

使用极限网关为 Elasticsearch 无缝添加代理和基础安全

欢迎