我们非常高兴地宣布 Elastic 7.12 版正式发布。这一新版本为基于 Elastic Stack(包括 Elasticsearch 和 Kibana)构建的 Elastic 企业搜索、可观测性和安全解决方案带来了大量新功能。在这个版本中,客户能够通过读时模式,在无与伦比的灵活性和速度之间进行权衡选择,可使用新的冻结层实现对象存储的完全可搜索,从而获取新的价值,还能在 Elastic Cloud 上自动扩展部署。

Elastic 企业搜索得益于大量架构的增强功能,这些增强可减少部署规模、加快导入索引的速度并提供更相关的结果。Elastic 可观测性中新增了关联性功能,有助于识别导致应用程序性能问题和错误的主要原因。面向分析师的关联性功能简化了 Elastic 安全中的安全运维工作流程。

Elastic 7.12 版现已在 Elastic Cloud 上正式推出,这是唯一一个包含最新版所有新功能的托管型 Elasticsearch 产品。您也可以下载 Elastic Stack 以及我们的云编排产品(Elastic Cloud Enterprise 和 Elastic Cloud for Kubernetes)进行自管型部署。

请继续阅读,探索这一版本的关键亮点。如需了解全面的功能介绍,请详阅各篇介绍解决方案和产品的博文。


Elastic Stack 7.12 Overall Launch Animation


Elastic Stack 和 Elastic Cloud

我们现已正式推出解决方案,让分析师通过读时模式灵活探究数据的这一设想得以实现。

Elasticsearch 因其速度超快的分布式搜索和分析引擎而闻名,这部分要归功于 Elasticsearch 默认的写时模式 (schema on write)。虽然这种有序的数据结构需要规划并测试如何在 Elasticsearch 中表示数据,但可以在速度上得到巨大的回报。

当您需要采集新数据或采用快速周转的新用例时,会发生什么?如果您可以选择使用读时模式在查询时创建动态模式,那又会怎样?除了使用写时模式外,现在提供的运行时字段还可让您灵活地定义读时模式(schema on read)。这个功能通过牺牲一些搜索性能,极大缩短了实现数据价值的时间。随着 7.12 版的发布,运行时字段现在可以在 Kibana Discover 中进行搜索,这使得分析师能够通过 Elasticsearch 中的读时模式灵活地探索结构化数据。

我们对读时模式的实施非常特别。使用 Elasticsearch 运行时字段,您不必在写时模式的速度和规模或读时模式的灵活性之间艰难取舍。您可以同时在同一 Elastic Stack 和相同的数据上使用这两种模式,鱼和熊掌兼得。既能探索新的数据并动态定义新的字段,同时仍可在已知数据中搜索字段。可以轻松地在新创建的字段(在运行时字段中定义)和写时模式之间切换,以获得最佳速度和性能。无论您采用哪种方法,Elasticsearch 都能让您在速度和规模上享有无可比拟的灵活性。

利用新的冻结层,可使 S3 这样的对象存储完全可搜索,从而获取新的价值;这一功能目前以技术预览版提供,不久 Elastic Cloud 将提供此功能的简化版本。

借助这一新冻结层(目前为技术预览版),您可以将计算与存储分离,并添加直接在对象存储(如 Amazon S3、Google Cloud Storage 和 Microsoft Azure Storage)上进行搜索的功能。这项功能允许您在性能上做出权衡,实现以很小的成本搜索数据,同时减少搜索所需的专用资源量。通过仅从对象存储中提取完成查询所需的数据,并根据需要在本地缓存这些数据,冻结层既可提供最佳的搜索体验,同时又能够存储无限量的数据。我们还将持续提升在 Elastic Cloud 中配置冻结层的用户体验,不日推出,敬请期待。

通过使用可搜索快照,您可在控制成本的同时,高效地搜索所有应用程序内容和工作场所历史记录。存储更多分析数据用于营销分析,或测试和发布有版本号的应用程序目录,作为新的部署策略。在可观测性方面,您不再需要纠结于要删除哪些日志、指标或 APM 数据来节省开支。试想一下,您可以逐年搜索应用程序性能,而无需从备份中解冻数据。想象一下,威胁猎人和安全分析师将能够通过可搜索快照,轻松访问多年的大容量安全数据源,做到明察秋毫。以更大的规模收集更多与安全相关的数据 — IDS、Netflow、DNS、PCAP 或终端数据,并让您能够更长久地访问这些数据。

有了“将搜索保存到后台”这项新功能,长时间运行的查询可以自己完成,让您心无旁骛地继续分析数据。

像大海捞针一样在海量数据中搜索是 Elastic 技术的核心追求。即使那些结果存在于跨越多个集群且采用冻结索引的数据中,Elastic Stack 也不会停止为您梳理文档,直到作业完成。但不会仅仅因为它走得更远就意味着您必须停止正在做的事情。现在有了 7.12 版,您可以在 Discover 或 Kibana 仪表板上将长时间运行的搜索会话发送到后台运行,然后专心去安排自己的工作就好了。使用新的搜索会话管理界面,您可以随时查看结果,无论是 5 分钟、5 小时,甚或是 5 天之后。让 Elastic Stack 进行多任务处理,这样您就可以集中精力完成任务。


将搜索保存到后台


 

使用 Kibana 7.12 版将搜索保存到后台。

让 Elastic Cloud 自动监测存储利用率和 Machine Learning 功能,调整资源,并通过自动扩展维护性能,这样您就可以专心发展业务。

自动扩展功能现已在 Elastic Cloud 和 Elastic Cloud Enterprise 2.9 版中推出。自动扩展功能可监测 Elasticsearch 数据节点的存储利用率,以及 Machine Learning 作业的可用容量。自动扩展功能会自动调整资源容量以维护节点性能。 

您可以使用 API、CLI 或从 Elastic Cloud 控制台启用自动扩展功能。Elasticsearch 数据节点的容量会随着存储数据的增多而增加。Machine Learning 节点的内存和 CPU 容量将会根据 Machine Learning 作业的资源需求来增加或减少。另外,您还可以设置阈值来防止集群增长失控。

有了自动扩展功能,您就可以通过优化的方式将测量工具扩展到所有应用程序来满足动态可观测性的需求,而不必为时刻提供最大容量而付出过高的代价 — 这是 Elastic 可观测性社区要求最多的功能之一。在 Elastic 企业搜索中,通过自动扩展功能,能够以更少的开销对搜索平台进行更深入的了解,并随着日志、分析和内容的增多无缝扩展。在 Elastic 安全中,完成大规模的威胁猎捕训练,并在 Machine Learning 节点针对安全事件信息执行异常检测时,让自动扩展功能监测和增加您的 Machine Learning 节点内存资源。

elk 支持多少设备 elk7.12_搜索

Elastic Cloud 中的自动扩展和数据层。

通过在 Elastic Cloud 上支持新实例类型提高了灵活性和性价比。

其中一个是支持 Microsoft Azure 伦敦和日本地区的 Ls 系列实例。Ls 系列 I/O 优化实例具有高吞吐量和低延迟的优点。与之前的 E 系列实例相比,这些实例还可节省 55% 以上的成本。您的部署将从更高的性能和更低的成本中获益。

另外一个是支持 AWS 爱尔兰、弗吉尼亚、俄亥俄和俄勒冈地区的 D3 实例。与 D2 实例相比,D3 实例为高密度存储工作负载提供了大容量的本地存储,同时以更低的成本提供了更高的性能。现在我们已在 Elastic Stack 中提供了对 ARM 的支持,同时还在致力于不久之后能支持基于 ARM 的 EC2 实例。这些实例节省了大量成本,非常适合使用分布式数据存储的部署。 

如需详细了解这些功能及其他内容,欢迎阅读 Kibana 7.12 版博文Elasticsearch 7.12 版博文,以及 Elastic Cloud 7.12 版博文

Elastic 解决方案

Elastic 企业搜索

缩减部署规模、加快导入索引速度和交付相关性更高的结果,从而获得更多价值。

Elastic 多年前就为搜索用例开创了按资源使用量的定价模式,为大规模运营搜索体验提供了一种可预测、透明且公平的方法。本着同样的原则,企业搜索团队一直在寻求借助研究和领域专业知识来优化资源使用、容量管理和相关性 — 投资复杂的建模决策,这样您就不必再做这些工作了。您所需要做的就是,尽情享受已预先调优、随时可以部署的体验。

在 7.12 版中,Elastic 企业搜索提供了一个重新构想的底层数据架构,实现了更高的存储效率、搜索性能和相关性。新的架构优化了底层索引管理以消除数据重复,并采用了新的映射配置以提高搜索精度,同时保留了现代搜索体验所需的容错功能。存储效率实现高达 70% 的提升、索引延迟降幅高达 40%,以及跨 App Search 和 Workplace Search 相关性的显著改进,客户都能体验到这些明显的变化。

有关 Elastic 企业搜索所有新功能的最新消息,可在 Elastic 企业搜索 7.12 版博文中详细了解。 

Elastic 可观测性

通过 Elastic APM 中的新关联功能,在缓慢的应用程序事务中发现有意义的模式,并加快根本原因分析的速度。

Elastic APM 引入了一项新功能,可以分析具有高延迟和错误的应用程序事务,并针对那些性能不佳的事务,自动找出与之高度关联的服务版本和基础架构元数据等因素。有了这项功能,用户可以在反应式故障排除工作流中快速锁定导致性能低下的根本原因,从而缩短解决问题的平均时间。此外,这项功能还可驱动主动式工作流程,帮助应用程序所有者识别需要改进的领域,并持续改进最终用户体验。 

例如,关联性功能可能会发现特定的服务版本与低下的性能高度关联,或者某一特定客户在事务中出错的比例过高。这些见解将有助于工程师缩小下一步调查的范围。 

elk 支持多少设备 elk7.12_Elastic_02

Elastic APM 中的新关联性功能

新关联性功能基于 Elastic 中的重要术语聚合构建而成,可将那些具有高延迟和错误的事务上的标记与完整事务集进行比较,并自动识别在次优事务中特别常见的元数据。 

如需深入探究所有的新功能,欢迎阅读 Elastic 可观测性 7.12 版博文。 

Elastic 安全

通过基于 EQL 的面向分析师的关联性功能来加速进行猎捕和调查。

对于需要将数据转换为信息和见解的业内人员,Elastic Security 7.12 版中新增的分析师驱动型关联性功能是一个不可或缺的工具。借助这项功能,分析师能够通过揭示关键数据之间的关系来更快地猎捕和调查威胁,而不是被大量非语境化的数据点淹没。这就让猎捕和调查的结果更具针对性,分析师在这些调查中发现的结果将产生更高的保真度检测。

面向分析师的关联性功能由事件查询语言 (EQL) 驱动,这是 Elastic 安全检测引擎中高级关联背后的技术。通过将关联性的力量赋予业内人员,简化了安全运维工作流程,并有助于发现攻击进程,使基于序列的分析 — 跨所有数据,不限来源 — 像搜索一样简单。所有这些都来自 Elastic 安全的猎捕和调查工作空间。

响应时间缓慢一直是加强威胁猎寻和关联性调查的阻碍。现在,有了 Elastic 安全,业内人员能够以 Elasticsearch 特有的速度显示有意义的数据。由于能够应用历史数据之间的关联,分析师可以在几分钟内从最耐心、最老练的对手那里搜集到重要见解。安全团队可从多种检测和调查方法中受益,这些方法涵盖了广泛的安全用例。将基于 EQL 的关联性功能与基于 Machine Learning 的检测、指示器匹配类型检测规则和云级别的第三方上下文相结合,可以实现更全面的安全策略。

elk 支持多少设备 elk7.12_搜索_03

Elastic 安全中的分析师驱动型关联性功能。

现在,Elastic Agent 可通过行为分析阻止勒索软件。

勒索软件攻击一直认为是有利可图的,因此它们使用的技术也在迅速发展。幸运的是,像对付其他形式的恶意软件一样,可以在攻击链上的几个点阻止勒索软件。进入深度防御。

Elastic 安全 7.12 版引入了一个全新的勒索软件预防层,也就是使用 Elastic Agent 进行行为分析,这有效补充了在 Elastic 安全 7.9 版中首次引入的无签名反恶意软件。Elastic Agent 上的行为勒索软件预防功能,能够通过分析来自底层系统进程的数据检测和阻止针对 Windows 系统的勒索软件攻击,并且对一系列广泛的勒索软件家族同样有效,包括那些针对系统主引导记录的勒索软件。

elk 支持多少设备 elk7.12_elk 支持多少设备_04

Elastic 代理中扩大了勒索软件防御。

篇幅有限,不再逐一列举…