一、背景

由于自己还在逐步了解es用法中,当前无法快速提供独立es服务。而且通过与郝xxx、宋zz、孟xxx沟通,当前线上cc和clt通过聚合家长端和DB及es等数据能解决复杂查询问题,因为followup刚上线还不完善,先深入业务,重点解决业务关注的痛点、紧急问题、暂无人无资源去解决的问题。通过业务了解逐步服务化es,收敛分散在业务平台各个独立es查询服务为统一es服务。

二、目标

针对followup的es服务

  • 目前正在开发中,进一步完善和优化 

针对业务平台的es服务

  • 实现统一数据更新策略,包括校验字段准确性、不同数据源、不同导入方式
  • 提供更完善es服务监控
  • 保证数据更新一致性,数据实时性
  • 保障系统稳定性

三、方案

抽象基础功能进行复用,避免重复开发

es便利aggs java es便利服务_数据

 

方案1

es便利aggs java es便利服务_基础功能_02

es搜索服务统一服务化为业务平台基础es服务

方案1规划如下:

第一阶段 followup完善和优化

followup 功能完善和优化,保障数据一致性和准确性。

第二阶段 抽象基础功能复用

抽象出基础功能进行复用,例如数据实时性、数据补偿机制、数据和字段一致性同步等等

第三阶段 业务平台基础es服务化,替换mes

online_class和student数据模型改进和完善

基于online_class和student逐步从其他服务剥离服务化

灰度下线mes和上线基础es,逐步fork mes功能到基础es,基础es服务灰度上线,mes和基础es先并行提供服务,待基础es稳定运行一段时间mes功能逐步下线

基础es服务全面替换mes

 

方案2

es便利aggs java es便利服务_数据_03

 

方案2规划如下:

第一阶段 followup完善和优化

followup 功能完善和优化,保障数据一致性和准确性。

第二阶段 抽象基础功能复用

抽象出基础功能进行复用,例如数据实时性、数据补偿机制、数据和字段一致性同步等等

第三阶段 oc和student服务化(ocs)

online_class和student数据模型改进和完善

基于online_class和student逐步从其他服务剥离服务化