4.机器学习系统的开发
机器学习系统的构成以及训练数据的日志信息收集方法
4.2系统设计
4.2.1 混淆概念
监督学习系统:批量处理+批量学习
常见处理方式和学习的组合
1.采取批量处理方式进行批次学习
2.采取批量处理方式进行逐次学习
3.采取实时处理方式进行批次学习
4.采取实时处理方式进行逐次学习
机器学习系统(基于批量处理方式)
1.采用批量处理方式的学习+通过Web应用直接计算预测结果(实时处理预测)
2.采用批量处理方式的学习+通过API利用预测结果(实时处理预测)
3.采用批量处理方式的学习+通过数据库利用预测结果(批量处理预测)
4.采用实时处理方式的学习
组成模式 | 特点 | 适合 |
1 | 1.预测需要实时处理 2.Web应用于进行机器学习的批量处理系统使用同一语言 |
构成相对简单,适合小规模系统的开发实现 |
2 | 1.Web应用和机器学习所使用的的编程语言可以不同 2.对Web应用侧的事件可以以实时处理方式进行预测 |
与Web应用保持松耦合关系,如果对于具有不同学习算法或特征的多个模型进行A/B测试 |
3 | 1.预测需要的信息在执行预测批量处理时存在 2.以事件(例如,用户访问网站)为触发器,不需要时刻返回预测结果 |
4.3日志设计
4.3.1 可用作特征或训练数据的信息
1.用户信息
2.内容信息
3.用户操作日志
4.3.2日志存储
1.存储于分布式RDBMS
2.存储于分布式处理基础架构Hadoop聚类器的HDFS
3.存储于对象存储
4.3.3日志设计的注意事项
1.少选一些指标
2.已经收集的日志是否能够可以用做训练数据
3.日志形式的变化