4.机器学习系统的开发

机器学习系统的构成以及训练数据的日志信息收集方法

4.2系统设计

4.2.1 混淆概念

监督学习系统:批量处理+批量学习

常见处理方式和学习的组合

1.采取批量处理方式进行批次学习

2.采取批量处理方式进行逐次学习

3.采取实时处理方式进行批次学习

4.采取实时处理方式进行逐次学习

机器学习系统(基于批量处理方式)

1.采用批量处理方式的学习+通过Web应用直接计算预测结果(实时处理预测)

2.采用批量处理方式的学习+通过API利用预测结果(实时处理预测)

3.采用批量处理方式的学习+通过数据库利用预测结果(批量处理预测)

4.采用实时处理方式的学习

组成模式 特点 适合
1

1.预测需要实时处理

2.Web应用于进行机器学习的批量处理系统使用同一语言

构成相对简单,适合小规模系统的开发实现
2

1.Web应用和机器学习所使用的的编程语言可以不同

2.对Web应用侧的事件可以以实时处理方式进行预测

与Web应用保持松耦合关系,如果对于具有不同学习算法或特征的多个模型进行A/B测试
3

1.预测需要的信息在执行预测批量处理时存在

2.以事件(例如,用户访问网站)为触发器,不需要时刻返回预测结果

 

 

4.3日志设计

4.3.1 可用作特征或训练数据的信息

1.用户信息

2.内容信息

3.用户操作日志

4.3.2日志存储

1.存储于分布式RDBMS

2.存储于分布式处理基础架构Hadoop聚类器的HDFS

3.存储于对象存储

4.3.3日志设计的注意事项

1.少选一些指标

2.已经收集的日志是否能够可以用做训练数据

3.日志形式的变化