背景：

自己以前一直听说，爬虫，大数据，但是自己一直不了解，之后后来参与到一个大数据采集系统，此系统主要是采集一些外网的数据，然后这些外网的数据信息，给集团内部来用。接下来我们聊一聊我们的系统架构图

1.python爬虫

python 爬取数据到hbase系统

2.大数据系统方案

大数据端主要是完成了数据的聚合，和数据的etl 和数据的离线计算

实时数据采集 架构 数据采集系统架构_数据

3.java系统架构方案

java端主要是实现了平台对外的api接口

实时数据采集 架构 数据采集系统架构_java_02