Flume+Kafka联合优势

1）我们很多人在在使用Flume和kafka时，都会问一句为什么要将Flume和Kafka集成？

那首先就应该明白业务需求，一般使用Flume+Kafka架构都是希望完成实时流式的日志处理，后面再连接上Flink/Storm/Spark Streaming等流式实时处理技术，从而完成日志实时解析的目标。

2）两种区别

（1）重复性消费-区别

[1] flume数据采集一次后，如果数据被消费后就不能在重复消费。

[2] kafak数据本身是按主题分类，且每个主题可以被不同的用户组(消费组)重复消费数据。

（2）HA高可用-区别

首先 Kafka与Flume都可以通过配置保证数据不丢失。

[1] Flume进程宕机后，你就无法访问这些消息了，只有当然Flume进程重启，从磁盘上恢复之前状态后，可以继续对消息进行处理。且flume不支持数据副本备份的情况。

[2] 而Kafka宕机后，其他的节点可以直接替换主节点，继续远行程序，还能继续保证数据的消费情况。且kafka支持数据多副本备份的情况。

（3）取数方便性-区别

[1] flume数据读取和数据输出都很方便，直接配置文件即可，不需要开发API

[2] kafka 相对比较落，还要开发API编写生产者生成数据与消费者消数据。

（4）数据过滤性-区别

[1] Flume可以使用拦截器实时处理数据。这些对数据屏蔽或者过量是很有用的。

[2] Kafka需要外部的流处理系统才能做到。没有好的过滤功能

3）两者互补优势

(1)  flume接kafka可以不用写多余的代码。

(2）如果系统比较简单，应用场景比较单一，从简化系统的角度考虑，在满足应用需求的情况下可能只使用一个比较好。

(3）但是考虑到现有系统业务发展，为了后面的灵活扩展，在先用系统设计时留有一定的扩展性感觉更重要，可以采用Flume+kafka架构。

4）关于重启

如果flume的数据是放在内存的话，一旦重启数据就会丢失。如果是存放在磁盘里面的话数据是不会丢失的。

而kafaka 重启数据是不会丢失的。

kafka+spark联合优势

Spark不可以独立使用吗，为什么和Kafka结合？

（1）高并发处理：Kafka提供了高并发的分布式消息传递服务，Spark可以通过Kafka获取多个数据源的不同主题，同时处理多个消息流，提高处理速度和吞吐量。

（2）良好的容错性和可靠性：Kafka具有高度的容错性和可靠性，Spark可以从Kafka流中获取数据，可以更好地处理Kafka消息丢失、重复等问题，保证了事件数据的完整性和一致性。

（3）简化数据流处理：通过Kafka，Spark可以简化数据流处理，无论是批处理还是流处理，都可以通过Kafka流实现高效的数据吞吐量和实时性。

（4）因此，与Kafka结合使用可以进一步提高Apache Spark的效率，实现更快、更可靠的数据处理。