常见关键技术有MapReduce、HBase、HDFS等,其余的例如:Chukwa:数据收集系统,用于监控大型分布式系统。继承了Hadoop的可伸缩性和鲁棒性。 Flume:是Cloudera提供的一个高可用的,高可靠的,分布式的日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;能够对数据进行简单处理,并写到各种数据接受方(可定制) 。 Kafka:是一种高吞
定义:无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。特点:5v(1)Volume 大量:指的是数据体量巨大,从TB级别跃升到PB级别(1024TB)、EB级别(1024PB),甚至于达到ZB级别(1024EB)。(2)Variety 多样:指的是数据类型繁多。 这种类型的多样性也让
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号