一、大数据关键技术

    大数据特点:4V,数据量大、数据类型多、处理速度快、价值密度低。

   大数据的关键技术包括:数据采集、 数据存储和管理、 数据的分析和处理、数据的隐私和安全。其中,分布式存储和分布式处理是大数据技术的核心

  大数据计算模式:

  批处理计算                            针对大规模数据的批量处理                           mapReduce, Spark

  流计算                                     针对流数据的实时计算                                  Storm、S4、Streams、Puma、DStream等

  图计算                                     针对大规模图结构数据的处理                       Pregel、Graphx、Giraph、Hama等

  查询分析计算                        大规模数据的存储管理和查询分析               Dreml、Hive、 Cassandra等

二、大数据、云计算和物联网的关系

     云计算,通过网络以服务的方式提供可伸缩、廉价的分布式计算能力。解决海量放分布式存储和分布式处理,虚拟化和多租户。

     云分为公有云、私有云和混合云,底层是基础设施即服务IaaS,主要是提供底层的基础设施,企业不需要搭建硬件服务;中间层是平台即服务PaaS,就是一个云平台开发环境,企业个人可以在上面开发自己的云产品。最上层是软件即服务SaaS,提供软件层面的服务。

   云计算的关键技术:虚拟化、分布式存储、分布式计算、多租户等。而云计算数据中心则是云计算的载体,为云计算提供计算、存储、宽带连接、监控等,也为各种平台和应用提供运行支撑环境。

  物联网:主要是交互感知。

  三者之间的关系:大数据技术继承自云计算,现在大数据包含两方面的意思:一是数据量非常大,二是对数据的处理技术。反过来,也正是大数据时代的到来,才不断促进了云计算及时的发展。而物联网则是数据的源头,不断产生大量的数据。

三、云计算

  Saas系统:提供一个云端的服务软件;

  PaaS系统:提供最基本的服务,还包括操作系统和软件运行所需的特定环境;

  IaaS系统:提供最基本的设施服务,如计算资源和存储等;