WEL测试 ©著作权
文章标签 大数据Spark企业级实战版 大数据Spark企业级实战版学习笔记 大数据 spark 企业级 文章分类 Spark 大数据
学习笔记封面：
作为一个测试人员与开发人员一样，需要不断学习，来开阔眼界、提升实力！从事测试两年多，我也收获不少，从刚开始的手工测试到现在的app、web、接口、性能、python、shell等相关测试技术的掌握、、、都是通过坚持不懈的学习来实现突破的！
由于目前所做工作是数据测试，虽然之前学习过一些大数据相关的知识，如zookeeper、hbase、hadoop、kafka、spark、hive等相关知识。但是知识不够系统，适合入门和了解大数据，而且是全英翻译，由于翻译水平有限，可能存在偏差！今天看到《大数据Spark企业级实战版》这本书，兴趣所致，做下笔记！以供和我同样目的的人，进行学习、、、、、、
《大数据Spark企业级实战版》的章节如下图所示：
3. Spark GraphX从官网的说明来看，GraphX是Spark中用于图与图并行计算的API，可以认为是GraphLab和Pregel（图计算模型）
1.1.2 Spark术语 首先要说Spark的运行模式，Spark有很多模式，最简单的就是单机本地模式，还有单机为分布模式，复杂的则运行在集群中
第 1 章 Spark编程模式 Hadoop和Spark联合构成了当今的大数据世界！Hadoop负责数据存储和资源管理，Spark负责一体化
1.3.2.1 Spark Streaming 的构架 计算流程：Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spar
1.3.2.3 Spark Streaming案例分析 在互联网应用中，网站流量统计作为一种常用的应用模式，需要在不同粒度上对不同数据进行统计，既有实时性需求，
1.3.2.2 Spark Streaming 的编程模式对于Spark Streaming来说，编程就是对于DStream的操作。下面将通过WordCount的例子来说明Spark
6. Spark R SparkR应该被看着R版Spark的轻量级前端，这意味着它不会拥有想Scala或Java那样广泛的API，但它还是能够在R里运行Spark任务和操作数据。
4. Spark Shark Shark即Hive on Spark，本质上是通过Hive的HQL解析，Shark在Spark1.0.0由于整合度和性能等原因
1.3 Spark子框架解析 基于RDD，Spark在一个技术堆栈上统一各种业务需求的大数据处理场景，能够同时满足SQL、实时流处理
1.2 Spark大数据处理框架 Spark作为一个通用的大数据计算平台，基于"One Stack to rule them all"的理念成功成为了一体化
1.1.3 Spark技术生态系统 Spark生态系统如果1-8所示： Spark Core包含Spark的基本功能，这些功能包括任务调度
8. Tachyon Tachyon是一个高容错的分布式文件系统，允许文件以内存的速度在集群框架中进行可靠的共享，就像Spark和MapReduce那样。
1.2.2 RDD:分布式函数式编程1. RDD的基本概念 在Spark中，一个RDD就是一个分布式对象集合。每个RDD可分为多个分片(partitions
1、摘要【预计5分钟】： 为什么要讲下这三大工具，Grunt/Gulp/Webpack的作用又是什么？有什么好处吗？ 答：首先说下我们都了解jquery,但是我们下载的时候通常在官网会看到两种文件，如图： &
举报文章
请选择举报类型
补充说明
0/200
上传截图
格式支持JPEG/PNG/JPG，图片不超过1.9M
