基本信息作者： Spark亚太研究院 王家林 丛书名： 决胜大数据时代Spark全系列书籍出版社：电子工业出版社ISBN：9787121247446上架时间：2015-1-6出版日期：2015 年1月开本：16页码：812版次：1-1所属分类： 计算机 > 数据库 > 数据库存储与管理 编辑推荐 ...
转载
2015-03-26 14:13:00
268阅读
2评论
随着信息技术的迅猛发展，数据量呈现出爆炸式增长趋势，数据的种类与变化速度也远远超出人们的想象，因此人们对大数据处理提出了更高的要求，越来越多的领域迫切需要大数据技术来解决领域内的关键问题。在一些特定的领域中（例如金融、灾害预警等），时间就是金钱、时间可能就是生命！然而传统的批处理框架却一直难以满足这些领域中的实时性需求。为此，涌现出了一批如S4、Storm的流式计算框架。Spark是基于内存的大数
1.1.2 Spark术语 首先要说Spark的运行模式，Spark有很多模式，最简单的就是单机本地模式，还有单机为分布模式，复杂的则运行在集群中
原创
2022-06-15 17:35:37
93阅读
第 1 章 Spark编程模式 Hadoop和Spark联合构成了当今的大数据世界！Hadoop负责数据存储和资源管理，Spark负责一体化
原创
2022-06-15 17:35:50
194阅读
3. Spark GraphX从官网的说明来看，GraphX是Spark中用于图与图并行计算的API，可以认为是GraphLab和Pregel（图计算模型）
原创
2022-06-15 17:35:20
95阅读
学习笔记封面：前言 作为一个测试人员与开发人员一样，需要不断学习，来开阔眼界、提升实力！从事测试两年多，我也收获不少
原创
2022-06-15 17:35:43
99阅读
课 程 大 纲本课程会介绍 Hadoop / Spark 各组件的架构，但不会涉及任何安装的内容，安装的教程、录像视频什么的网上到处都是，讲安装太浪费时间~ Hadoop/Spark环境的安装请大家自行解决，建议用Cloudera CDH或者Hortonworks HDP 本课程目标是：给大家分享一些在网上不能随便就搜到的内容和窍门，展示企业线上生产系统中应用 Had
Spark 2.4.8 Top10小项目实战一、准备数据二、需求分析三、设计四、编码实现五、实验要求 一、准备数据本实战项目的数据是采集自电商的用户行为数据. 主要包含用户的 4 种行为: 搜索, 点击, 下单和支付. 数据格式如下, 不同的字段使用下划线分割开_: 数据说明:数据采用_分割字段每一行表示用户的一个点击行为, 所以每一行只能是四种行为中的一种.如果搜索关键字是 null, 表示这
转载
2023-08-11 21:54:17
60阅读
1.3.2.3 Spark Streaming案例分析 在互联网应用中，网站流量统计作为一种常用的应用模式，需要在不同粒度上对不同数据进行统计，既有实时性需求，
原创
2022-06-15 17:34:16
331阅读
1.3.2.1 Spark Streaming 的构架 计算流程：Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spar
原创
2022-06-15 17:34:33
74阅读
这年头，一家企业没有自己的APP都不好意思跟人打招呼。要知道，随着移动互联网的狂飙突进，APP已经成为人们生活中密不可分的一切。几乎一切的生活、娱乐、休闲、办公都能通过APP解决。
而企业级APP在这其中更是一家企业在移动互联网的“门脸”，要是没有这张“门脸”，或者这张“门脸”不够优秀，不仅被业界同行瞧不起，就连用户都觉得这家企业实力不够强。如今，许
转载
2023-10-19 22:20:12
103阅读
4. Spark Shark Shark即Hive on Spark，本质上是通过Hive的HQL解析，Shark在Spark1.0.0由于整合度和性能等原因
原创
2022-06-15 17:35:14
198阅读
1.3.2.2 Spark Streaming 的编程模式对于Spark Streaming来说，编程就是对于DStream的操作。下面将通过WordCount的例子来说明Spark
原创
2022-06-15 17:34:24
138阅读
6. Spark R SparkR应该被看着R版Spark的轻量级前端，这意味着它不会拥有想Scala或Java那样广泛的API，但它还是能够在R里运行Spark任务和操作数据。
原创
2022-06-15 17:35:06
88阅读
1.3 Spark子框架解析 基于RDD，Spark在一个技术堆栈上统一各种业务需求的大数据处理场景，能够同时满足SQL、实时流处理
原创
2022-06-15 17:34:46
598阅读
目录任务1：编写一个Java程序，向HDFS中上传任意文本文件基本思路：参考代码：实验结果：任务2：编写一个Java程序，打开一个HDFS中的文件，并读取其中的数据，输出到标准输出基本思路：参考代码：实验结果：任务3：编写一个Java程序，从HDFS中下载指定文件基本思路：参考代码：实验结果：任务4：编写一个Java程序，新建一个HDFS文件，并向其中写入你的名字基本思路：参考代码：实验结果：任务
转载
2023-07-20 20:40:24
113阅读
1.2 Spark大数据处理框架 Spark作为一个通用的大数据计算平台，基于"One Stack to rule them all"的理念成功成为了一体化
原创
2022-06-15 17:36:01
182阅读
JavaEE基础问题本文介绍了对于JavaEE几个关键问题的理解，这是进一步学习JavaEE使用以及后续理解JavaEE的基础。什么是JavaEEhttps://www.jianshu.com/p/92ccf737beceJavaEE就是Java推出的企业级程序开发规范。涉及到2个关键概念，分别是企业级和规范什么是企业级？
企业级的程序可以简单地理解为服务。什么是规范？
结合上文，可以
转载
2023-08-23 21:29:13
102阅读
2012年11月30日-12月1日，2012中国软件技术大会以“大数据时代的企业级应用”为主题，详细解析和展望当前的技术变革对传统的企业级网络、服务、智能、平台、融合的影响和驱动力。MessageSolution将携邮件归档审计解决方案参加此次大会，与千名来宾讨论邮件归档如何帮助用户解决法规遵从、电子发现、邮件审计等多项需求。
大会将邀请国内外知名的技术大
原创
2012-11-29 10:33:48
798阅读
