1.模拟生成 web log 记录在日志中，每行代表一条访问记录，典型格式如下：46.156.87.72 - - [2018-05-15 06:00:30] "GET /upload.php HTTP/1.1" 200 0 "http://www.baidu.com/s?wd=spark" "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; T
转载
2023-12-18 16:20:03
10000+阅读
今天一口气,发了好几篇文章.仔细看来,全都是请教的，求助的文章.
最后了，还得,一定,要再发一个:等待就被挨打~~
主动出击,不要再等待~~
原创
2008-02-23 12:27:24
769阅读
1评论
幸运的我们。
原创
2021-07-31 18:36:11
149阅读
大数据基础视频教程目录：1、Scala语言环境安装、Scala的基本语法2、常用方法联系3、面向对象、模式匹配4、Actor、柯里化、隐式转换5、泛型、Akka6、Spark集群安装、Spark任务提交、Spark实现WorldCount上传任务7、RDD的基本概念、常用算子练习8、案例练习9、Spark集群启动流程和任务提交流程、案例练习10、RDD的依赖关系、Stage划分、任务的
转载
2023-11-15 19:18:02
532阅读
利用电影观看记录数据,进行电影推荐。 文章目录利用电影观看记录数据,进行电影推荐。准备1、任务描述：2、数据下载3、部分数据展示实操1、设置输入输出路径2、配置spark3、读取Rating文件4、读取movie文件5、保存结果6、结果你可能会遇到的问题问题一：结果输出目录已存在问题二：缺少hadoop环境变量 准备1、任务描述：在推荐领域有一个著名的开放测试集，下载链接是：http://grou
转载
2023-11-13 16:41:27
125阅读
压缩过的大数据Spark蘑菇云行动前置课程视频百度云分享链接
链接：http://pan.baidu.com/s/1cFqjQu
SCALA专辑
Scala深入浅出经典视频
链接：http://pan.baidu.com/s/1i4Gh3Xb 密码：25jc
DT大数据梦工厂大数据spark蘑菇云Scala语言全集（持续更新中）
http://www.tudou.com/plcover/rd3
转载
2023-09-07 16:35:17
40阅读
“ 今天这篇漫画的灵感来源于知乎的一个问答话题，这种情景在程序员身边应该常有发生吧。图片来自 PexelsPS：本期漫画改编自知乎万赞问答，已获改编授权，情节纯属虚构，如有雷同，纯属巧合。编后：程序员本身是一个自学能力很强的群体，也就是说每天都在进步，然而互联网的节奏更快，每天都在匆忙的编码中度过。曾经的项目，在一个月、半年、一年后再回过头来看它，估计都会有不一样的思路，甚至会带着鄙视的眼神去看它
转载
2021-05-27 22:57:14
1316阅读
Spark大数据分析与实战：Spark SQL编程初级实践一、安装Hadoop和Spark具体的安装过程在我以前的博客里面有，大家可以通过以下链接进入操作：提示：如果IDEA未构建Spark项目，可以转接到以下的博客：IDEA使用Maven构建Spark项目：二、启动Hadoop与Spark查看3个节点的进程masterslave1slave2三、Spark SQL基本操作将下列JSON格式数据复
转载
2023-09-12 22:02:36
134阅读
课程推荐 工具finalshell 3.9.4Anaconda3-2021.05-Linux-x86_64.shspark-3.2.0-bin-hadoop3.2.tgz3台虚拟机：hadoop集群node1,node2,node3conda命令# 查看虚拟环境列表
conda env list
# 删除虚拟环境pyspark_env
conda remove -n pyspark_env --a
Spark亚太研究院院长和首席专家，中国目前唯一的移动互联网和云计算大数据集大成者。 在Spark、Hadoop、Android等方面有丰富的源码、实务和性能优化经验。彻底研究了Spark从0.5.0到0.9.1共13个版本的Spark源码，并已完成2014年5月31日发布的Spark1.0源码研究。 Hadoop源码级专家，曾负责某知名公司的类Hadoop框架开发
一、上次课回顾二、IDEA整合Maven搭建Spark开发环境三、词频统计案例开发及上传jar包到服务器并准备测试数据四、提交Spark应用程序运行五、词频统计案例迭代之输出结果到HDFS六、词频统计案例迭代之处理多个输入文件七、词频统计案例之输入文件规则匹配八、带排序的词频统计案例开发及执行过程剖析九、带排序的词频统计案例spark-shell快速测试## 一、上次课回顾上次课博客总结： 1、若
转载
2023-11-06 13:41:02
49阅读
Spark大纲：1. Spark入门 2. Spark Core 3. Spark SQL 4. Spark Streaming 5. Why SparkSpark入门:1、Spark是什么、有哪些特点 2、Spark Timeline、发展历史、各个版本总结 3、Spark VS Hadoop2.X & MapReduce 4、Spark源码下载、编译（几种编译方式以及Hadoop版本指
构建商业生产环境下的Spark集群实战 视频下载：http://pan.baidu.com/share/link?shareid=3629554384&uk=4013289088&fid=89330229621247Spark亚太研究院院长和首席专家，中国目前唯一的移动互联网和云计算大数据集大成者。在Spark、Hadoop、Android等方面有丰富的源码、实务和性
转载
2024-01-10 15:36:58
2138阅读
一、上次课回顾二、从宏观角度看RDD三、RDD-map算子详解四、RDD-filter结合map算子详解五、RDD-mapValues算子详解六、RDD常用action算子一、上次课回顾1、若泽数据B站视频Spark基础篇05-Spark-RDD的创建二、从宏观角度看RDD从宏观角度看RDD operations:官网描述：RDDs support two types of operations
转载
2023-12-03 09:07:53
399阅读
课程内容:01.hive-原理02.hive-部署03.hivesql-DDL04.hivesql-分区、D
转载
2021-08-05 14:52:25
561阅读
# 了解Spark Player及视频缓存
在现如今的数字化时代，视频已经成为人们日常生活中不可或缺的一部分。然而，观看高清视频可能需要较长的加载时间，这就是为什么视频缓存成为了一种流行的技术。Spark Player是一个功能强大的播放器，它允许用户播放各种类型的视频，并提供了视频缓存功能，以便更快地加载和播放视频。
## 什么是Spark Player？
Spark Player是一个基
随着大数据的发展，人们对大数据的处理要求也越来越高，原有的批处理框架MapReduce适合离线计算，却无法满足实时性要求较高的业务，如实时推荐、用户行为分析等。 Spark Streaming是建立在Spark上的实时计算框架，通过它提供的丰富的API、基于内存的高速执行引擎，用户可以结合流式、批处理和交互试查询应用。 本文将详细介绍 Spark Streaming 实时计算框架的原理与特点、适用
网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PAAS服务，在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。现在，网易视频云的技术专家给大家分享一则技术文：一个SparkSQL的作业的一生。Spark是
当前流行的数据流计算平台是twitter的storm，yahoo的s4等， 这些流计算平台采用record-at-a-time模型： 记录流式达到计算节点， 计算节点依据当前记录进行一定计算，更新节点内部状态，最后输出新记录给下游计算节点。 record-at-a-time模型存在如下问题： • 故障处理不足。 有复制和数据回放两种容错方式， 但是这两种方式各有不足。 复制方法消耗两
学习目录一、Cache和Persist缓存二、CheckPoint 检查点三、缓存和检查点的区别☆☆☆（面试） 一、Cache和Persist缓存基本介绍格式： RDD.Cache() RDD.Persist(参数)RDD 通过 Cache 或者 Persist 方法将前面的计算结果缓存，默认情况下会把数据以缓存在 JVM 的堆内存中。但是并不是这两个方法被调用时立即缓存，而是触发后面的 act
转载
2023-08-25 22:55:53
67阅读
