目录1 一般操作：查找和过滤1.1 读取数据源1.1.1读取json1.1.2 读取Hive表1.2 取数据列1.3
目录1 Spark SQL自定义函数1.1 自定义函数分类1.2 自定义UDF1.3 自定义UDAF2 开窗函数2.1
目录1 多语言开发-说明2 Java-Spark-掌握2.1 SparkCore2.2 SparkStreaming2.3 SparkSQL2.4 StructuredStreaming2.5 线性回归算法-房价预测案例2.5.1 需求代码实现3 PySpark-了解3.1 SparkCore3.2 Spa
目录1 流程分析2 业务模块划分3 创建模块包结构4 准备Kafka主题4.1 测试发送数据到Kafka5 需求5.1 代码实现6 需求6.1 准备模型-直接训练并使用6.2 代码实现7 学生答题情况离线分析7.1 代码实现 1 流程分析注意: 重点做的 2 3 4 部分 2 业务模块划分准备工作 3
目录1. Canal 环境搭建2 配置Canal2.1 下载Canal2.2 解压2.3 修改instance 配置文件2.4 修改canal.properties配置文件2.5 启动Canal2.6. 验证2.7. 关闭Canal3 Spark实现实时数据分析3.1 在Mysql中创建如下两张表3.2 S
目录1 分布式估算圆周率2 程序设计3 分布式运行3.1 采用本地模式提交sparkAPP.jar3.2 采用Yarn-client或Yarn-cluster模式提交1 分布式估算圆周率计算原理假设正方形的面积S等于x²，而正方形的内切圆的面积C等于Pi×(x/2)²，因此圆面积与正方形面积之比C/S就为Pi/4，于是就有Pi=4×C/S。可以利用计算机随机产生大量位于正方形内部的点，通过点的数量去近似表示面积。假设位于正方形中点的数量为Ps，落在圆内的点的数量为Pc，则随机点的数量趋近于无穷
目录1 安装地址2 解压安装2.1 配置Linux环境变量2.2 scala环境配置2.3 配置spark-env.sh环境变量2.4 配置slaves文件2.5 将安装好的Spark复制到Slave 1 安装地址http://archive.apache.org/dist/spark/spark-2.4.0/ 2 解压安装ta
目录1 简介2 隐语义模型（LFM）3 LFM 降维方法 —— 矩阵因子分解3.1 矩阵因子分解3.2 矩阵因子分解计算4 LFM 的进一步理解4.1 矩阵因子分解 1 简介在大数据Spark MLlib推荐算法这篇文章中涉及到拆分,至于为什么拆分没有详解接下来写一下如何来构建模型.基于模型的协同过滤推荐，就是基于样本的用户偏好信息，训练一
目录1 相似度算法1.1 欧几里德距离算法1.2 基于夹角余弦相似度算法2 最近邻域3 交替最小二乘法3.1 最小二乘法3.2 交替最小二乘法3.3 ALS算法流程3.4 ALS算法实战3.4.1 数据说明3.4.2 数据建模3.4.3 实战3.4.4 优化改进 1 相似度算法无论是基于用户还是
目录1 什么是Zeppelin2 Zeppelin配置spark3 Zeppein运行spark程序3.1 创建spark notebook3.2 使用SparkSQL查看有多少数据库:3.3 使用SparkCore执行word count 1 什么是Zeppelina. Apache Zeppelin 是一个基于网页的交互式数据分析开源框架。Zep
目录1 从广告说起推荐系统2 什么是推荐系统？3 电商是推荐系统的先行者4 推荐系统业务流程5 推荐系统所涉及到的知识6 协同过滤算法6.1 基于用户的推荐 UserCF6.2 基于商品的推荐 ItemCF6.3 如何选择？7 用户偏好收集7.1 数据的降噪和归一化 1 从广告说起推荐系统先如今，广告可谓是无处
目录1 什么是Spark MLlib？2 支持的数据类型2.1 本地向量集2.1.1、密集型数据集2.1.2 稀疏型数据集2.2 向量标签2.3 本地矩阵2.4 分布式矩阵2.4.1 行矩阵2.4.2 行索引矩阵2.4.3 坐标矩阵2.4.4 分块矩阵3 RDD、DataSet、Dataframe区
目录1 连续处理概述2 编程实现3 支持查询 1 连续处理概述连续处理（Continuous Processing）是Spark 2.3中引入的一种新的实验性流执行模式，可实现低的（~1 ms）端到端延迟，并且至少具有一次容错保证。 将其与默认的微批处理（micro-batchprocessing）引擎相比较，该引擎可以实现一次性保证，但最多可实现~100ms的延迟。在实时
目录1 设备监控数据1.1 创建 Topic1.2 模拟数据2 基于DataFrame分析3 基于SQL分析4 时间概念5 event-time 窗口分析6 event-time 窗口生成7 延迟数据处理7.1 延迟数据7.2 Watermarking 水位7.3 官方案例演示 1 设备监控数据在物联网
目录1 Kafka 数据消费2 Kafka 数据源3 Kafka 接收器3.1 配置说明3.2 实时数据ETL架构3.3 模拟基站日志数据3.4 实时增量ETL4 Kafka 特定配置 1 Kafka 数据消费Apache Kafka 是目前最流行的一个分布式的实时流消息系统，给下游订阅消费系统提供了并行处理和可靠容错机制，现在大公司
目录1 重构代码2 Checkpoint 恢复3 MySQL 存储偏移量3.1 编写工具类3.2 加载和保存偏移量 1 重构代码针对前面实现【百度热搜排行榜Top10】实时状态统计应用来说，当应用关闭以后，再次启动（Restart）执行，并没有继续从上次消费偏移量读取数据和获取以前状态信息，而是从最新偏移量（Latest Offset）开始的消费，肯定不符合
目录1 业务场景2 初始化环境2.1 创建 Topic2.2 模拟日志数据2.3 StreamingContextUtils 工具类3 实时数据ETL存储4 实时状态更新统计4.1 updateStateByKey 函数4.2 mapWithState 函数5 实时窗口统计 1 业务场景百度搜索风云榜（http://t
目录1 输出模式2 查询名称3 触发间隔4 检查点位置5 输出终端（Sinks）5.1 文件接收器5.2 Memory Sink5.3 Foreach Sink5.4 ForeachBatch Sink6 容错语义7 Kafka 数据消费8 Kafka 数据源9 Kafka 接收器9.1 配
目录1 Spark Streaming 不足2 Structured Streaming 概述2.1 模块介绍2.3 编程模型3 入门案例：WordCount3.1 功能演示3.2 Socket 数据源3.3 Console 接收器3.4 编程实现4 DataStreamReader 接口5 文件数据源6
目录1 整合Kafka 0.8.21.1 回顾 Kafka 概念1.2 集成方式1.3 两种方式区别2 Direct 方式集成2.1 编码实现2.2 底层原理3 集成Kafka 0.10.x4 获取偏移量 1 整合Kafka 0.8.2在实际项目中，无论使用Storm还是SparkStreaming与Flink，主要从Kafk
目录1 DStream 是什么2 DStream Operations2.1 函数概述2.2 转换函数：transform2.3 输出函数：foreachRDD 1 DStream 是什么SparkStreaming模块将流式数据封装的数据结构：DStream（Discretized Stream，离散化数据流，连续不断的数据流），代表持续性的数据流和经过各
目录1 官方案例运行2 编程实现2.1 StreamingContext2.2 编写代码2.3 Streaming 应用监控3 Streaming 工作原理3.1 创建 StreamingContext3.2 接收器接收数据3.3 汇报接收Block报告3.4 Streaming 工作原理总述 1 官方案例运行SparkStreaming官方提供Example案例，功能描述：从TCP Socket
目录1 Streaming 应用场景2 Lambda 架构3 Streaming 计算模式4 SparkStreaming 计算思想 1 Streaming 应用场景 在很多实时数据处理的场景中，都需要用到流式处理（Stream Process）框架，Spark也包含了两个完整的流式处理框架Spark Streaming和Structured Streaming（S
目录1 Spark SQL CLI2 ThriftServer JDBC/ODBC Server2.1 beeline 客户端2.2 JDBC/ODBC 客户端 1 Spark SQL CLI 回顾一下，如何使用Hive进行数据分析的，提供哪些方式交互分析？？？ 方式一：交互式命令行（CLI）bin/hive，编写SQL语句及DDL语句方式二：启动服务HiveSe
目录1 SparkSession 应用入口2 词频统计WordCount2.1 基于DSL编程2.2 基于SQL编程3 数据处理分析3.1 基于DSL分析3.2 基于SQL分析 1 SparkSession 应用入口Spark 2.0开始，应用程序入口为SparkSession，加载不同数据源的数据，封装到DataFrame/Dataset集
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
