乐胖代购免代理版

欢迎

SparkCore之一张贴带你领悟RDD相关概念关系

输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并成一个输入分片，称为InputSplit，注意InputSplit不能跨越文件。随后将为这些输入分片生成具体的Task。InputSplit与Task是一一对应的关系。随后这些具体的Task每...

大数据

spark

数据格式

hdfs

其他

原创 2022-02-16 16:24:54 37 阅读

SparkCore之RDD缓存

RDD通过persist方法或cache方法可以将前面的计算结果缓存，默认情况下 persist() 会把数据以序列化的形式缓存在 JVM 的堆空间中。但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD将会被缓存在计算节点的内存中，并供后面重用。通过查看源码发现cache最终也是调用了persist方法，默认的存储级别都是仅在内存存储一份，Spark的存储级别...

spark

大数据

缓存

scala

数据

原创 2022-02-16 16:24:54 51 阅读

SparkSQL之一张贴告诉你什么是SparkSQL

什么是SparkSQL?Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！SparkSQL的特点1.

大数据

Spark

SparkSQL

spark

sql

原创 2022-02-16 16:24:53 39 阅读

Spark消费kafka数据时报错java.io.NotSerializableException: org.apache.kafka.clients.consumer.ConsumerRecord

1.上截图2.问题原因kafkaDatas 是一个输入流而我却直接调用的print方法所以出现了序列化异常3.解决方案应当遍历,获取流中的数据value

spark

kafka

大数据

序列化

解决方案

原创 2022-02-16 16:24:53 1347 阅读

Flume实现两个agent级联采集

1.先附一张效果图第一个agent负责收集文件当中的数据，通过网络发送到第二个agent当中去，第二个agent负责接收第一个agent发送的数据，并将数据保存到hdfs上面去2.开始实操先在两个节点安装FlumeFlume的入门安装教程此时我们已经安装好了两个节点主节点 : node09从节点 : node10第一步:node10配置flume配置文件1.进入到F...

大数据

Flume

hdfs

数据

vim

原创 2022-02-16 16:20:14 266 阅读

Azkaban(solo-server)模式部署

1．节点规划HOST角色node-12Web Server和Executor Server同一进程 2. 开始安装1.创建一个新的安装目录mkdir /export/servers/azkaban2.解压tar -zxvf azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz -C /export/servers/azkaban/3.进入安装目录cd /export

大数据

Azkaban

vim

用户名

配置文件

原创 2022-02-16 16:19:55 123 阅读

hive的数据压缩

在实际工作当中，hive当中处理的数据，一般都需要经过压缩，前期我们在学习hadoop的时候，已经配置过hadoop的压缩，我们这里的hive也是一样的可以使用压缩来节省我们的MR处理的网络带宽MR支持的压缩编码压缩格式工具算法文件扩展名是否可切分DEFAULT无DEFAULT.deflate否GzipgzipDEFAULT.gz否bz...

大数据

hive

数据压缩格式

hadoop

mapreduce

原创 2022-02-16 16:19:38 76 阅读

Hue 集成 Yarn

1.修改hue的配置文件(hue.ini)修改以下内容[[yarn_clusters]] [[[default]]] resourcemanager_host=node-1 resourcemanager_port=8032 submit_to=True resourcemanager_api_url=http://node-1:80...

大数据

hue

重启

配置文件

运行日志

原创 2022-02-16 16:19:38 287 阅读

面试官: hive你都会了吗?

1、什么是Hive?Hive是基于Hadoop的一个数据仓库工具，能将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能，（能将SQL语句转变成MapReduce任务来执行。）2、Hive的意义（最初研发的原因）?降低程序员使用Hadoop的难度，降低学习成本，3、Hive的内部组成模块，作用分别是什么?元数据：描述数据的数据内部执行流程：解析器（解析器SQL语句）...

大数据

hive

面试题

字段

hdfs

原创 2022-02-16 16:19:38 60 阅读

Hive表中加载数据的5中方式

1.直接分区表中插入数据create table score3 like score;insert into table score3 partition(month ='201807') values ('001','002','100');2.通过查询插入数据通过load方式加载数据load data local inpath '/export/servers/hivedat...

大数据

hive

加载数据

hdfs

创建表

原创 2022-02-16 16:19:37 50 阅读

Hive分桶表入门

什么是分桶表将数据按照指定的字段进行分成多个桶中去，说白了就是将数据按照字段进行划分，可以将数据按照字段划分到多个文件当中去开启分桶表功能set hive.enforce.bucketing=true;设置reduce的个数set mapreduce.job.reduces=3;入门案例(数据自己弄,路径自己设,注意分隔符)创建桶表create table cour...

大数据

hive

分桶表

数据

字段

原创 2022-02-16 16:19:37 94 阅读

Hive的分区表入门

什么是分区表:数据分区的概念以及存在很久了，通常使用分区来水平分散压力，将数据从物理上移到和使用最频繁的用户更近的地方，以及实现其目的。hive中有分区表的概念，我们可以看到分区具重要性能优势，而且分区表还可以将数据以一种符合逻辑的方式进行组织，比如分层存储分区表分别有静态分区和动态分区在大数据中，最常用的一种思想就是分治，我们可以把大的文件切割划分成一个个的小的文件，这样每次操作一...

大数据

hive

分区表

数据

字段

原创 2022-02-16 16:19:37 159 阅读

hive外部表入门

外部表说明：外部表因为是指定其他的hdfs路径的数据加载到表当中来，所以hive表会认为自己不完全独占这份数据，所以删除hive表的时候，数据仍然存放在hdfs当中，不会删掉管理表和外部表的使用场景：每天将收集到的网站日志定期流入HDFS文本文件。在外部表（原始日志表）的基础上做大量的统计分析，用到的中间表、结果表使用内部表存储，数据通过SELECT+INSERT进入内部表。操作案...

大数据

hive

外部表

hdfs

数据

原创 2022-02-16 16:19:37 147 阅读

Zookeeper的选举机制

zookeeper默认的算法是FastLeaderElection，采用投票数大于半数则胜出的逻辑。概念服务器ID比如有三台服务器，编号分别是1,2,3。编号越大在选择算法中的权重越大。选举状态LOOKING，竞选状态。FOLLOWING，随从状态，同步leader状态，参与投票。OBSERVING，观察状态,同步leader状态，不参与投票。LEADING，领导者状态...

大数据

Zookeeper

服务器

数据

zookeeper

原创 2022-02-16 16:19:37 75 阅读

hive导出数据的7种方式

将hive表中的数据导出到其他任意目录，例如linux本地磁盘，例如hdfs，例如mysql等等insert导出将查询的结果导出到本地insert overwrite local directory '/export/servers/exporthive/a' select * from 表名;将查询的结果格式化导出到本地insert overwrite local directo...

大数据

hive

导出数据

hdfs

集合类型

原创 2022-02-16 16:19:36 1331 阅读

Hive自定义函数

查看hive的内置函数Hive官方文档查看系统自带的函数hive> show functions;显示自带的函数的用法hive> desc function upper;详细显示自带的函数的用法hive> desc function extended upper;Hive自定义函数Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过...

大数据

hive

自定义函数

jar包

其他

原创 2022-02-16 16:19:36 235 阅读

hive参数配置方式

hive参数大全hadoop官方参数大全开发Hive应用时，不可避免地需要设定Hive的参数。设定Hive的参数可以调优HQL代码的执行效率，或帮助定位问题。然而实践中经常遇到的一个问题是，为什么设定的参数没有起作用？这通常是错误的设定方式导致的。一般参数的三种设置方式:配置文件命令行设置参数声明配置文件:hive的配置文件包括↘用户自定义配置文件：$HIVE_CONF_DI...

大数据

hive

配置参数

配置文件

命令行参数

原创 2022-02-16 16:19:36 122 阅读

hive的数据存储格式

Hive支持的存储数据的格式主要有：TEXTFILE（行式存储）、SEQUENCEFILE(行式存储)、ORC（列式存储）、PARQUET（列式存储）。列式存储和行式存储上图左边为逻辑表，右边第一个为行式存储，第二个为列式存储。行存储的特点：查询满足条件的一整行数据的时候，==行存储只需要找到其中一个值，其余的值都在相邻地方。==列存储则需要去每个聚集的字段找到对应的每个列的值，...

大数据

hive

数据存储格式

数据

元数据

原创 2022-02-16 16:19:35 173 阅读

Hive的调优(看完这篇你就可以从小白到大白了)

文章目录Fetch抓取（Hive可以避免进行MapReduce）本地模式Group By开启Map端聚合参数设置Count(distinct)笛卡尔积使用分区剪裁、列剪裁动态分区调整开启动态分区参数设置数据倾斜Map数通常情况下，作业会通过input的目录产生一个或者多个map任务。举例：是不是map数越多越好？是不是保证每个map处理接近128m的文件块，就高枕无忧了？如何适当的增加map数re...

大数据

hive

hive调优

数据

mapreduce

原创 2022-02-16 16:19:35 117 阅读

Flume的安装入门教程

1.什么是flume?Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume在删除自己缓存的数据。Flume...

flume

big data

apache

数据

cloudera

原创 2022-02-16 16:19:35 279 阅读

Flume的多种采集方式

1．采集目录到HDFS采集需求：服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去根据需求，首先定义以下3大要素:采集源，即source——监控文件目录 : spooldir下沉目标，即sink——HDFS文件系统 : hdfs sinksource和sink之间的传递通道——channel，可用file channel 也可以用内...

大数据

Flume

hdfs

默认值

临时文件

原创 2022-02-16 16:19:34 261 阅读

Flume的运行机制与采集系统结构

1.运行机制Flume系统中核心的角色是agent，agent本身是一个Java进程，一般运行在日志收集节点。每一个agent相当于一个数据传递员，内部有三个组件：Source：采集源，用于跟数据源对接，以获取数据；Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往最终存储系统传递数据；Channel：agent内部的数据传输通道，用于从source将数据...

大数据

Flume

数据

数据传递

数据源

原创 2022-02-16 16:19:34 137 阅读

-bash: telnet: command not found

截图封上原因 :没有安装telnet服务解决方案yum install telnet-server -yyum install telnet.* -yyum install telnet-server 安装telnet服务yum install telnet.* 安装telnet客户端...

大数据

Flume

客户端

解决方案

其他

原创 2022-02-16 16:19:34 268 阅读

Flume配置高可用Flum-NG配置failover

在完成单点的Flume NG搭建后，下面我们搭建一个高可用的Flume NG集群，架构图如下所示：图中，我们可以看出，Flume的存储可以支持多种，这里只列举了HDFS和Kafka（如：存储最新的一周日志，并给Storm系统提供实时日志流）。角色分配Flume的Agent和Collector分布如下表所示：名称HOST角色Agent1node01Web Se...

大数据

Flume

hdfs

apache

配置文件

原创 2022-02-16 16:19:33 137 阅读

MapReduce的map阶段内存详解

1.在HDFS文件系统读取数据 2.对数据进行合并 3.进行逻辑切分 4.ReduceRead将数据进行切分 key为行首字母的偏移量 value为对应的行数据 5.根据业务需求书写map的java代码 6.讲数据读取到内存缓冲区(默认100M)中 7.读到一定的阈值(默认0.8)往外面写出一个小文件 8.写出到达一定的文件时进行一定的个数(默认10个)时进行合并 9.最终写出磁盘

大数据

hadoop

MapReduce

map内存详解

数据

原创 2022-02-16 16:16:37 61 阅读

MapReduce的Combiner详解

核心意义 :减少集群之间的网络开销具体实现步骤1.自定义一个Combiner 继承 reduce 重写reduce方法2.在 job 中设置:job.setCombinerClass(Combiner类.class)注意:combiner 能够应用的前提是不能影响最终的业务逻辑，而且，combiner 的输出 kv 应该跟 reducer 的输入 kv 类型要对应起来不...

大数据

hadoop

MapReduce

Combinner

网络传输

原创 2022-02-16 16:16:21 447 阅读

MapReduce的reduce内存详解

前提:map阶段已经合并成大文件存入到磁盘中1.Reduce发送拷贝请求到Map端2.Reduce加载环形缓冲区中3.达到一定的阈值(默认0.8)写出一个小文件4.小文件达到一定的个数进行合并5.将最终的结果传送给reduce输出到HDFS...

大数据

hadoop

MapReduce

reduce内存详解

hdfs

原创 2022-02-16 16:16:06 34 阅读

MapReduce核心思想与并行计算的数据处理流程(动画演示)

MapReduce核心思想分而治之,先分后合,将一个大的,复杂的工作或任务,拆分成多个小的任务,并行处理,最终进行合并mapReduce 由 map 和 reduce 组成map: 将数据进行切分reduce: 将数据进行汇总MapReduce并行计算的数据处理流程偏移量每个字符移动到当前文档的最前面需要移动的字符个数。...

大数据

hadoop

MapReduce

MapReduce核心思想

mapreduce

原创 2022-02-16 16:15:18 70 阅读

什么是分布式计算框架(动画演示)?

分布式计算是将程序移动到数据段,多个节点并行计算计算框架是指实现某项任务或某项工作从开始到结束的计算过程或者流的结构并行计算框架将一个大的,复杂的任务拆分成多个小业务,将多个小任务分发到多个节点中,每个节点同时执行计算...

动画

分布式计算

hadoop

MapReduce

并行计算

原创 2022-02-16 16:14:32 284 阅读

面试官:这些HDFS的面试题你都会了吗?

1.怎么理解分布式？1.一个业务分拆多个子业务，部署在不同的服务器上(不同的服务器，运行不同的代码，为了同一个目的)2.多个人在一起作不同的事情3.分布式就是不同的业务模块部署在不同的服务器上或者一个业务模块拆分成多个子业务，部署在不同的服务器上，解决高并发的问题4.分布式（计算与存储）分布式计算：是一种计算方法，是将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可...

面试题

大数据

HDFS

hadoop

hdfs

原创 2022-02-16 16:10:11 72 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

大数据面试宝典

欢迎

SparkCore之一张贴带你领悟RDD相关概念关系

SparkCore之RDD缓存

SparkSQL之一张贴告诉你什么是SparkSQL

Spark消费kafka数据时报错java.io.NotSerializableException: org.apache.kafka.clients.consumer.ConsumerRecord

Flume实现两个agent级联采集

Azkaban(solo-server)模式部署

hive的数据压缩

Hue 集成 Yarn

面试官: hive你都会了吗?

Hive表中加载数据的5中方式

Hive分桶表入门

Hive的分区表入门

hive外部表入门

Zookeeper的选举机制

hive导出数据的7种方式

Hive自定义函数

hive参数配置方式

hive的数据存储格式

Hive的调优(看完这篇你就可以从小白到大白了)

Flume的安装入门教程

Flume的多种采集方式

Flume的运行机制与采集系统结构

-bash: telnet: command not found

Flume配置高可用Flum-NG配置failover

MapReduce的map阶段内存详解

MapReduce的Combiner详解

MapReduce的reduce内存详解

MapReduce核心思想与并行计算的数据处理流程(动画演示)

什么是分布式计算框架(动画演示)?

面试官:这些HDFS的面试题你都会了吗?