乐胖代购免代理版

YARN HA架构

Yarn HARM:a.启动时会通过向ZK的/hadoop-ha目录写一个lock文件，写成功则为active，否则standybystandy 的RM会一直监控lock文件是否存在，如果不存在就会尝试去创建，争取为active RMb.会接收客户端的任务请求，接收和监控nm的资源的汇报，负责资源的分配与调度，启动和监控我们的ApplicationMasterNM：节点上的资源的管理，启动cont

yarn

yarn ha

hadoop

原创 2019-09-23 16:50:35 1442 阅读

HDFS HA架构

HA背景对于HDFS、YARN的每个角色都是一个进程，比如HDFS：NN/SNN/DN 老大是NNYARN：RM/NM 老大是RM对于上面，都会存在单点故障的问题，假如老大NN或者RM挂了，那么就不能提供对外服务了，会导致整个集群都不能使用。大数据几乎所有的组建都是主从架构（master-slave）。比如hdfs的读写请求都是先经过NN节点。（但是hbase的读写请求不是经过老大的mas

HA架构

hdfs

hadoop

原创 2019-09-23 16:42:20 1610 阅读

hadoop高可用集群 hdfs命令

hdfs haadmin查看帮助命令hdfs haadmin -getServiceState nn1 nn2注意：其中nn1 和 nn2是namenode的server id，不是机器名在hdfs.xml中找到service id，配置文件内容如下<property> <name>dfs.nameservices</name> <valu

hdfs命令

原创 2019-09-22 04:24:57 2283 阅读

spark基础-rdd特性

1.RDD是spark提供的核心抽象，全称：Resillient Distributed Dataset,即弹性分布式数据集。2.RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，氛围多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的数据可以并行操作（分布式数据集）3.RDD通常通过Hadoop上的文件来创建。有时也可以通过应用程序中的集合赖床见。4.RDD最重要的特性就是提供

rdd

原创 2019-09-21 22:15:02 2228 阅读

spark基础--rdd的生成

使用parallelize创建RDD 也可以使用makeRDD来创建RDD。通过查看源码可以发现，makeRDD执行的时候，也是在调用parallelize函数，二者无区别。通过 .textFile 可以通过文件读取项目路径和 hdfs 文件路径*makeRDD 和 parallelize 第二个参数为处理的并行度数量不给定时，默认值为通过conf.getInt("spark.default

rdd

spark

原创 2019-09-21 22:13:15 1095 阅读

使用阿里云服务器，离线搭建CDH集群

准备工作1.服务器关键词：3台服务器配置要求至少2核8G选择同地域同区域服务器，保证内网通畅个人学习，推荐使用阿里云按量付费的服务器，在使用时候开启，不适用的时候关机停止收费。需注意两点：（1）服务器配置至少2核8G，否则CDH集群可能无法正常运行（2）服务器要保证在同一地域的同一可用却，切记一定不能使用随机分配区域，否则不同地域的实例之间内网互不相通阿里云的使用细节不做过多描述，不清楚的可以查看

CDH集群

原创 2019-09-19 02:14:41 3292 阅读 1收藏

spark的灵魂：RDD和DataSet

spark建立在抽象的RDD上，把不同处理的数据的需求转化为RDD，然后对RDD进行一系列的算子运算，从而得到结果。RDD是一个容错的，并行的数据结构，可以将数据存储到磁盘和内存中，并能控制数据分区，并提供了丰富的API来操作数据。1：RDD的定义及五大特性剖析RDD是分布式内存的一个抽象概念，是一种高度受限的共享内存模型，即RDD时只读的记录分区的集合，能跨集群所有节点并行计算，是一种基于工作集

spark

RDD

DataSet

原创 2019-09-06 13:36:39 878 阅读

待学习：scala中的App

待学习，学习后补充

scala

app

原创 2019-08-12 00:38:33 491 阅读

SQL 增加列、修改列、删除列

原创 2019-05-24 04:15:53 4495 阅读

scala语言基础细节

scala

基础细节

原创 2019-05-04 17:09:44 470 阅读

union的特性，去重与不去重

union的特性，去重与不去重集合操作有　并，交，差　３种运算。　union :得到两个查询结果的并集，并且自动去掉重复行。不会排序　union all:得到两个查询结果的并集，不会去掉重复行。也不会排序　intersect:得到两个查询结果的交集，并且按照结果集的第一个列进行排序　minus:得到两个查询结果的减集，以第一列进行排序例子：　　下面是两个表：一个主修课程表，一个选修课程

UNION

UNION ALL

原创 2019-04-11 20:39:50 2775 阅读

FastJson使用范例(Java、Scala版)

0.目录FastJson简介FastJson三个核心类MavenJava API反序列化一个简单Json字符串反序列化一个简单JSON字符串成Java对象组反序列化一个复杂的JSON字符串反序列化序列化序列化和反序列化日期JsonObject的一些操作jsonArray的一些操作Scala APIdemo日志内容反序列化简单json字符串反序列化简单json字符串组String处理List处理反序

fastjson

使用范例

原创 2019-03-25 15:47:05 2852 阅读 1评论

Spark SQL Join原理分析

Spark

SQL

原创 2019-02-19 17:50:55 4437 阅读 1点赞

Maven 的Snapshot版本和Release版本

1、Snapshot版本代表不稳定、尚处于开发中的版本。2、Release版本则代表稳定的版本。3、什么情况下该用SNAPSHOT?协同开发时，如果A依赖构件B，由于B会更新，B应该使用SNAPSHOT来标识自己。这种做法的必要性可以反证如下：a.如果B不用SNAPSHOT，而是每次更新后都使用一个稳定的版本，那版本号就会升得太快，每天一升甚至每个小时一升，这就是对版本号的滥用。b.如果B不用SN

Maven

Snapshot

Release

原创 2019-01-30 15:06:40 2719 阅读

Flume架构及使用例子

Flume使用实例

Flume

实例

架构

原创 2018-07-29 00:09:38 1398 阅读

Flume环境部署

Flume环境的安装

Flume

环境

安装

原创 2018-07-28 17:08:09 1444 阅读

Flume概述

Flume概述、Flume发展史

Flume

大数据

原创 2018-07-28 15:47:12 515 阅读

关于用户行为分析工作总结（持续更新）

用户行为分析工作工作

用户行为分析

大数据

原创 2018-05-15 11:23:31 447 阅读

我的友情链接

王艺超的PHP个人博客

原创 2017-11-22 23:13:13 304 阅读

PHP中的$_FILES详解

<form enctype="multipart/form-data" action="URL"method="post"> <input type="file" name="brand_logo" /> </form>在上传图片test1.png后，打印$_FIL

PHP

图片上传

原创精选 2017-04-14 12:15:58 2602 阅读 1点赞 2收藏

mysql联表查询

sh_role表结构如下sh_privilege表结构如下其中sh_role表中的pri_id_list存储的id为sh_privilege表中的id值，多个角色通过逗号分隔存储，现在想将sh_role表中的pri_id_list替换成sh_privilege表中对应的pri_name，使用的sql语句如下图：

mysql

MySQL

原创 2017-04-11 12:38:47 1025 阅读

mysql数据库编码规则小技巧

选择数据库中的information_schema数据库。该数据库中存储的信息为mysql数据库的编码信息。选择information_schema数据库,在数据库中断中输入以下MYSQL语句，进行相关操作查询支持 Unicode 的 SQL 语句 SELECT * FROM CHARACTER_SETS WHERE DESCRIPTION LIKE '%Unicode'; 查

PHP

其他

原创 2017-02-21 14:49:43 857 阅读

字符集编码选择

ci 表示校对时不区分大小写，相对的 cs 表示区分大小写。还有一个 bin 结尾的是字节比较。而 general 是地区名，这里是通用，utf8 表示编码。如果是 gbk，可以使用 gbk_chinese_ci，如果是 utf8 则用 utf8_general_ci SHOW COLLATION LIKE 'gbk%'; 以 gbk 为例，gbk 有 gbk_chinese_ci 和 gbk

PHP

原创 2017-02-21 14:49:28 527 阅读

字符集编码选择

ci 表示校对时不区分大小写，相对的 cs 表示区分大小写。还有一个 bin 结尾的是字节比较。而 general 是地区名，这里是通用，utf8 表示编码。如果是 gbk，可以使用 gbk_chinese_ci，如果是 utf8 则用 utf8_general_ci SHOW COLLATION LIKE 'gbk%'; 以 gbk 为例，gbk 有 gbk_chinese_ci 和 gbk

PHP

原创 2017-02-17 02:10:02 417 阅读

mysql数据库编码规则小技巧

选择数据库中的information_schema数据库。该数据库中存储的信息为mysql数据库的编码信息。选择information_schema数据库,在数据库中断中输入以下MYSQL语句，进行相关操作查询支持 Unicode 的 SQL 语句 SELECT * FROM CHARACTER_SETS WHERE DESCRIPTION LIKE '%Unicode'; 查

PHP

其他

原创 2017-02-17 01:30:11 501 阅读

强制360浏览器选用IE9内核，以便支持HTML5，jquery2.0

在HEAD中添加如下代码<meta http-equiv="X-UA-Compatible" content="IE=EmulateIE7; IE=EmulateIE9">或者，使用IE11或极速核(chrome)<meta http-equiv='X-UA-Compatible' content='IE=edge'><meta http

PHP

HTML5

原创 2016-12-21 10:45:07 1776 阅读

学习遇到的函数

implode — 将一个一维数组的值转化为字符串

PHP

学习

原创 2016-11-02 13:06:16 375 阅读

PHP 三元运算符的使用

从学PHP到现在将近半年时间，今天在李炎恢老师的课程中看到一个这样的语句class Factory { static private $_action = null; static public functio

PHP

学习

原创 2016-10-26 19:52:06 687 阅读 1收藏

PHP eval函数

PHP

学习

原创 2016-10-24 18:55:54 614 阅读 1收藏

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

王艺超

YARN HA架构

HDFS HA架构

hadoop高可用集群 hdfs命令

spark基础-rdd特性

spark基础--rdd的生成

使用阿里云服务器，离线搭建CDH集群

spark的灵魂：RDD和DataSet

待学习：scala中的App

SQL 增加列、修改列、删除列

scala语言基础细节

union的特性，去重与不去重

FastJson使用范例(Java、Scala版)

Spark SQL Join原理分析

Maven 的Snapshot版本和Release版本

Flume架构及使用例子

Flume环境部署

Flume概述

关于用户行为分析工作总结（持续更新）

我的友情链接

PHP中的$_FILES详解

mysql联表查询

mysql数据库编码规则小技巧

字符集编码选择

字符集编码选择

mysql数据库编码规则小技巧

强制360浏览器选用IE9内核，以便支持HTML5，jquery2.0

学习遇到的函数

PHP 三元运算符的使用

PHP eval函数

欢迎