乐胖代购免代理版

欢迎

YARN HA架构

Yarn HARM:a.启动时会通过向ZK的/hadoop-ha目录写一个lock文件，写成功则为active，否则standybystandy 的RM会一直监控lock文件是否存在，如果不存在就会尝试去创建，争取为active RMb.会接收客户端的任务请求，接收和监控nm的资源的汇报，负责资源的分配与调度，启动和监控我们的ApplicationMasterNM：节点上的资源的管理，启动cont

yarn

yarn ha

hadoop

原创 2019-09-23 16:50:35 1440 阅读

HDFS HA架构

HA背景对于HDFS、YARN的每个角色都是一个进程，比如HDFS：NN/SNN/DN 老大是NNYARN：RM/NM 老大是RM对于上面，都会存在单点故障的问题，假如老大NN或者RM挂了，那么就不能提供对外服务了，会导致整个集群都不能使用。大数据几乎所有的组建都是主从架构（master-slave）。比如hdfs的读写请求都是先经过NN节点。（但是hbase的读写请求不是经过老大的mas

HA架构

hdfs

hadoop

原创 2019-09-23 16:42:20 1608 阅读

hadoop高可用集群 hdfs命令

hdfs haadmin查看帮助命令hdfs haadmin -getServiceState nn1 nn2注意：其中nn1 和 nn2是namenode的server id，不是机器名在hdfs.xml中找到service id，配置文件内容如下<property> <name>dfs.nameservices</name> <valu

hdfs命令

原创 2019-09-22 04:24:57 2285 阅读

spark基础-rdd特性

1.RDD是spark提供的核心抽象，全称：Resillient Distributed Dataset,即弹性分布式数据集。2.RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，氛围多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的数据可以并行操作（分布式数据集）3.RDD通常通过Hadoop上的文件来创建。有时也可以通过应用程序中的集合赖床见。4.RDD最重要的特性就是提供

rdd

原创 2019-09-21 22:15:02 2226 阅读

spark基础--rdd的生成

使用parallelize创建RDD 也可以使用makeRDD来创建RDD。通过查看源码可以发现，makeRDD执行的时候，也是在调用parallelize函数，二者无区别。通过 .textFile 可以通过文件读取项目路径和 hdfs 文件路径*makeRDD 和 parallelize 第二个参数为处理的并行度数量不给定时，默认值为通过conf.getInt("spark.default

rdd

spark

原创 2019-09-21 22:13:15 1092 阅读

使用阿里云服务器，离线搭建CDH集群

准备工作1.服务器关键词：3台服务器配置要求至少2核8G选择同地域同区域服务器，保证内网通畅个人学习，推荐使用阿里云按量付费的服务器，在使用时候开启，不适用的时候关机停止收费。需注意两点：（1）服务器配置至少2核8G，否则CDH集群可能无法正常运行（2）服务器要保证在同一地域的同一可用却，切记一定不能使用随机分配区域，否则不同地域的实例之间内网互不相通阿里云的使用细节不做过多描述，不清楚的可以查看

CDH集群

原创 2019-09-19 02:14:41 3283 阅读 1收藏

spark的灵魂：RDD和DataSet

spark建立在抽象的RDD上，把不同处理的数据的需求转化为RDD，然后对RDD进行一系列的算子运算，从而得到结果。RDD是一个容错的，并行的数据结构，可以将数据存储到磁盘和内存中，并能控制数据分区，并提供了丰富的API来操作数据。1：RDD的定义及五大特性剖析RDD是分布式内存的一个抽象概念，是一种高度受限的共享内存模型，即RDD时只读的记录分区的集合，能跨集群所有节点并行计算，是一种基于工作集

spark

RDD

DataSet

原创 2019-09-06 13:36:39 878 阅读

待学习：scala中的App

待学习，学习后补充

scala

app

原创 2019-08-12 00:38:33 488 阅读

byte为什么要与上0xff？

https://www.cnblogs.com/think-in-java/p/5527389.html无意间翻看之间的代码，发现了一段难以理解的代码。byte[] bs = digest.digest(origin.getBytes(Charset.forName(charsetName))) ; for (int i = 0; i < bs.leng

java

&0xFF

转载 2019-08-11 22:48:17 328 阅读

SQL 增加列、修改列、删除列

原创 2019-05-24 04:15:53 4488 阅读

scala语言基础细节

scala

基础细节

原创 2019-05-04 17:09:44 470 阅读

union的特性，去重与不去重

union的特性，去重与不去重集合操作有　并，交，差　３种运算。　union :得到两个查询结果的并集，并且自动去掉重复行。不会排序　union all:得到两个查询结果的并集，不会去掉重复行。也不会排序　intersect:得到两个查询结果的交集，并且按照结果集的第一个列进行排序　minus:得到两个查询结果的减集，以第一列进行排序例子：　　下面是两个表：一个主修课程表，一个选修课程

UNION

UNION ALL

原创 2019-04-11 20:39:50 2759 阅读

FastJson使用范例(Java、Scala版)

0.目录FastJson简介FastJson三个核心类MavenJava API反序列化一个简单Json字符串反序列化一个简单JSON字符串成Java对象组反序列化一个复杂的JSON字符串反序列化序列化序列化和反序列化日期JsonObject的一些操作jsonArray的一些操作Scala APIdemo日志内容反序列化简单json字符串反序列化简单json字符串组String处理List处理反序

fastjson

使用范例

原创 2019-03-25 15:47:05 2825 阅读 1评论

使用FastJSON 对Map/JSON/String 进行互转

Fastjson是一个Java语言编写的高性能功能完善的JSON库，由阿里巴巴公司团队开发的主要特性主要体现在以下几个方面:1.高性能fastjson采用独创的算法，将parse的速度提升到极致，超过所有json库，包括曾经号称最快的jackson。并且还超越了google的二进制协议protocol buf。2.功能强大支持各种JDK类型。包括基本类型、JavaBean、Collection、M

fastjson

转载 2019-03-25 15:32:42 5324 阅读

关于scala中的map基础详解

Scala提供了一套很好的集合实现，提供了一些集合类型的抽象。Scala 集合分为可变的和不可变的集合。可变集合可以在适当的地方被更新或扩展。这意味着你可以修改，添加，移除一个集合的元素。而不可变集合类，相比之下，永远不会改变。不过，你仍然可以模拟添加，移除或更新操作。但是这些操作将在每一种情况下都返回一个新的集合，同时使原来的集合不发生改变。Map(映射)是一种可迭代的键值对（key/value

scala

map

转载 2019-03-25 15:01:08 6848 阅读

Spark SQL Join原理分析

Spark

SQL

原创 2019-02-19 17:50:55 4426 阅读 1点赞

POM 标签大全详解

<projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apache.org/maven-v4_0_0.xsd"&

pom标签

maven标签

转载 2019-02-18 11:40:13 752 阅读

Maven 的Snapshot版本和Release版本

1、Snapshot版本代表不稳定、尚处于开发中的版本。2、Release版本则代表稳定的版本。3、什么情况下该用SNAPSHOT?协同开发时，如果A依赖构件B，由于B会更新，B应该使用SNAPSHOT来标识自己。这种做法的必要性可以反证如下：a.如果B不用SNAPSHOT，而是每次更新后都使用一个稳定的版本，那版本号就会升得太快，每天一升甚至每个小时一升，这就是对版本号的滥用。b.如果B不用SN

Maven

Snapshot

Release

原创 2019-01-30 15:06:40 2718 阅读

深入理解java异常处理机制

引子try…catch…finally恐怕是大家再熟悉不过的语句了，而且感觉用起来也是很简单，逻辑上似乎也是很容易理解。不过，我亲自体验的“教训”告诉我，这个东西可不是想象中的那么简单、听话。不信？那你看看下面的代码，“猜猜”它执行后的结果会是什么？不要往后看答案、也不许执行代码看真正答案哦。如果你的答案是正确，那么这篇文章你就不用浪费时间看啦。packageTest;publicclassTes

java

转载 2019-01-11 15:06:13 307 阅读

Flume架构及使用例子

Flume使用实例

Flume

实例

架构

原创 2018-07-29 00:09:38 1398 阅读

Flume环境部署

Flume环境的安装

Flume

环境

安装

原创 2018-07-28 17:08:09 1444 阅读

Flume概述

Flume概述、Flume发展史

Flume

大数据

原创 2018-07-28 15:47:12 507 阅读

关于用户行为分析工作总结（持续更新）

用户行为分析工作工作

用户行为分析

大数据

原创 2018-05-15 11:23:31 447 阅读

我的友情链接

王艺超的PHP个人博客

原创 2017-11-22 23:13:13 304 阅读

PHP中的$_FILES详解

<form enctype="multipart/form-data" action="URL"method="post"> <input type="file" name="brand_logo" /> </form>在上传图片test1.png后，打印$_FIL

PHP

图片上传

原创精选 2017-04-14 12:15:58 2600 阅读 1点赞 2收藏

mysql联表查询

sh_role表结构如下sh_privilege表结构如下其中sh_role表中的pri_id_list存储的id为sh_privilege表中的id值，多个角色通过逗号分隔存储，现在想将sh_role表中的pri_id_list替换成sh_privilege表中对应的pri_name，使用的sql语句如下图：

mysql

MySQL

原创 2017-04-11 12:38:47 1021 阅读

可以这样去理解group by和聚合函数

http://www.cnblogs.com/wuguanglei/p/4229938.html

mysql

转载 2017-04-11 10:42:19 467 阅读

Mysql函数FIND_IN_SET()的使用方法

有了FIND_IN_SET这个函数。我们可以设计一个如：一只手机即是智能机，又是Andriod系统的。比如:有个产品表里有一个type字段,他存储的是产品(手机)类型,有 1、智能机,2、Andriod系统,3、小米系统,4、1000元以下现在有条手机的记录即是1000元以下的,又是智能机,还是Andriod的系统。type中以 4,1,2的格式存储.那们我们如何用sql查找所

mysql

转载 2017-04-11 10:25:27 2036 阅读

原文来自：http://www.thinkphp.cn/code/1424.html获取当前浏览文章id$id = isset($_GET['id']) > 0 ? intval($_GET['id']) : "";下一篇文章$query = mysql_query("SELECT

PHP

转载 2017-04-04 11:23:29 523 阅读

mysql数据库编码规则小技巧

选择数据库中的information_schema数据库。该数据库中存储的信息为mysql数据库的编码信息。选择information_schema数据库,在数据库中断中输入以下MYSQL语句，进行相关操作查询支持 Unicode 的 SQL 语句 SELECT * FROM CHARACTER_SETS WHERE DESCRIPTION LIKE '%Unicode'; 查

PHP

其他

原创 2017-02-21 14:49:43 857 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

王艺超

欢迎

YARN HA架构

HDFS HA架构

hadoop高可用集群 hdfs命令

spark基础-rdd特性

spark基础--rdd的生成

使用阿里云服务器，离线搭建CDH集群

spark的灵魂：RDD和DataSet

待学习：scala中的App

byte为什么要与上0xff？

SQL 增加列、修改列、删除列

scala语言基础细节

union的特性，去重与不去重

FastJson使用范例(Java、Scala版)

使用FastJSON 对Map/JSON/String 进行互转

关于scala中的map基础详解

Spark SQL Join原理分析

POM 标签大全详解

Maven 的Snapshot版本和Release版本

深入理解java异常处理机制

Flume架构及使用例子

Flume环境部署

Flume概述

关于用户行为分析工作总结（持续更新）

我的友情链接

PHP中的$_FILES详解

mysql联表查询

可以这样去理解group by和聚合函数

Mysql函数FIND_IN_SET()的使用方法

实现上一篇和下一篇文章

mysql数据库编码规则小技巧