乐胖代购免代理版

欢迎

application master 持续org.apache.hadoop.ipc.Client: Retrying connect to server

一、问题现象某一个nodemanager退出后，导致 application master中出现大量的如下日志，并且持续很长时间，application master才成功退出。2016-06-24 09:32:35,596 INFO [ContainerLauncher #3] org.apache.hadoop.ip

hadoop

yarn.client

nodemanger

application master

org.apache.hadoop.ip

原创精选 2016-12-09 17:41:57 4794 阅读

could't create native thread的问题跟踪

一、问题描述之前因为java.lang.OutOfMemoryError: unable to create new native thread设置了Xss参数，见http://zouqingyun.blog.51cto.com/782246/1879975nodeManager仍然出现该异常，同时map-reduce的任务中也出现该异常二、一些现象 &nb

hadoop

hdfs

yarn

原创精选 2016-12-06 14:31:19 3943 阅读

namenode ha切换优化

一、背景目前namenode使用了ha的部署模式，但系统会经常出现ha的自动切换（namenode节点其实正常）。经过调研发现可能的原因如下： HealthMonitor check本地namenode的rpc端口时超时，导致HealthMonitor认为namenode挂掉。zk上的session timeout，导致丢掉当前持有的active锁（temp节点），引起自动切换。二、优化下面

ha

hadoop

namenode

原创精选 2016-12-01 15:35:45 6275 阅读 1点赞 1收藏

测试环境机器部署图

一、需求在本地上部署了两套环境，一套用于开发环境，另一套用于测试环境。在这里，我抽其测试这套环境，做了个总结，具体安装步聚，在这里不作详细解释，如果需要，我可以提供一份我总结文档作参考。每套环境上用到了11台机器，注意了，在这里用到全部是cdm5.5.0版本http://archive.cloudera.com/cdh5/cdh/5/二、集群规划1、测试集群2、实时环境三、依赖关系说

hadoop

原创精选 2016-05-17 18:40:25 3028 阅读 2收藏

hadoop2集群搭建过程

在这里我选用4台机器进行示范，各台机器的职责如下表格所示（说明： 1. ZooKeepe使用其它节点的 2. Hadoop0节点安装所有的master, ha的matster全部是worker, 以达到较高的资源利用率，又对master的负载不会过高）Hadoop0 -> dchadoop206Hadoop1 -> dchadoop207Hadoop2 -> dcha

linux

hadoop

集群详细

原创精选 2016-03-22 19:03:19 5186 阅读

hdfs数据误删分析与恢复

linux

hadoop

hdfs

原创 2016-03-11 17:16:18 7504 阅读

kafka + jstorm版本升级安装（三）

升级

安装

linux

kafka

jstorm

原创精选 2016-01-31 15:07:13 3889 阅读 1收藏

管理hadoop

一、HDFS永久性数据结构 1.1 namde的目录结构[root@datanode1 name]# cd /data0/hadoop/dfs/name/current/ [root@datanode1 current]# ls edits edits.new fsp_w_picpath&nbs

hadoop

hadoop备份

hadoop集群新增节点步聚

hadoop集群移除节点

hadoop日常维护命令

原创 2016-01-18 11:35:37 3920 阅读

hbase，zookeeper安装部署（二)

一、Hbase基础1.概念 Hbase是一个在HDFS上开发的面向列分布式数据库，用于实时地随机访问超大规模数据集，它是一个面向列族的存储器。由于调优和存储都是在列族这个层次上进行，最好所有列族的成员都有相同的“访问模式”和大小特征2.区域 hbase自动把表水平划分“区域”(region)。每个区域由表中行的子集构。每个区域由它所属于表，它所包含的第一行及其最后一行（不包括

hbase

hbase安装

原创 2016-01-13 16:56:45 10000+阅读

hadoop1.0安装部署（一）

一、需求公司线上运行有hadoop1.0和hadoop2.0，由于hadoop1.0没有处理jobtracker失败机制，它是一个单点故障，但业务还是以1.0为主，会慢慢过渡到2.0。二、架构图二、知识点储备1、hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍http://zouqingyun.b

安装部署

hadoop1

hadoop1.0

原创精选 2016-01-07 18:47:44 2202 阅读

hadoop笔记

一、hadop的项目Common：一系列组件和接品口，用于分布式文件系统和通用I/O（序列化，Java RPC 和持久化数据结构）Avro：一种序列化系统，用于支技高效，跨语言的RPC和持久化的数据存储MapRedue：分布式数据处理模型和执行环境，运行于大型商用机集群HDFS：分布式文件系统，运行于大型商用机集群Pig：数据流语言和运行环境，用以探究非常庞大的的数据集。Pig运行在MapRedu

hadoop笔记

hdfs原理

mapreduce原理

原创 2015-11-07 18:10:40 1229 阅读

hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍

问题导读：1.job的本质是什么？2.任务的本质是什么？3.文件系统的Namespace由谁来管理，Namespace的作用是什么？4.Namespace 镜像文件(Namespace p_w_picpath)和操作日志文件(edit log)文件的作用是什么？5.Namenode记录着每个文件中各个块所在的数据节点的位置信息，但是他并不持久化存储这些信息，为什么？6.客户端读写某个数据时，是否通

熟悉hadoop五个进程

转载精选 2015-05-29 15:19:52 3033 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

散人

欢迎

application master 持续org.apache.hadoop.ipc.Client: Retrying connect to server

could't create native thread的问题跟踪

namenode ha切换优化

测试环境机器部署图

hadoop2集群搭建过程

hdfs数据误删分析与恢复

kafka + jstorm版本升级安装（三）

管理hadoop

hbase，zookeeper安装部署（二)

hadoop1.0安装部署（一）

hadoop笔记

hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍