乐胖代购免代理版

欢迎

NameNode任务线程之FSNamesystem$ReplicationMonitor

前面我已经讲了许多关于NameNode的后台任务线程：HeartbeatMonitor、DecommissionManager$Monitor、LeaseManager$Monitor、PendingReplicationMonitor等，今天终于可以讲一讲ReplicationMonitor ，它在FSNamesystem中可算是大家伙了。那么，NameNode$FSNamesystem到底

职场

休闲

hadoop

HDFS

ReplicationMonitor后台

转载精选 2012-01-09 10:38:11 1040 阅读

NameNode任务线程之FSNamesystem$ReplicationMonitor

前面我已经讲了许多关于NameNode的后台任务线程：HeartbeatMonitor、DecommissionManager$Monitor、LeaseManager$Monitor、PendingReplicationMonitor等，今天终于可以讲一讲ReplicationMonitor ，它在FSNamesystem中可算是大家伙了。那么，NameNode$FSNamesystem到底

职场

休闲

hadoop

hdfs

ReplicationMonitor线程

转载精选 2012-01-09 09:42:11 767 阅读

NameNode任务线程之PendingReplicationBlocks$PendingReplicationMonitor

在前面我已经详细的讲到了一些NameNode的后台工作线程，但是关于PendingReplicationBlocks$PendingReplicationMonitor和FSNamesystem$ReplicationMonitor，它们俩实在是让我很纠结，因为我真的不知道应该先讲哪一个。经过好几天的思量之后。还是决定先讲一讲PendingReplicationMonitor吧！

职场

休闲

Hadoop

HDFS

PendingReplicationMo

转载精选 2012-01-06 16:23:13 1388 阅读

NameNode任务线程之LeaseManager$Monitor

在本地文件系统中，一个文件可以允许被多个进程同时同时打开并写入数据，但最后文件的内容是什么，谁也无法预测。请注意，我这里所说的这种文件能同时被多个进程写的操作是被操作系统中的文件系统所允许的，但是，我们通常在写程序对某个文件进行写操作的时候，总是额外地想法设法对操作的文件加一个独占锁，以此来保证文件的正确性和一致性。那么，HDFS中的文件是否像本地文件系统那样允许同时被多个用户写呢？答案是否定

职场

休闲

Monitor

HADOOP

HDFS

转载精选 2012-01-06 16:21:05 648 阅读

NameNode任务线程之FSNamesystem$HeartbeatMonitor

在前面的文章里面我已经讲过了，DataNode节点在注册时候就开始定期向NameNode节点发送心跳包，以此来告知NameNode节点自己当前还是可用的，同时从NameNode节点那里得到对自己的控制命令并执行之(这一点本文不表)。显然，当一个DataNode节点没有按时向NameNode节点发送心跳包时，NameNode就然为这个数据节点已经不可用了，清除与之相关的数据信息(比如在改数据节点

职场

休闲

HADOOP

HDFS

HeartbeatMonitor

转载精选 2012-01-06 16:19:42 1020 阅读

Hadoop源码分析之RPC机制

1. 客户端RPC调用过程图1 使用java动态代理 2. 客户端调用动态代理过程图2 客户端调用RPC动态代理说明： 1) 客户端程序

职场

RPC

休闲

Hadoop

HDFS

原创 2012-01-06 14:39:39 926 阅读

Hadoop源代码分析之DatanodeProtocol（sendHeartbeat方法的调用）

1、心跳机制心跳的机制大概是这样的： 1) master启动的时候，会开一个ipc server在那里。 2) slave启动时，会连接master，并每隔3秒钟主动向master发送一个“心跳”，将自己的状态信息告诉master，然后master也是通过这个心跳的返回值，向slave节点传达指令。 2、找到心跳的代码拿namenode和datan

休闲

Hadoop

HDFS

DatanodeProtocol

sendHeartbeat

转载精选 2012-01-06 14:28:12 5247 阅读 1点赞 1评论

ClientProtocol协议之上定义的方法

1. 概述该内容主要设计基于ClientProtocol协议之上的方法，对其中的一些方法做出解释 2. getBlockLocations 函数原型：public LocatedBlocks getBlockLocatio

职场

休闲

hadoop

HDFS

ClientProtocol

原创 2012-01-05 15:00:24 1938 阅读

DatanodeDescriptor说明

DatanodeDescriptor类记录了Datanode的使用情况，如capacity，used等统计信息，DatanodeDescriptor是Namenode内部的数据结构，并不是通过RPC通信从Datanode向Namenode通信时候使用。Namenode从DatanodeDescriptor中读取Datanode统计信息，并显示在jsp页面上，这就是在网页上面显示的统计信息的来源。

职场

休闲

hadoop

DatanodeDescriptor

转载精选 2012-01-05 11:12:18 10000+阅读

Google搜索引擎工作原理简介

实在是写不出来高质量的原创文章，今天再次转载一篇网络上看到的文章吧，叫Google搜索引擎工作原理简介，其中比较详细的介绍和分析了google搜索引擎相关工作机制，下面是原文内容：这篇文章是基于Google创始人Lawrence Page和Sergey Brin一篇早期的论文翻译整理简化而成。尽管Google一直在修正不同因素对网页的权重影响以期排除作弊网站对搜索结果的干扰和获得最好的搜索结果

职场

google

原理

休闲

转载精选 2012-01-05 09:21:10 3175 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

天道酬情

欢迎

NameNode任务线程之FSNamesystem$ReplicationMonitor

NameNode任务线程之FSNamesystem$ReplicationMonitor

NameNode任务线程之PendingReplicationBlocks$PendingReplicationMonitor

NameNode任务线程之LeaseManager$Monitor

NameNode任务线程之FSNamesystem$HeartbeatMonitor

Hadoop源码分析之RPC机制

Hadoop源代码分析之DatanodeProtocol（sendHeartbeat方法的调用）

ClientProtocol协议之上定义的方法

DatanodeDescriptor说明

Google搜索引擎工作原理简介