优化HDFS NameNode RPC的服务质量
配置场景
数个成品Hadoop集群由于NameNode超负荷运行并失去响应而发生故障。
这种阻塞现象是由于Hadoop的初始设计造成的。在Hadoop中，NameNode作为单独的机器，在其namespace内协调HDFS的各种操作。这些操作包括获取数据块位置，列出目录及创建文件。NameNode接受HDFS的操作，将其视作RPC调用并置入FIFO调用队列，供读取线程处理。虽然FIFO在先到先服务的情况下足够公平，但如果用户执行的I/O操作较多，相比I/O操作较少的用户，将获得更多的服务。在这种情况下，FIFO有失公平并且会导致延迟增加。
图6-5 基于FIFO调用队列的NameNode请求处理
如果将FIFO队列替换为一种被称作FairCallQueue的新型队列，这种情况就能够得到改善。按照这种方法，FAIR队列会根据调用者的调用规模将传入的RPC调用分配至多个队列中。调度模块会跟踪最新的调用，并为调用量较小的用户分配更高的优先级。
图6-6 基于FAIRCallQueue的NameNode请求处理
配置描述
- FairCallQueue通过在内部调整RPC调用的顺序确保服务质量。该队列由以下三部分组成：
- 调度模块（DecayRpcScheduler）用于提供从0至N的优先值数字（0的优先级最高）。
- 多级队列（位于FairCallQueue内部）保持调用在内部按优先级排列。
- 多路转换器（提供有WeightedRoundRobinMultiplexer）为队列选择提供逻辑控制。
在对FairCallQueue进行配置后，由控制模块决定将收到的调用分配至哪个子队列。当前调度模块为DecayRpcScheduler。该模块仅持续对各类调用的优先级数字进行追踪，并周期性地对这些数字进行减小处理。
在FusionInsight Manager系统中，选择“服务管理 > HDFS > 服务配置”，“参数类别”类型设置为“全部配置”。在搜索框中输入参数名称。
- 表6-24 Fair调用队列参数
参数 | 描述 | 默认值 |
ipc.<port>.callqueue.impl | 队列的实现类。用户需要通过org.apache.hadoop.ipc.FairCallQueue启用QoS特性。 | java.util.concurrent.LinkedBlockingQueue |
- RPC BackOff Backoff是FairCallQueue的功能之一，要求客户端在一段时间后重试操作（如创建，删除，打开文件等）。当Backoff发生时，RCP服务器将抛出RetriableException异常。FairCallQueue在以下两种情况时进行Backoff。
- 当队列已满，即队列中有许多客户端调用时。
- 当队列的响应时间大于配置的阈值（由参数“ipc.<port>.decay-scheduler.backoff.responsetime.thresholds”决定）时。
- 表6-25 RPC BackOff配置
参数 | 描述 | 默认值 |
ipc.<port>.backoff.enable | 启用Backoff配置参数。当前，如果应用程序中包含较多的用户调用，假设没有达到操作系统的连接限制，则RPC请求将处于阻塞状态。或者，当RPC或NameNode在重负载时，可以基于某些策略将一些明确定义的异常抛回给客户端，客户端将理解这种异常并进行指数回退，以此作为类RetryInvocationHandler的另一个实现。 | false |
ipc.<port>.decay-scheduler.backoff.responsetime.enable | 根据队列平均响应时间启用Backoff。 | false |
ipc.<port>.decay-scheduler.backoff.responsetime.thresholds | 配置每个队列的响应时间阈值。ResponseTime阈值必须与优先级数目（ipc.<port> .faircallqueue.priority-levels）相匹配。单位：毫秒。 | 10000 |
