Netty中粘包/拆包处理

转载

mb6140060e201b0 2021-09-15 17:31:03

TCP 是基于流传输的协议，请求数据在其传输的过程中是没有界限区分，所以我们在读取请求的时候，不一定能获取到一个完整的数据包。如果一个包较大时，可能会切分成多个包进行多次传输。同时，如果存在多个小包时，可能会将其整合成一个大包进行传输。这就是 TCP 协议的粘包/拆包概念。

本文基于 Netty5 进行分析粘包/拆包描述 假设当前有 123和 abc两个数据包，那么他们传输情况示意图如下： Netty中粘包/拆包处理_客户端

I 为正常情况，两次传输两个独立完整的包。
II 为粘包情况， 123和 abc封装成了一个包。
III 为拆包情况，图中的描述是将 123拆分成了 1和 23，并且 1和 abc一起传输。 123和 abc也可能是 abc进行拆包。甚至 123和 abc进行多次拆分也有可能。

Netty 粘包/拆包问题 为突出 Netty 的粘包/拆包问题，这里通过例子进行重现问题，以下为突出问题的主要代码：服务端：

/**
* 服务端网络事件的读写操作类
*
* Created by YangTao.
*/
public class ServerHandler extends ChannelHandlerAdapter {
// 接收消息计数器
private int i = 0;
// client端消息
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
i++;
System.out.print(msg);
// 对每条读取到的消息进行打数标记
System.out.println("================== ["+ i +"]");
// 发送应答消息给客户端
ByteBuf rmsg = Unpooled.copiedBuffer(String.valueOf(i).getBytes());
ctx.write(rmsg);
}
// 其他操作 .......
}

客户端：

/**
* 客户端发送数据
*
* Created by YangTao.
*/
public class NettyClient {
public void send() {
Bootstrap bootstrap = new Bootstrap();
NioEventLoopGroup group = new NioEventLoopGroup();
try {
bootstrap.group(group)
.channel(NioSocketChannel.class)
.option(ChannelOption.TCP_NODELAY, true)
.handler(new ChannelInitializer<NioSocketChannel>() {
@Override
protected void initChannel(NioSocketChannel ch) {
ChannelPipeline pipeline = ch.pipeline();
pipeline.addLast(new StringDecoder());
pipeline.addLast("logger", new LoggingHandler(LogLevel.INFO));
pipeline.addLast(new ClientHandler());
}
});
Channel channel = bootstrap.connect(HOST, PORT).channel();
int i = 1;
while (i <= 300){
channel.writeAndFlush(String.format("【时间 %s: \t%s】", new Date(), i));
// 打印发送请求的次数
System.out.println(i);
i++;
}
}catch (Exception e){
e.printStackTrace();
}finally {
if (group != null)
group.shutdownGracefully();
}
}
}

以上代码中，我们第一反应理解的是，如果非异常情况下客户端所有数据发送成功，并且服务端全部接收到。那么从打印信息中可以看到客户端的发送次数 i和服务端的接收消息计数 i应该是相同的数。那么下面通过运行程序，查看打印结果。 Netty中粘包/拆包处理_sed_02

如上图所示， 【】中的最后一个数字与 []中数字对上的是已独立完整的包接收到（粘包/拆包示意图中的情况 I）。但是 【】中为 37和 38的出现了粘包情况（粘包/拆包示意图中的情况 II），两条数据粘合在一起。 Netty中粘包/拆包处理_拆包_03

上图中可以看到 【】中 167的数据被拆分为了两部分（图中画绿线数据），该情况为拆包（粘包/拆包示意图中的情况 III）。上面程序没有考虑到 TCP 的粘包/拆包问题，所以如果是我们实际应用的程序的话，不能保证数据的正常情况，就会导致程序异常。Netty 解决粘包/拆包问题

LineBasedFrameDecoder 换行符处理

Netty 的强大，方便，简单使用的优势，在粘包/拆包问题上也提供了多种编解码解决方案，并且很容易理解和掌握。这里使用 LineBasedFrameDecoder 和 StringDecoder（将接收到的对象转换成字符串）来解决粘包/拆包问题。只需在服务端和客户端分别添加 LineBasedFrameDecoder 和 StringDecoder解码器，因为是双向会话，所以两端都要添加，由于我一开始就添加 StringDecoder 编码器，所以只需添加 LineBasedFrameDecoder 就够了。服务端： Netty中粘包/拆包处理_拆包_04

客户端：

服务端网络事件操作：

/**
* 服务端网络事件的读写操作类
*
* Created by YangTao.
*/
public class ServerHandler extends ChannelHandlerAdapter {
// 接收消息计数器
private int i = 0;
// client端消息
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
i++;
System.out.print(msg);
// 对每条读取到的消息进行打数标记
System.out.println("================== ["+ i +"]");
// 发送应答消息给客户端
ByteBuf rmsg = Unpooled.copiedBuffer(String.valueOf(i + System.getProperty("line.separator")).getBytes());
ctx.write(rmsg);
}
// 其他操作 .......
}

客户端发送数据：

/**
* 客户端发送数据
*
* Created by YangTao.
*/
public class NettyClient {
public void send() {
// 连接操作 .......
try {
// 获取 channel
Channel channel = channel();
int i = 1;
ByteBuf buf = null;
while (i <= 300){
String str = String.format("【时间 %s: \t%s】", new Date(), i) + System.getProperty("line.separator");
byte[] bytes = str.getBytes();
// 写入缓冲区
buf = Unpooled.buffer(bytes.length);
buf.writeBytes(bytes);
channel.writeAndFlush(buf);
// 打印发送请求的次数
System.out.println(i);
i++;
}
}catch (Exception e){
e.printStackTrace();
}
// 退出操作 .......
}
}

细心观察代码的变化，应该会发现现在的代码每次在发送消息的时候，在消息末尾后加了换行分隔符。注意，使用 LineBasedFrameDecoder 时，换行分隔符必须加，否则接收消息端收不到消息，如果手写换行分割，要记得区分不同系统的适配。经过多次测试 3W 条请求，没有再出现过粘包/拆包情况，看最后一条数据数字是否相同便知。 Netty中粘包/拆包处理_服务端_06