熟悉tcp编程的可能都知道,无论是服务器端还是客户端,当我们读取或者发送数据的时候,都需要考虑TCP底层的粘包/拆包机制。
TCP是一一个“流”协议,所谓流就是没有界限的遗传数据。大家可以想象下如果河里的水就好比数据,他们是连成一片的,没有分界线,TCP底层并不.了解.上层的业务数据具体的含义,它会根据TCP缓冲区的实际情况进行包的划分,也就是说,在业务上,我们一个完整的包可能会被TCP分成多个包进行发送,也可能把多个小包封装成-一个大的数据包发送出去, 这就是所谓的TCP粘包、拆包问题。
分析TCP粘包、拆包问题的产生原因:
1应用程序write写入的字节大小大于套接口发送缓冲区的大小
2进行MSS大小的TCP分段
3以太网帧的payload大于MTU进行IP分片
ChannelHandlerContext.writeAndFlush();之后分辨不出个数
粘包拆包问题的解决方案,根据业界主流协议,的有三种方案:
1消息定长,例如每个报文的大小固定为200个字节,如果不够,空位补空格;
2在包尾部增加特殊字符进行分割,例如加回车等(在实际工作中相对简单方便)
3讲消息分为消息头和消息体,在消息头中包含表示消息总长度的字段,然后进行业务逻辑的处理
1分隔符类DelimiterBasudFrameDecoder (自定义分隔符)
Server端
Server响应
Client端
Client端相应
通道激活(可处理一些业务)
直接输出服务端响应
2 FixedLengthFrameDecoder (定长)
server端
serverHandle
Client端
Clienthandler
定长如果发送的长度不够可能会出现丢数据的情况(长度不够会丢数据,例如定长是5,如果最后的长度是2,最后的两个内容会丢失)建议长度长些可以补位
3自定义协议
将消息分为消息头和消息体,在消息头中包含表示消息总长度的字段,然后进行业务逻辑的处理(类似http请求)
4 Netty核心技术(编解码技术)
编解码技术,说白了就是java序列化技术,序列化目的就两个,第一进行网络传输,第二对象持久化。
虽然我们可以使用java进行对象序列化,netty去传输,但是java序列化的硬伤太多,比如java序列化没法跨语言、序列化后码流太大、序列化性能太低等等..
主流的编解码框架:
JBoss的Marshalling包
google的Protobuf
基于Protobuf的Kyro
MessagePack框架
JBoss Marshalling
Jboss Marshalling是一个java对象序列化包,对JDK默认的序列化框架进行了优化,但又保持跟java.io.Serializable接口的兼容,同是增加了一些可调的参数和附加特性,
类库:jboss-marshalling-1.3.0、jboss-marshalling-serial-1.3.0
下载地址:https:/lwww.jboss.orgljbossmarshallingldownloads
Jboss Marshalling与Netty结合后进行序列化对象
Client端
Server端
MarshallingCodeCFactory
GzipUtil是Java提供的压缩文件的工具类
压缩
解压缩