Java kryo/protobuf/protostuff序列化 or Json 性能对比 - 腾飞的鹰

对于一个java object的序列化,想测一下使用json和使用一般序列化工具,在时间性能、空间性能上的区别。

json选择用fastjson.

序列化工具使用了protostuff和kyro. 为什么不用protobuf呢?因为感觉对于一个已有的上百个属性的java class来说,再去新建一个匹配的proto文件有点反人类。protostuff是protobuf的改良版本,可以直接将一个java object进行序列化,使用方法与kyro有点类似,没有protobuf那么多中间过程。其他的,hession, java自带序列化之类的,据说性能比kryo和protobuf差很多,就不测了。

简单测了一下,发现差距还挺明显的,所以感觉也不需要做具体的评测了。把日志截一段发出来,大家感受下。
 

fastjson serilise cost 555805 length: 1740
kyro serilise cost 227375 length502
protostuff serilise cost 78950 length633
fastjson deserilise cost 130662
kyro deserilise cost 201716
protostuff deserilise cost 230533
fastjson serilise cost 727915 length: 1740
kyro serilise cost 378958 length502
protostuff serilise cost 94739 length633
fastjson deserilise cost 154346
kyro deserilise cost 373432
protostuff deserilise cost 219085
fastjson serilise cost 804892 length: 1740
kyro serilise cost 392380 length502
protostuff serilise cost 220664 length633
fastjson deserilise cost 243560
kyro deserilise cost 360010
protostuff deserilise cost 132241
fastjson serilise cost 601991 length: 1740
kyro serilise cost 244349 length502
protostuff serilise cost 80924 length633
fastjson deserilise cost 241191
kyro deserilise cost 230928
protostuff deserilise cost 127109

cost的时间用的是System.nanoTime(); 三种用的都是不加任何配置的默认配置。

序列化之后的占用空间,kryo略低于protostuff, 两者都远高于json. 这是很好理解的,毕竟json串是可读的,不要强求太多。

序列化和反序列化的耗时,都是protostuff优于kyro优于fastjson, 而且差别挺明显。

所以结论呢,如果对空间没有极其苛刻的要求,protostuff也许是最佳选择。protostuff相比于kyro还有一个额外的好处,就是如果序列化之后,反序列化之前这段时间内,java class增加了字段(这在实际业务中是无法避免的事情),kyro就废了。但是protostuff只要保证新字段添加在类的最后,而且用的是sun系列的JDK, 是可以正常使用的。因此,如果序列化是用在缓存等场景下,序列化对象需要存储很久,也就只能选择protostuff了。

当然,如果有可读性之类的需求,就只能用json了。

==============================================================================================================================

序列化框架性能对比(kryo、hessian、java、protostuff)

简介:


优点

缺点

Kryo

速度快,序列化后体积小

跨语言支持较复杂

Hessian

默认支持跨语言

较慢

Protostuff

速度快,基于protobuf

需静态编译

Protostuff-Runtime

无需静态编译,但序列化前需预先传入schema

不支持无默认构造函数的类,反序列化时需用户自己初始化序列化后的对象,其只负责将该对象进行赋值

Java

使用方便,可序列化所有类

速度慢,占空间

测试环境:

硬件信息:

         16 Intel(R) Xeon(R) CPU E5620 @2.40GHz

         Red Hat Enterprise Linux Server release 5.4 (Tikanga)

         java:  "1.6.0_27" Java HotSpot(TM) 64-Bit Server VM (build 20.2-b06, mixed mode)

         JVM options: java -Xmx256m –server

测试数据:(见附件)

         ArrayList.class

         MediaContent.class

         Media.class

         Image.class

测试方法:(参考自​​GitHub - eishay/jvm-serializers: Benchmark comparing serialization libraries on the JVM​​)

<!--[if !supportLists]-->1、  <!--[endif]-->在正式测试之前,将测试用例运行10次对JVM进行预热。

<!--[if !supportLists]-->2、  <!--[endif]-->对测试用例的每个方法,运行2000次,取平均值。

<!--[if !supportLists]-->3、  <!--[endif]-->每次测试用例运行500次,取最优结果

测试基准:

         ser:           创建一个对象,并将其序列化成byte数组的时间

         deser:       将byte数组反序列化成对象的时间

         total:        创建一个对象,将其序列化成byte数组再反序列化为对象的总时间

         size:          序列化后的数组大小

         size+dfl:   序列化后用level6级别的zlib进行压缩后的大小

测试工具:

序列化工具

序列化方式

kryo

使用kryo默认的序列化方式fieldSerializer,

对需要序列化的对象采取默认的操作。开启reference,关闭register

protostuff

使用静态编译生成的Schema进行序列化

protostuff-runtime

使用protostuff-runtime框架生成Schema进行序列化

测试结果:

         时间:

 

Java kryo/protobuf/protostuff序列化 or Json 性能对比_java

         大小:

 

Java kryo/protobuf/protostuff序列化 or Json 性能对比_json_02

总结:

         Kryo在类注册且reference关闭的情况下,序列化速度和大小明显 优于hessian和java,接近于protostuff。开启reference后将序列化速度将明显变慢,但仍旧优于hessian。

相关知识:

         类注册:将需要序列化的类注册到kryo中,可以提高序列化与反序列化的速度。

         Reference:开启这个选项后,相同的对象将被序列化为同一个byte[],默认关闭,如果要支持循环引用,则必须开启

稳定性测试:

         循环引用:Cyclic.java

序列化方式

无默认构造函数

循环引用

对象为null

是否需要预先知道对象所属的类

大对象(4M)

Kryo

支持

需将reference选项打开

支持

不需要,关闭register

支持

Java

支持

支持

支持

不需要

支持

Protostuff

支持

支持

支持

不需要

支持

Protostuff

-runtime

不支持

支持

支持

需要

支持

Hessian

支持

支持

支持

不需要

支持