Java kryo/protobuf/protostuff序列化 or Json 性能对比 - 腾飞的鹰
对于一个java object的序列化,想测一下使用json和使用一般序列化工具,在时间性能、空间性能上的区别。
json选择用fastjson.
序列化工具使用了protostuff和kyro. 为什么不用protobuf呢?因为感觉对于一个已有的上百个属性的java class来说,再去新建一个匹配的proto文件有点反人类。protostuff是protobuf的改良版本,可以直接将一个java object进行序列化,使用方法与kyro有点类似,没有protobuf那么多中间过程。其他的,hession, java自带序列化之类的,据说性能比kryo和protobuf差很多,就不测了。
简单测了一下,发现差距还挺明显的,所以感觉也不需要做具体的评测了。把日志截一段发出来,大家感受下。
cost的时间用的是System.nanoTime(); 三种用的都是不加任何配置的默认配置。
序列化之后的占用空间,kryo略低于protostuff, 两者都远高于json. 这是很好理解的,毕竟json串是可读的,不要强求太多。
序列化和反序列化的耗时,都是protostuff优于kyro优于fastjson, 而且差别挺明显。
所以结论呢,如果对空间没有极其苛刻的要求,protostuff也许是最佳选择。protostuff相比于kyro还有一个额外的好处,就是如果序列化之后,反序列化之前这段时间内,java class增加了字段(这在实际业务中是无法避免的事情),kyro就废了。但是protostuff只要保证新字段添加在类的最后,而且用的是sun系列的JDK, 是可以正常使用的。因此,如果序列化是用在缓存等场景下,序列化对象需要存储很久,也就只能选择protostuff了。
当然,如果有可读性之类的需求,就只能用json了。
==============================================================================================================================
序列化框架性能对比(kryo、hessian、java、protostuff)
简介:
优点 | 缺点 | |
Kryo | 速度快,序列化后体积小 | 跨语言支持较复杂 |
Hessian | 默认支持跨语言 | 较慢 |
Protostuff | 速度快,基于protobuf | 需静态编译 |
Protostuff-Runtime | 无需静态编译,但序列化前需预先传入schema | 不支持无默认构造函数的类,反序列化时需用户自己初始化序列化后的对象,其只负责将该对象进行赋值 |
Java | 使用方便,可序列化所有类 | 速度慢,占空间 |
测试环境:
硬件信息:
16 Intel(R) Xeon(R) CPU E5620 @2.40GHz
Red Hat Enterprise Linux Server release 5.4 (Tikanga)
java: "1.6.0_27" Java HotSpot(TM) 64-Bit Server VM (build 20.2-b06, mixed mode)
JVM options: java -Xmx256m –server
测试数据:(见附件)
ArrayList.class
MediaContent.class
Media.class
Image.class
测试方法:(参考自GitHub - eishay/jvm-serializers: Benchmark comparing serialization libraries on the JVM)
<!--[if !supportLists]-->1、 <!--[endif]-->在正式测试之前,将测试用例运行10次对JVM进行预热。
<!--[if !supportLists]-->2、 <!--[endif]-->对测试用例的每个方法,运行2000次,取平均值。
<!--[if !supportLists]-->3、 <!--[endif]-->每次测试用例运行500次,取最优结果
测试基准:
ser: 创建一个对象,并将其序列化成byte数组的时间
deser: 将byte数组反序列化成对象的时间
total: 创建一个对象,将其序列化成byte数组再反序列化为对象的总时间
size: 序列化后的数组大小
size+dfl: 序列化后用level6级别的zlib进行压缩后的大小
测试工具:
序列化工具 | 序列化方式 |
kryo | 使用kryo默认的序列化方式fieldSerializer, 对需要序列化的对象采取默认的操作。开启reference,关闭register |
protostuff | 使用静态编译生成的Schema进行序列化 |
protostuff-runtime | 使用protostuff-runtime框架生成Schema进行序列化 |
测试结果:
时间:
大小:
总结:
Kryo在类注册且reference关闭的情况下,序列化速度和大小明显 优于hessian和java,接近于protostuff。开启reference后将序列化速度将明显变慢,但仍旧优于hessian。
相关知识:
类注册:将需要序列化的类注册到kryo中,可以提高序列化与反序列化的速度。
Reference:开启这个选项后,相同的对象将被序列化为同一个byte[],默认关闭,如果要支持循环引用,则必须开启
稳定性测试:
循环引用:Cyclic.java
序列化方式 | 无默认构造函数 | 循环引用 | 对象为null | 是否需要预先知道对象所属的类 | 大对象(4M) |
Kryo | 支持 | 需将reference选项打开 | 支持 | 不需要,关闭register | 支持 |
Java | 支持 | 支持 | 支持 | 不需要 | 支持 |
Protostuff | 支持 | 支持 | 支持 | 不需要 | 支持 |
Protostuff -runtime | 不支持 | 支持 | 支持 | 需要 | 支持 |
Hessian | 支持 | 支持 | 支持 | 不需要 | 支持 |