EasyExcel Demo:https://blog.51cto.com/u_15222067/2834472

HSSH、 XSSF、SXSSF方案对比

 导出1W条数据,12个字段,其中2个备注大文本字段;单线程;本地环境,使用spring boot搭建的web服务,eclipse配置 Xmx1024m,启动时占用内存44M左右,堆大小320M左右。

 

耗时

文件大小

内存

cpu

HSSH (xls)

5000条7min;

1W条36min

 1948KB 

启动的时候暴增,5000条后暴增;

800M左右

12%-15%,较稳定

XSSF (xlsx)

1W条50min

397KB

950M左右

12%-15%,较稳定

SXSSF (xlsx)

1W条3秒

10W25秒

929KB

500M左右

峰值15%,稳定状态下0%


 SXSSF会将数据缓存到磁盘,旧的行数据不再出现在滑动窗口中并变得无法访问;最后将缓存合成一个文件的时候,会比较耗时间。 

 之前做过的优化方案,使用高配服务器,开并发查数据,导出50+字段,其中5个以上大文本字段,平均1W条数据耗时不超过1秒。

Apache POI官方介绍:

EasyExcel优选的原因_EasyExcel

User Model的缺点是一次性将文件读入内存,构建一颗Dom树。并且在POI对Excel的抽象中,每一行,每一个单元格都是一个对象。当文件大,数据量多的时候对内存的占用可想而知。
Event Model使用的方式是边读取边解析,并且不会将这些数据封装成Row、Cell这样的对象。而都只是普通的数字或者是字符串。并且这些解析出来的对象是不需要一直驻留在内存中,而是解析完使用后就可以回收。

SXSSF、EasyExcel大数据量方案对比

导出100W条数据,11个字段,其中1个备注大文本字段;单线程;本地环境,使用spring boot搭建的web服务, eclipse配置 Xmx1024m,启动时占用内存44M左右,堆大小320M左右。

 

耗时

文件大小

内存

cpu

文件是否能打开

SXSSF (xlsx)

176秒

62902KB

860M左右

12%左右

是,耗时较长

EasyExcel (xlsx)

77秒

61678KB

60M左右

12%左右

是,耗时较长

Java解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存,poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题,但POI还是有一些缺陷,比如07版Excel解压缩以及解压后存储都是在内存中完成的,内存消耗依然很大。easyexcel重写了poi对07版Excel的解析,能够让原本一个3M的excel用POI sax依然需要100M左右内存降低到KB级别,并且再大的excel不会出现内存溢出,03版依赖POI的sax模式。在上层做了模型转换的封装,让使用者更加简单方便(此处引用gitHub);

测试对比结果可能会因为实现的方式不一样,实际的结果可能出入也比较大,但是EasyExcel相对SXSSF来说有优化是肯定的。

性能优化策略

1.    服务化,功能分离单独部署,选择支持大数据量的框架
2.    提高服务器性能,CPU、内存、IO
3.    并发查询数据,使用队列写数据,分批次执行
4.    纯文本导出,去掉excel格式,这个点优化空间比较大
5.    去掉实时交互,改为数据中心交互;后端使用队列控制请求并发
6.    …….