使用poi写excel，数据量超过几万时可能会内存溢出。
poi官网给了一种大批量数据写入的方法。
使用SXXFWorkbook 类进行大批量写入操作解决了这个问题。
import junit.framework.Assert;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.ss.util.CellReference;
import org.apache.poi.xssf.streaming.SXSSFWorkbook;
public static void main(String[] args) throws Throwable {
SXSSFWorkbook wb = new SXSSFWorkbook(100); // keep 100 rows in memory, exceeding rows will be flushed to disk
Sheet sh = wb.createSheet();
for(int rownum = 0; rownum < 1000; rownum++){
Row row = sh.createRow(rownum);
for(int cellnum = 0; cellnum < 10; cellnum++){
Cell cell = row.createCell(cellnum);
String address = new CellReference(cell).formatAsString();
cell.setCellValue(address);
}
}
// Rows with rownum < 900 are flushed and not accessible
for(int rownum = 0; rownum < 900; rownum++){
Assert.assertNull(sh.getRow(rownum));
}
// ther last 100 rows are still in memory
for(int rownum = 900; rownum < 1000; rownum++){
Assert.assertNotNull(sh.getRow(rownum));
}
FileOutputStream out = new FileOutputStream("/temp/sxssf.xlsx");
wb.write(out);
out.close();
// dispose of temporary files backing this workbook on disk
wb.dispose();
}通过设置SXXFWorkbook的构造参数，可以设置每次在内存中保持的行数，当达到这个值的时候，那么会把这些数据flush到磁盘上，这样就不会出现内存不够的情况。
1. Excel2003与Excel2007
两个版本的最大行数和列数不同，2003版最大行数是65536行，最大列数是256列，2007版及以后的版本最大行数是1048576行，最大列数是16384列。
excel2003是以二进制的方式存储，这种格式不易被其他软件读取使用；而excel2007采用了基于XML的ooxml开放文档标准，ooxml使用XML和ZIP技术结合进行文件存储，XML是一个基于文本的格式，而且ZIP容器支持内容的压缩，所以其一大优势是可以大大减小文件的尺寸。
2. 大批量数据读写
2.1 大批量数据写入
对于大数据的Xlsx文件的写入，POI3.8提供了SXSSFSXSSFWorkbook类，采用缓存方式进行大批量写文件。
详情可以查看poi官网示例：http://poi.apache.org/spreadsheet/how-to.html#sxssf 或
2.2 大批量数据读取
POI读取Excel有两种模式，一种是用户模式，一种是SAX事件驱动模式，将xlsx格式的文档转换成CSV格式后进行读取。用户模式API接口丰富，使用POI的API可以很容易读取Excel，但用户模式消耗的内存很大，当遇到很大sheet、大数据网格，假空行、公式等问题时，很容易导致内存溢出。POI官方推荐解决内存溢出的方式使用CVS格式解析，即SAX事件驱动模式。下面主要是讲解如何读取大批量数据：
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>POIExcel</groupId>
<artifactId>POIExcel</artifactId>
<packaging>war</packaging>
<version>1.0-SNAPSHOT</version>
<name>POIExcel Maven Webapp</name>
<url>http://maven.apache.org</url>
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>3.8.1</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.apache.poi</groupId>
<artifactId>poi</artifactId>
<version>3.17</version>
</dependency>
<dependency>
<groupId>org.apache.poi</groupId>
<artifactId>poi-ooxml</artifactId>
<version>3.17</version>
</dependency>
<dependency>
<groupId>org.apache.poi</groupId>
<artifactId>poi-ooxml-schemas</artifactId>
<version>3.17</version>
</dependency>
<dependency>
<groupId>com.syncthemall</groupId>
<artifactId>boilerpipe</artifactId>
<version>1.2.1</version>
</dependency>
<dependency>
<groupId>xerces</groupId>
<artifactId>xercesImpl</artifactId>
<version>2.11.0</version>
</dependency>
<dependency>
<groupId>xml-apis</groupId>
<artifactId>xml-apis</artifactId>
<version>1.4.01</version>
</dependency>
<dependency>
<groupId>org.apache.xmlbeans</groupId>
<artifactId>xmlbeans</artifactId>
<version>2.6.0</version>
</dependency>
<dependency>
<groupId>sax</groupId>
<artifactId>sax</artifactId>
<version>2.0.1</version>
</dependency>
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-lang3</artifactId>
<version>3.7</version>
</dependency>
</dependencies>
<build>
<finalName>POIExcel</finalName>
</build>
</project>2.2.2 POI以SAX解析excel2007文件
解决思路：通过继承DefaultHandler类，重写process()，startElement()，characters()，endElement()这四个方法。process()方式主要是遍历所有的sheet，并依次调用startElement()、characters()方法、endElement()这三个方法。startElement()用于设定单元格的数字类型（如日期、数字、字符串等等）。characters()用于获取该单元格对应的索引值或是内容值（如果单元格类型是字符串、INLINESTR、数字、日期则获取的是索引值；其他如布尔值、错误、公式则获取的是内容值）。endElement()根据startElement()的单元格数字类型和characters()的索引值或内容值，最终得出单元格的内容值，并打印出来。
1 package org.poi;
2
3 import org.apache.poi.openxml4j.opc.OPCPackage;
4 import org.apache.poi.ss.usermodel.BuiltinFormats;
5 import org.apache.poi.ss.usermodel.DataFormatter;
6 import org.apache.poi.xssf.eventusermodel.XSSFReader;
7 import org.apache.poi.xssf.model.SharedStringsTable;
8 import org.apache.poi.xssf.model.StylesTable;
9 import org.apache.poi.xssf.usermodel.XSSFCellStyle;
10 import org.apache.poi.xssf.usermodel.XSSFRichTextString;
11 import org.xml.sax.Attributes;
12 import org.xml.sax.InputSource;
13 import org.xml.sax.SAXException;
14 import org.xml.sax.XMLReader;
15 import org.xml.sax.helpers.DefaultHandler;
16 import org.xml.sax.helpers.XMLReaderFactory;
17
18 import java.io.InputStream;
19 import java.util.ArrayList;
20 import java.util.List;
21
22 /**
23 * @author y
24 * @create 2018-01-18 14:28
25 * @desc POI读取excel有两种模式，一种是用户模式，一种是事件驱动模式
26 * 采用SAX事件驱动模式解决XLSX文件，可以有效解决用户模式内存溢出的问题，
27 * 该模式是POI官方推荐的读取大数据的模式，
28 * 在用户模式下，数据量较大，Sheet较多，或者是有很多无用的空行的情况下，容易出现内存溢出
29 * <p>
30 * 用于解决.xlsx2007版本大数据量问题
31 **/
32 public class ExcelXlsxReader extends DefaultHandler {
33
34 /**
35 * 单元格中的数据可能的数据类型
36 */
37 enum CellDataType {
38 BOOL, ERROR, FORMULA, INLINESTR, SSTINDEX, NUMBER, DATE, NULL
39 }
40
41 /**
42 * 共享字符串表
43 */
44 private SharedStringsTable sst;
45
46 /**
47 * 上一次的索引值
48 */
49 private String lastIndex;
50
51 /**
52 * 文件的绝对路径
53 */
54 private String filePath = "";
55
56 /**
57 * 工作表索引
58 */
59 private int sheetIndex = 0;
60
61 /**
62 * sheet名
63 */
64 private String sheetName = "";
65
66 /**
67 * 总行数
68 */
69 private int totalRows=0;
70
71 /**
72 * 一行内cell集合
73 */
74 private List<String> cellList = new ArrayList<String>();
75
76 /**
77 * 判断整行是否为空行的标记
78 */
79 private boolean flag = false;
80
81 /**
82 * 当前行
83 */
84 private int curRow = 1;
85
86 /**
87 * 当前列
88 */
89 private int curCol = 0;
90
91 /**
92 * T元素标识
93 */
94 private boolean isTElement;
95
96 /**
97 * 判断上一单元格是否为文本空单元格
98 */
99 private boolean startElementFlag = true;
100 private boolean endElementFlag = false;
101 private boolean charactersFlag = false;
102
103 /**
104 * 异常信息，如果为空则表示没有异常
105 */
106 private String exceptionMessage;
107
108 /**
109 * 单元格数据类型，默认为字符串类型
110 */
111 private CellDataType nextDataType = CellDataType.SSTINDEX;
112
113 private final DataFormatter formatter = new DataFormatter();
114
115 /**
116 * 单元格日期格式的索引
117 */
118 private short formatIndex;
119
120 /**
121 * 日期格式字符串
122 */
123 private String formatString;
124
125 //定义前一个元素和当前元素的位置，用来计算其中空的单元格数量，如A6和A8等
126 private String prePreRef = "A", preRef = null, ref = null;
127
128 //定义该文档一行最大的单元格数，用来补全一行最后可能缺失的单元格
129 private String maxRef = null;
130
131 /**
132 * 单元格
133 */
134 private StylesTable stylesTable;
135
136 /**
137 * 遍历工作簿中所有的电子表格
138 * 并缓存在mySheetList中
139 *
140 * @param filename
141 * @throws Exception
142 */
143 public int process(String filename) throws Exception {
144 filePath = filename;
145 OPCPackage pkg = OPCPackage.open(filename);
146 XSSFReader xssfReader = new XSSFReader(pkg);
147 stylesTable = xssfReader.getStylesTable();
148 SharedStringsTable sst = xssfReader.getSharedStringsTable();
149 XMLReader parser = XMLReaderFactory.createXMLReader("org.apache.xerces.parsers.SAXParser");
150 this.sst = sst;
151 parser.setContentHandler(this);
152 XSSFReader.SheetIterator sheets = (XSSFReader.SheetIterator) xssfReader.getSheetsData();
153 while (sheets.hasNext()) { //遍历sheet
154 curRow = 1; //标记初始行为第一行
155 sheetIndex++;
156 InputStream sheet = sheets.next(); //sheets.next()和sheets.getSheetName()不能换位置，否则sheetName报错
157 sheetName = sheets.getSheetName();
158 InputSource sheetSource = new InputSource(sheet);
159 parser.parse(sheetSource); //解析excel的每条记录，在这个过程中startElement()、characters()、endElement()这三个函数会依次执行
160 sheet.close();
161 }
162 return totalRows; //返回该excel文件的总行数，不包括首列和空行
163 }
164
165 /**
166 * 第一个执行
167 *
168 * @param uri
169 * @param localName
170 * @param name
171 * @param attributes
172 * @throws SAXException
173 */
174 @Override
175 public void startElement(String uri, String localName, String name, Attributes attributes) throws SAXException {
176 //c => 单元格
177 if ("c".equals(name)) {
178
179 //前一个单元格的位置
180 if (preRef == null) {
181 preRef = attributes.getValue("r");
182
183 } else {
184 //中部文本空单元格标识 ‘endElementFlag’ 判断前一次是否为文本空字符串，true则表明不是文本空字符串，false表明是文本空字符串跳过把空字符串的位置赋予preRef
185 if (endElementFlag){
186 preRef = ref;
187 }
188 }
189
190 //当前单元格的位置
191 ref = attributes.getValue("r");
192 //首部文本空单元格标识 ‘startElementFlag’ 判断前一次，即首部是否为文本空字符串，true则表明不是文本空字符串，false表明是文本空字符串, 且已知当前格，即第二格带“B”标志，则ref赋予preRef
193 if (!startElementFlag && !flag){ //上一个单元格为文本空单元格，执行下面的，使ref=preRef；flag为true表明该单元格之前有数据值，即该单元格不是首部空单元格，则跳过
194 // 这里只有上一个单元格为文本空单元格，且之前的几个单元格都没有值才会执行
195 preRef = ref;
196 }
197
198 //设定单元格类型
199 this.setNextDataType(attributes);
200 endElementFlag = false;
201 charactersFlag = false;
202 startElementFlag = false;
203 }
204
205 //当元素为t时
206 if ("t".equals(name)) {
207 isTElement = true;
208 } else {
209 isTElement = false;
210 }
211
212 //置空
213 lastIndex = "";
214 }
215
216
217
218 /**
219 * 第二个执行
220 * 得到单元格对应的索引值或是内容值
221 * 如果单元格类型是字符串、INLINESTR、数字、日期，lastIndex则是索引值
222 * 如果单元格类型是布尔值、错误、公式，lastIndex则是内容值
223 * @param ch
224 * @param start
225 * @param length
226 * @throws SAXException
227 */
228 @Override
229 public void characters(char[] ch, int start, int length) throws SAXException {
230 startElementFlag = true;
231 charactersFlag = true;
232 lastIndex += new String(ch, start, length);
233 }
234
235 /**
236 * 第三个执行
237 *
238 * @param uri
239 * @param localName
240 * @param name
241 * @throws SAXException
242 */
243 @Override
244 public void endElement(String uri, String localName, String name) throws SAXException {
245 //t元素也包含字符串
246 if (isTElement) {//这个程序没经过
247 //将单元格内容加入rowlist中，在这之前先去掉字符串前后的空白符
248 String value = lastIndex.trim();
249 cellList.add(curCol, value);
250 endElementFlag = true;
251 curCol++;
252 isTElement = false;
253 //如果里面某个单元格含有值，则标识该行不为空行
254 if (value != null && !"".equals(value)) {
255 flag = true;
256 }
257 } else if ("v".equals(name)) {
258 //v => 单元格的值，如果单元格是字符串，则v标签的值为该字符串在SST中的索引
259 String value = this.getDataValue(lastIndex.trim(), "");//根据索引值获取对应的单元格值
260
261 //补全单元格之间的空单元格
262 if (!ref.equals(preRef)) {
263 int len = countNullCell(ref, preRef);
264 for (int i = 0; i < len; i++) {
265 cellList.add(curCol, "");
266 curCol++;
267 }
268 } else if (ref.equals(preRef) && !ref.startWith("A")){ //ref等于preRef，且以B或者C...开头，表明首部为空格271 int len = countNullCell(ref, "A");
272 for (int i = 0; i <= len; i++) {
273 cellList.add(curCol, "");
274 curCol++;
275 }
276 }
277 cellList.add(curCol, value);
278 curCol++;
279 endElementFlag = true;
280 //如果里面某个单元格含有值，则标识该行不为空行
281 if (value != null && !"".equals(value)) {
282 flag = true;
283 }
284 } else {
285 //如果标签名称为row，这说明已到行尾，调用optRows()方法
286 if ("row".equals(name)) {
287 //默认第一行为表头，以该行单元格数目为最大数目
288 if (curRow == 1) {
289 maxRef = ref;
290 }
291 //补全一行尾部可能缺失的单元格
292 if (maxRef != null) {
293 int len = -1;
294 //前一单元格，true则不是文本空字符串，false则是文本空字符串
295 if (charactersFlag){
296 len = countNullCell(maxRef, ref);
297 }else {
298 len = countNullCell(maxRef, preRef);
299 }
300 for (int i = 0; i <= len; i++) {
301 cellList.add(curCol, "");
302 curCol++;
303 }
304 }
305
306 if (flag&&curRow!=1){ //该行不为空行且该行不是第一行，则发送（第一行为列名，不需要）
307 ExcelReaderUtil.sendRows(filePath, sheetName, sheetIndex, curRow, cellList);
308 totalRows++;
309 }
310
311 cellList.clear();
312 curRow++;
313 curCol = 0;
314 preRef = null;
315 prePreRef = null;
316 ref = null;
317 flag=false;
318 }
319 }
320 }
321
322 /**
323 * 处理数据类型
324 *
325 * @param attributes
326 */
327 public void setNextDataType(Attributes attributes) {
328 nextDataType = CellDataType.NUMBER; //cellType为空，则表示该单元格类型为数字
329 formatIndex = -1;
330 formatString = null;
331 String cellType = attributes.getValue("t"); //单元格类型
332 String cellStyleStr = attributes.getValue("s"); //
333 String columnData = attributes.getValue("r"); //获取单元格的位置，如A1,B1
334
335 if ("b".equals(cellType)) { //处理布尔值
336 nextDataType = CellDataType.BOOL;
337 } else if ("e".equals(cellType)) { //处理错误
338 nextDataType = CellDataType.ERROR;
339 } else if ("inlineStr".equals(cellType)) {
340 nextDataType = CellDataType.INLINESTR;
341 } else if ("s".equals(cellType)) { //处理字符串
342 nextDataType = CellDataType.SSTINDEX;
343 } else if ("str".equals(cellType)) {
344 nextDataType = CellDataType.FORMULA;
345 }
346
347 if (cellStyleStr != null) { //处理日期
348 int styleIndex = Integer.parseInt(cellStyleStr);
349 XSSFCellStyle style = stylesTable.getStyleAt(styleIndex);
350 formatIndex = style.getDataFormat();
351 formatString = style.getDataFormatString();
352 if (formatString.contains("m/d/yyyy") || formatString.contains("yyyy/mm/dd")|| formatString.contains("yyyy/m/d") ) {
353 nextDataType = CellDataType.DATE;
354 formatString = "yyyy-MM-dd hh:mm:ss";
355 }
356
357 if (formatString == null) {
358 nextDataType = CellDataType.NULL;
359 formatString = BuiltinFormats.getBuiltinFormat(formatIndex);
360 }
361 }
362 }
363
364 /**
365 * 对解析出来的数据进行类型处理
366 * @param value 单元格的值，
367 * value代表解析：BOOL的为0或1， ERROR的为内容值，FORMULA的为内容值，INLINESTR的为索引值需转换为内容值，
368 * SSTINDEX的为索引值需转换为内容值， NUMBER为内容值，DATE为内容值
369 * @param thisStr 一个空字符串
370 * @return
371 */
372 @SuppressWarnings("deprecation")
373 public String getDataValue(String value, String thisStr) {
374 switch (nextDataType) {
375 // 这几个的顺序不能随便交换，交换了很可能会导致数据错误
376 case BOOL: //布尔值
377 char first = value.charAt(0);
378 thisStr = first == '0' ? "FALSE" : "TRUE";
379 break;
380 case ERROR: //错误
381 thisStr = "\"ERROR:" + value.toString() + '"';
382 break;
383 case FORMULA: //公式
384 thisStr = '"' + value.toString() + '"';
385 break;
386 case INLINESTR:
387 XSSFRichTextString rtsi = new XSSFRichTextString(value.toString());
388 thisStr = rtsi.toString();
389 rtsi = null;
390 break;
391 case SSTINDEX: //字符串
392 String sstIndex = value.toString();
393 try {
394 int idx = Integer.parseInt(sstIndex);
395 XSSFRichTextString rtss = new XSSFRichTextString(sst.getEntryAt(idx));//根据idx索引值获取内容值
396 thisStr = rtss.toString();
397 System.out.println(thisStr);
398 //有些字符串是文本格式的，但内容却是日期
399
400 rtss = null;
401 } catch (NumberFormatException ex) {
402 thisStr = value.toString();
403 }
404 break;
405 case NUMBER: //数字
406 if (formatString != null) {
407 thisStr = formatter.formatRawCellContents(Double.parseDouble(value), formatIndex, formatString).trim();
408 } else {
409 thisStr = value;
410 }
411 thisStr = thisStr.replace("_", "").trim();
412 break;
413 case DATE: //日期
414 thisStr = formatter.formatRawCellContents(Double.parseDouble(value), formatIndex, formatString);
415 // 对日期字符串作特殊处理，去掉T
416 thisStr = thisStr.replace("T", " ");
417 break;
418 default:
419 thisStr = " ";
420 break;
421 }
422 return thisStr;
423 }
424
425 public int countNullCell(String ref, String preRef) {
426 //excel2007最大行数是1048576，最大列数是16384，最后一列列名是XFD
427 String xfd = ref.replaceAll("\\d+", "");
428 String xfd_1 = preRef.replaceAll("\\d+", "");
429
430 xfd = fillChar(xfd, 3, '@', true);
431 xfd_1 = fillChar(xfd_1, 3, '@', true);
432
433 char[] letter = xfd.toCharArray();
434 char[] letter_1 = xfd_1.toCharArray();
435 int res = (letter[0] - letter_1[0]) * 26 * 26 + (letter[1] - letter_1[1]) * 26 + (letter[2] - letter_1[2]);
436 return res - 1;
437 }
438
439 public String fillChar(String str, int len, char let, boolean isPre) {
440 int len_1 = str.length();
441 if (len_1 < len) {
442 if (isPre) {
443 for (int i = 0; i < (len - len_1); i++) {
444 str = let + str;
445 }
446 } else {
447 for (int i = 0; i < (len - len_1); i++) {
448 str = str + let;
449 }
450 }
451 }
452 return str;
453 }
454
455 /**
456 * @return the exceptionMessage
457 */
458 public String getExceptionMessage() {
459 return exceptionMessage;
460 }
461 }2.2.3 POI通过继承HSSFListener类来解决Excel2003文件
解决思路：重写process()，processRecord()两个方法，其中processRecord是核心方法，用于处理sheetName和各种单元格数字类型。
package org.poi;
import org.apache.poi.hssf.eventusermodel.*;
import org.apache.poi.hssf.eventusermodel.dummyrecord.LastCellOfRowDummyRecord;
import org.apache.poi.hssf.eventusermodel.dummyrecord.MissingCellDummyRecord;
import org.apache.poi.hssf.model.HSSFFormulaParser;
import org.apache.poi.hssf.record.*;
import org.apache.poi.hssf.usermodel.HSSFDataFormatter;
import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import org.apache.poi.poifs.filesystem.POIFSFileSystem;
import java.io.FileInputStream;
import java.util.ArrayList;
import java.util.List;
/**
* @author y
* @create 2018-01-19 14:18
* @desc 用于解决.xls2003版本大数据量问题
**/
public class ExcelXlsReader implements HSSFListener {
private int minColums = -1;
private POIFSFileSystem fs;
/**
* 总行数
*/
private int totalRows=0;
/**
* 上一行row的序号
*/
private int lastRowNumber;
/**
* 上一单元格的序号
*/
private int lastColumnNumber;
/**
* 是否输出formula，还是它对应的值
*/
private boolean outputFormulaValues = true;
/**
* 用于转换formulas
*/
private EventWorkbookBuilder.SheetRecordCollectingListener workbookBuildingListener;
//excel2003工作簿
private HSSFWorkbook stubWorkbook;
private SSTRecord sstRecord;
private FormatTrackingHSSFListener formatListener;
private final HSSFDataFormatter formatter = new HSSFDataFormatter();
/**
* 文件的绝对路径
*/
private String filePath = "";
//表索引
private int sheetIndex = 0;
private BoundSheetRecord[] orderedBSRs;
@SuppressWarnings("unchecked")
private ArrayList boundSheetRecords = new ArrayList();
private int nextRow;
private int nextColumn;
private boolean outputNextStringRecord;
//当前行
private int curRow = 0;
//存储一行记录所有单元格的容器
private List<String> cellList = new ArrayList<String>();
/**
* 判断整行是否为空行的标记
*/
private boolean flag = false;
@SuppressWarnings("unused")
private String sheetName;
/**
* 遍历excel下所有的sheet
*
* @param fileName
* @throws Exception
*/
public int process(String fileName) throws Exception {
filePath = fileName;
this.fs = new POIFSFileSystem(new FileInputStream(fileName));
MissingRecordAwareHSSFListener listener = new MissingRecordAwareHSSFListener(this);
formatListener = new FormatTrackingHSSFListener(listener);
HSSFEventFactory factory = new HSSFEventFactory();
HSSFRequest request = new HSSFRequest();
if (outputFormulaValues) {
request.addListenerForAllRecords(formatListener);
} else {
workbookBuildingListener = new EventWorkbookBuilder.SheetRecordCollectingListener(formatListener);
request.addListenerForAllRecords(workbookBuildingListener);
}
factory.processWorkbookEvents(request, fs);
return totalRows; //返回该excel文件的总行数，不包括首列和空行
}
/**
* HSSFListener 监听方法，处理Record
* 处理每个单元格
* @param record
*/
@SuppressWarnings("unchecked")
public void processRecord(Record record) {
int thisRow = -1;
int thisColumn = -1;
String thisStr = null;
String value = null;
switch (record.getSid()) {
case BoundSheetRecord.sid:
boundSheetRecords.add(record);
break;
case BOFRecord.sid: //开始处理每个sheet
BOFRecord br = (BOFRecord) record;
if (br.getType() == BOFRecord.TYPE_WORKSHEET) {
//如果有需要，则建立子工作簿
if (workbookBuildingListener != null && stubWorkbook == null) {
stubWorkbook = workbookBuildingListener.getStubHSSFWorkbook();
}
if (orderedBSRs == null) {
orderedBSRs = BoundSheetRecord.orderByBofPosition(boundSheetRecords);
}
sheetName = orderedBSRs[sheetIndex].getSheetname();
sheetIndex++;
}
break;
case SSTRecord.sid:
sstRecord = (SSTRecord) record;
break;
case BlankRecord.sid: //单元格为空白
BlankRecord brec = (BlankRecord) record;
thisRow = brec.getRow();
thisColumn = brec.getColumn();
thisStr = "";
cellList.add(thisColumn, thisStr);
break;
case BoolErrRecord.sid: //单元格为布尔类型
BoolErrRecord berec = (BoolErrRecord) record;
thisRow = berec.getRow();
thisColumn = berec.getColumn();
thisStr = berec.getBooleanValue() + "";
cellList.add(thisColumn, thisStr);
checkRowIsNull(thisStr); //如果里面某个单元格含有值，则标识该行不为空行
break;
case FormulaRecord.sid://单元格为公式类型
FormulaRecord frec = (FormulaRecord) record;
thisRow = frec.getRow();
thisColumn = frec.getColumn();
if (outputFormulaValues) {
if (Double.isNaN(frec.getValue())) {
outputNextStringRecord = true;
nextRow = frec.getRow();
nextColumn = frec.getColumn();
} else {
thisStr = '"' + HSSFFormulaParser.toFormulaString(stubWorkbook, frec.getParsedExpression()) + '"';
}
} else {
thisStr = '"' + HSSFFormulaParser.toFormulaString(stubWorkbook, frec.getParsedExpression()) + '"';
}
cellList.add(thisColumn, thisStr);
checkRowIsNull(thisStr); //如果里面某个单元格含有值，则标识该行不为空行
break;
case StringRecord.sid: //单元格中公式的字符串
if (outputNextStringRecord) {
StringRecord srec = (StringRecord) record;
thisStr = srec.getString();
thisRow = nextRow;
thisColumn = nextColumn;
outputNextStringRecord = false;
}
break;
case LabelRecord.sid:
LabelRecord lrec = (LabelRecord) record;
curRow = thisRow = lrec.getRow();
thisColumn = lrec.getColumn();
value = lrec.getValue().trim();
value = value.equals("") ? "" : value;
cellList.add(thisColumn, value);
checkRowIsNull(value); //如果里面某个单元格含有值，则标识该行不为空行
break;
case LabelSSTRecord.sid: //单元格为字符串类型
LabelSSTRecord lsrec = (LabelSSTRecord) record;
curRow = thisRow = lsrec.getRow();
thisColumn = lsrec.getColumn();
if (sstRecord == null) {
cellList.add(thisColumn, "");
} else {
value = sstRecord.getString(lsrec.getSSTIndex()).toString().trim();
value = value.equals("") ? "" : value;
cellList.add(thisColumn, value);
checkRowIsNull(value); //如果里面某个单元格含有值，则标识该行不为空行
}
break;
case NumberRecord.sid: //单元格为数字类型
NumberRecord numrec = (NumberRecord) record;
curRow = thisRow = numrec.getRow();
thisColumn = numrec.getColumn();
//第一种方式
//value = formatListener.formatNumberDateCell(numrec).trim();//这个被写死，采用的m/d/yy h:mm格式，不符合要求
//第二种方式，参照formatNumberDateCell里面的实现方法编写
Double valueDouble=((NumberRecord)numrec).getValue();
String formatString=formatListener.getFormatString(numrec);
if (formatString.contains("m/d/yy")){
formatString="yyyy-MM-dd hh:mm:ss";
}
int formatIndex=formatListener.getFormatIndex(numrec);
value=formatter.formatRawCellContents(valueDouble, formatIndex, formatString).trim();
value = value.equals("") ? "" : value;
//向容器加入列值
cellList.add(thisColumn, value);
checkRowIsNull(value); //如果里面某个单元格含有值，则标识该行不为空行
break;
default:
break;
}
//遇到新行的操作
if (thisRow != -1 && thisRow != lastRowNumber) {
lastColumnNumber = -1;
}
//空值的操作
if (record instanceof MissingCellDummyRecord) {
MissingCellDummyRecord mc = (MissingCellDummyRecord) record;
curRow = thisRow = mc.getRow();
thisColumn = mc.getColumn();
cellList.add(thisColumn, "");
}
//更新行和列的值
if (thisRow > -1)
lastRowNumber = thisRow;
if (thisColumn > -1)
lastColumnNumber = thisColumn;
//行结束时的操作
if (record instanceof LastCellOfRowDummyRecord) {
if (minColums > 0) {
//列值重新置空
if (lastColumnNumber == -1) {
lastColumnNumber = 0;
}
}
lastColumnNumber = -1;
if (flag&&curRow!=0) { //该行不为空行且该行不是第一行，发送（第一行为列名，不需要）
ExcelReaderUtil.sendRows(filePath, sheetName, sheetIndex, curRow + 1, cellList); //每行结束时，调用sendRows()方法
totalRows++;
}
//清空容器
cellList.clear();
flag=false;
}
}
/**
* 如果里面某个单元格含有值，则标识该行不为空行
* @param value
*/
public void checkRowIsNull(String value){
if (value != null && !"".equals(value)) {
flag = true;
}
}
}2.2.4 辅助类ExcelReaderUtil
调用ExcelXlsReader类和ExcelXlsxReader类对excel2003和excel2007两个版本进行大批量数据读取：
package org.poi;
import java.util.List;
/**
* @author y
* @create 2018-01-19 0:13
* @desc
**/
public class ExcelReaderUtil {
//excel2003扩展名
public static final String EXCEL03_EXTENSION = ".xls";
//excel2007扩展名
public static final String EXCEL07_EXTENSION = ".xlsx";
/**
* 每获取一条记录，即打印
* 在flume里每获取一条记录即发送，而不必缓存起来，可以大大减少内存的消耗，这里主要是针对flume读取大数据量excel来说的
* @param sheetName
* @param sheetIndex
* @param curRow
* @param cellList
*/
public static void sendRows(String filePath, String sheetName, int sheetIndex, int curRow, List<String> cellList) {
StringBuffer oneLineSb = new StringBuffer();
oneLineSb.append(filePath);
oneLineSb.append("--");
oneLineSb.append("sheet" + sheetIndex);
oneLineSb.append("::" + sheetName);//加上sheet名
oneLineSb.append("--");
oneLineSb.append("row" + curRow);
oneLineSb.append("::");
for (String cell : cellList) {
oneLineSb.append(cell.trim());
oneLineSb.append("|");
}
String oneLine = oneLineSb.toString();
if (oneLine.endsWith("|")) {
oneLine = oneLine.substring(0, oneLine.lastIndexOf("|"));
}// 去除最后一个分隔符
System.out.println(oneLine);
}
public static void readExcel(String fileName) throws Exception {
int totalRows =0;
if (fileName.endsWith(EXCEL03_EXTENSION)) { //处理excel2003文件
ExcelXlsReader excelXls=new ExcelXlsReader();
totalRows =excelXls.process(fileName);
} else if (fileName.endsWith(EXCEL07_EXTENSION)) {//处理excel2007文件
ExcelXlsxReader excelXlsxReader = new ExcelXlsxReader();
totalRows = excelXlsxReader.process(fileName);
} else {
throw new Exception("文件格式错误，fileName的扩展名只能是xls或xlsx。");
}
System.out.println("发送的总行数：" + totalRows);
}
public static void main(String[] args) throws Exception {
String path="C:\\Users\\y****\\Desktop\\TestSample\\H_20171226_***_*****_0430.xlsx";
ExcelReaderUtil.readExcel(path);
}
}github地址：
https://github.com/SwordfallYeung/POIExcel
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
