Java 读取 Excel 大文件的有效方法

在现代数据处理领域，Excel 文件作为一种常见的数据存储格式，被广泛应用于各种业务场景。然而，当面对大文件时，常规的读取方式可能会导致内存溢出或性能下降。本文将介绍如何使用 Java 读取大文件 Excel，并提供具体的代码示例。

为什么要读取大文件

很多企业在日常运营中会积累海量数据，通常这些数据会被存储在 Excel 文件中。读取和处理这些大文件不仅可以帮助企业分析数据，还能为决策提供支持。然而，如果简单地将其全部加载到内存中，可能会因为占用过多资源而导致系统崩溃。

Java 中的 Apache POI 库

Apache POI 是一个强大的 Java 库，可以轻松地操作 Microsoft Excel 文件。它支持 XLS 和 XLSX 格式，并且提供了丰富的 API 界面来满足不同的需求。对于大文件的读取，我们可以使用 Streaming API，避免一次性加载整个文件到内存中。

使用 Streaming API 读取 Excel 文件

下面是一个使用 Apache POI 的 StreamingReader 来读取大文件 Excel 的示例代码。首先，我们需要引入相应的依赖项。

Maven 依赖

在你的 pom.xml 中添加以下依赖：

<dependency>
    <groupId>org.apache.poi</groupId>
    <artifactId>poi-ooxml</artifactId>
    <version>5.2.3</version>
</dependency>
<dependency>
    <groupId>org.apache.poi</groupId>
    <artifactId>poi-ooxml-schemas</artifactId>
    <version>4.1.2</version>
</dependency>
<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-collections4</artifactId>
    <version>4.4</version>
</dependency>
<dependency>
    <groupId>com.yuanzhe</groupId>
    <artifactId>streaming-reader</artifactId>
    <version>0.0.1</version>
</dependency>

读取 Excel 文件的代码示例

以下是使用 Apache POI 和 StreamingReader 读取 Excel 文件的示例代码：

import org.apache.poi.ss.usermodel.*;
import org.apache.poi.xssf.streaming.XSSFReader;

import java.io.FileInputStream;
import java.io.InputStream;

public class ExcelReader {
    public static void main(String[] args) {
        String filePath = "path/to/your/excel-file.xlsx";

        try (InputStream inputStream = new FileInputStream(filePath);
             Workbook workbook = WorkbookFactory.create(inputStream)) {
             
            Sheet sheet = workbook.getSheetAt(0); // 读取第一个工作表
            
            for (Row row : sheet) {
                for (Cell cell : row) {
                    switch (cell.getCellType()) {
                        case STRING:
                            System.out.print(cell.getStringCellValue() + "\t");
                            break;
                        case NUMERIC:
                            System.out.print(cell.getNumericCellValue() + "\t");
                            break;
                        case BOOLEAN:
                            System.out.print(cell.getBooleanCellValue() + "\t");
                            break;
                        default:
                            break;
                    }
                }
                System.out.println();
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

在上述代码中，我们使用 FileInputStream 读取文件并创建一个 Workbook 对象。随后，通过迭代每一行和每个单元格，我们可以输出数据，而不需要将整个文件加载到内存中。

性能优化与注意事项

在处理大文件时，除了使用 Streaming API 以外，还有一些性能优化的考虑：

  1. 避免创建过多对象：尽可能在循环外部进行对象的创建和初始化。
  2. 使用合适的数据结构：存储数据时，应选择轻量的集合类。
  3. 及时释放资源：在读取完成后，应当及时关闭 InputStream，以释放内存资源。

数据可视化

在数据处理后，通常需要将数据以可视化形式展现出来。假设我们将 Excel 中读入的数据显示成饼状图，使用以下 mermaid 语法表示数据的构成：

pie
    title Excel 数据分布
    "类别A": 45
    "类别B": 25
    "类别C": 20
    "类别D": 10

结论

通过使用 Java 的 Apache POI 库及其 Streaming API，我们可以高效地读取和处理大型 Excel 文件。掌握这些技能，对于数据分析师、软件开发者等角色而言，都是一项重要且必要的能力。

在实际应用中，进行数据优化与内存管理是确保程序高效运行的关键。随着数据量的不断增加，这种技术的掌握将越来越重要。希望本文的内容和示例代码能对你有所帮助，让你在大数据处理的道路上走得更远。