java一百万条数据读取进内存

原创

mob649e816209c2 2023-12-11 08:19:28 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e816209c2的原创作品，请联系作者获取转载授权，否则将追究法律责任

Java中如何读取一百万条数据进内存

在Java中，读取大量数据进内存是一项常见的任务。在本文中，我们将介绍如何使用Java来读取一百万条数据进入内存，并提供相应的代码示例。

准备工作

在开始之前，我们需要准备一些数据来模拟一百万条数据的情况。我们可以使用随机数生成器来生成一百万个整数，并将它们保存在一个文件中。以下是生成数据并保存到文件的示例代码：

import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;
import java.util.Random;

public class DataGenerator {
    public static void main(String[] args) {
        Random random = new Random();
        try (BufferedWriter writer = new BufferedWriter(new FileWriter("data.txt"))) {
            for (int i = 0; i < 1000000; i++) {
                writer.write(String.valueOf(random.nextInt()));
                writer.newLine();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

运行上述代码将生成一个名为“data.txt”的文件，其中包含一百万个随机整数。

读取数据进内存

现在我们已经准备好了一百万条数据，接下来我们将展示如何使用Java将这些数据读取进内存。

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;

public class DataReader {
    public static void main(String[] args) {
        try (BufferedReader reader = new BufferedReader(new FileReader("data.txt"))) {
            String line;
            while ((line = reader.readLine()) != null) {
                // 处理每一行数据
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

上述代码使用了Java的BufferedReader类来逐行读取文件中的数据。每次读取一行后，我们可以对这行数据进行处理，例如将其转换为其他数据类型，存储在数组或列表中等。

处理数据

在实际应用中，我们可能需要对读取到的数据进行进一步处理。以下是一个简单的示例，演示如何计算读取到的一百万个整数的总和。

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;

public class DataProcessor {
    public static void main(String[] args) {
        long sum = 0;
        try (BufferedReader reader = new BufferedReader(new FileReader("data.txt"))) {
            String line;
            while ((line = reader.readLine()) != null) {
                int number = Integer.parseInt(line);
                sum += number;
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
        System.out.println("Sum: " + sum);
    }
}

上述代码中，我们使用一个变量sum来保存计算的总和。在每次循环中，我们将读取到的整数转换为number并将其加到sum中。最终，我们打印出计算得到的总和。