java stream 串行流和并行流 stream流并行处理

转载

laojean 2023-11-07 08:49:16

文章标签 java 数据库 python sed 并行处理 文章分类 Java 后端开发

Java 8用Stream API（java.util.stream）解决了这两个问题：集合处理时的套路和晦涩，以及难以利用多核。

之前的博客介绍了如何进行单线程的集合处理，这里介绍如何使用Stream API进行透明的并行处理。Stream API允许声明性地将顺序流变为并行流，而不需要考虑具体实现。

1、并行流

并行流就是一个把内容分成多个数据块，并用不同的线程分别处理每个数据块的流。流转化的方法：

parallel()方法把流转化为并行流
sequential()方法把并行流转化为顺序流

例如使用stream计算：接受数字n作为参数，并返回从1到给定参数的所有数字的和。

//顺序流版本
public static long getSequentialSum(Long n){
    return LongStream.rangeClosed(0, n)
            .reduce(0L, Long::sum);
}
//并行流版本
public static long getParallelSum(Long n){
    return LongStream.rangeClosed(0,n)
            .parallel()
            .reduce(0L,Long::sum);
}

需要注意的是：

顺序流版本的效率普遍来说可能比直接使用foreach编写要慢，因为foreach更加底层
在这个例子中，并行流版本的运行效率多数情况下会比foreach更好，但是不是所有的并行流版本都会更快
如果不使用rangeClosed方法产生数字，而用iterate方法，很可能导致并行计算比顺序计算更慢的情况，这是因为iterate生产数字，整张数字列表在reduce操作开始时并没有准备好，没法有效地对数据进行分块。