在 JAVA 8 中引入的 Stream
為集合數據的處理帶來了現代化的方式,而數據并行化則進一步提升了處理速度,充分發揮了多核處理器的優勢。本篇博客將詳細介紹數據并行化在 Java 8 Stream 中的應用,以及如何利用并行流處理大量數據。
什么是數據并行化
數據并行化是指將任務分解成多個子任務,并將這些子任務分配給多個處理單元(如多個 CPU 核心)并行執行。在集合數據的處理中,可以將數據劃分為多個小塊,然后在不同的處理單元上并行處理,從而加快處理速度。
在大量數據處理上,數據并行化可以大量縮短任務的執行時間,將一個數據分解成多個部分,然后并行處理,最后將多個結果匯總,得到最終的結果
并行和并發
并發(Concurrency)
并發是指多個任務在同一時間段內交替執行。它可以在單個處理器上通過任務切換(上下文切換)實現,也可以在多個處理器上同時進行。在并發模式下,多個任務在微觀上交替執行,但在某個時間段內只有一個任務在執行。這種模式通常用于提高系統的效率和響應能力,適用于 I/O 密集型任務,如網絡通信、文件讀寫等。
并行(Parallelism)
并行是指多個任務在同一時刻同時執行,每個任務在不同的處理器核心上獨立運行。與并發不同,并行是在宏觀上實現多任務的真正同時執行。這種模式通常用于提高計算密集型任務的處理速度,如科學計算、圖像處理等。
總結
- 并發關注任務之間的交替執行,是一種在時間上的重疊。
- 并行關注任務在同一時刻的同時執行,是一種在時間上的重合。
- 并發適用于提高系統效率和響應能力,適用于 I/O 密集型任務。
- 并行適用于提高計算速度,適用于計算密集型任務。
并行流的使用示例
Java 8 引入了并行流,它使得數據并行化變得非常容易。只需將順序流轉換為并行流,即可實現并行處理。以下是一個簡單的示例代碼:
java
復制代碼
public class MaxDemo { public static void mAIn(String[] args) { List<Integer> numbers = new ArrayList<>(); numbers.add(1); numbers.add(2); numbers.add(3); int sum = numbers.parallelStream().mapToInt(i -> i).sum(); System.out.println(sum); }
在上述示例中,通過 parallelStream()
方法將順序流轉換為并行流,從而實現了并行處理。接著,我們對流進行了過濾和映射操作,最后計算了偶數的總和。
注意事項和適用場景
雖然并行流可以提升處理速度,但并不是在所有情況下都適用。不要陷入一個誤區:并行一定比串行快。并行在不同的情況下不一定比串行快。影響并行性能有以下因素:
數據量
如果數據量太小,會直接影響到并行處理的性能。因為在并行內部實現涉及到 fork/join 的操作,這些操作的本身就存在性能的開銷,只有當數據量很大的時候,使用并行處理才有意義
源數據結構
fork 時會對源數據進行分割,數據源的特性直接影響到 fork 的性能,從而導致并行流性能很慢
- arrayList、array、IntStream.range,是最容易分割的,因為都支持隨機讀取
- HashSet、TreeSet, 相對來說比較容易分割,但是因為內部數據結構,很難被平均分解
- LinkedList、Streams.iterate、BufferedReader.lined 不容易分分割,因為長度未知,無法確定分在哪里進行分割
裝箱拆箱
盡量使用基本數據類型,避免裝箱和拆箱
CPU 核數
fork 產生的數量是與 CPU 核數相關,可用的核數越多,獲取的性能提升越大
單元處理開銷
花在流中每個元素的時間越長,并行操作帶來的性能提升就越明顯
并行流原理介紹
并行流的工作原理可以分為以下幾個步驟:
- 數據切分:初始數據被分成多個小塊,每個塊包含一部分元素。
- 并行處理:各個處理器核心同時對不同的數據塊執行相同的操作。
- 結果合并:各個處理器核心處理完成后,將結果合并為最終結果。
并行流在底層的實現是沿用 Java7 提供的 fork 和 join 分解合并框架實現的,fork 根據 cpi 核數進行數據分開,join 對各 forn 進行合并。實現過程如下圖所示:
總結
數據并行化是 Java 8 Stream 中的重要特性,可以顯著提升大規模數據處理的速度。通過將順序流轉換為并行流,我們可以利用多核處理器的優勢,實現高效的并行處理。然而,在使用并行流時需要注意線程安全和適用場景,以充分發揮其優勢。在實際開發中,根據數據規模和操作類型的不同,合理使用并行流將為你的程序帶來性能的提升。
作者:努力的IT小胖子
鏈接:https://juejin.cn/post/7269743983189409828
來源:稀土掘金
著作權歸作者所有。商業轉載請聯系作者獲得授權,非商業轉載請注明出處。