Google Dataproc 會使用 Ubuntu、Debian 和 Rocky Linux 映像檔版本,將作業系統、大數據元件和 Google Cloud 連接器整合成一個可於叢集部署的套件。詳情請參閱「Dataproc 版本管理」。
注意事項:
- Dataproc 映像檔版本的支援時間是從初始發布日期算起 24 個月。
- 一般來說,Dataproc 映像檔版本的支援期結束後,還可使用 24 個月,但如果延長映像檔支援期,可用期間可能會縮短。
預設 Dataproc 映像檔版本
在正式版發布日期後,Dataproc 會將預設映像檔版本更新為最新的一般可用 Debian 版 Dataproc。
支援的 Dataproc 映像檔版本
Debian 映像檔
Dataproc 叢集支援下列以 Debian 為基礎的映像檔版本。請注意,如果版本在發布後有任何副次要修補程式,系統會建立新叢集以涵蓋這些修補程式。
版本 | 上次更新日期 | 發行日期 | 支援期限 | 使用期限 | 附註 |
---|---|---|---|---|---|
2.2-debian12 | 2025/05/15 | 2023/12/08 | 2027/03/31 | 2027 年 12 月 31 日 | 正式發行版。圖片版本 2.2 將於 2024 年 9 月 13 日成為預設圖片版本。 |
2.1-debian11 | 2025/05/15 | 2022/12/12 | 2026 年 3 月 31 日 | 2026/12/31 | 正式發行版。 |
2.0-debian10 | 2025/05/15 | 2021/01/22 | 2025/09/30 | 2026/07/31 | 正式發行版。 |
Ubuntu 映像檔
Dataproc 叢集支援下列 Ubuntu LTS 映像檔版本。請注意,如果版本在發布後有任何副次要修補程式,系統會建立新叢集以涵蓋這些修補程式。
版本 | 上次更新日期 | 發行日期 | 支援期限 | 使用期限 | 附註 |
---|---|---|---|---|---|
2.2-ubuntu22 | 2025/05/15 | 2023/12/08 | 2027/03/31 | 2027 年 12 月 31 日 | 正式發行版。 |
2.1-ubuntu20 | 2025/05/15 | 2022/12/12 | 2026 年 3 月 31 日 | 2026/12/31 | 正式發行版。 |
2.0-ubuntu18 | 2025/05/15 | 2021/01/22 | 2025/09/30 | 2026/07/31 | 正式發行版。 |
Rocky Linux 映像檔
Dataproc 叢集支援下列 以 Rocky Linux 為基礎的映像檔版本。請注意,如果版本在發布後有任何副次要修補程式,系統會建立新叢集以涵蓋這些修補程式。
版本 | 上次更新日期 | 發行日期 | 支援期限 | 使用期限 | 附註 |
---|---|---|---|---|---|
2.2-rocky9 | 2025/05/15 | 2023/12/08 | 2027/03/31 | 2027 年 12 月 31 日 | 正式發行版。 |
2.1-rocky8 | 2025/05/15 | 2022/12/12 | 2026 年 3 月 31 日 | 2026/12/31 | 正式發行版。 |
2.0-rocky8 | 2025/05/15 | 2022/02/18 | 2025/09/30 | 2026/07/31 | 正式發行版。 |
不支援的 Dataproc 映像檔版本
不支援下列 Dataproc 版本。Dataproc 對使用這些版本建立的叢集並不提供更新和支援。雖然您可以繼續執行使用不支援版本建立的叢集,但我們仍建議您改用使用支援版本建立的新叢集。
版本 | 包含 | 發行日期 | 上次更新日期 | 附註 |
---|---|---|---|---|
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
2023 年 4 月 28 日 | 自 2023 年 4 月 28 日起已不再支援。 1.5.89-debian10/-ubuntu18/-rocky8 是最終發布的版本。 |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Cloud Storage 連接器 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
2021/03/16 | 2022/02/01 | 自 2022 年 2 月 1 日起已不再支援。 2.0.30-centos8 為最終發布的版本。 |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/12/14 | 2022/02/01 | 自 2022 年 2 月 1 日起已不再支援。 1.5.56-centos8 為最終發布版本。 |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
2019 年 3 月 22 日 | 2022/02/01 | 自 2022 年 2 月 1 日起已不再支援。 1.4.80-debian10/-ubuntu18 是最後一個發布的版本。 |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018 年 6 月 29 日 | 2021 年 12 月 22 日 | 自 2021/08/01 起不支援。 1.3.95-debian10/-ubuntu18 是最終發布的版本,已解決 Log4j2 安全漏洞。注意:先前發布的版本存在安全漏洞,必須升級。 |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
2019 年 3 月 22 日 | 2020/07/10 | 自 2020/07/10 起不支援。 1.4.33-debian9 是最後發布的版本。 |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018 年 6 月 29 日 | 2020/07/10 | 自 2020/07/10 起不支援。 1.3.62-debian9 是最後發布的版本。 |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage 連接器 1.6.10-hadoop2 BigQuery 連接器 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2017/07/21 | 2020/07/10 | 自 2020/07/10 起不支援。 1.2.102-debian9 是最後發布的版本。 |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage 連接器 1.6.10-hadoop2 BigQuery 連接器 0.10.11-hadoop2 |
2016 年 8 月 8 日 | 2019/09/26 | 自 2019 年 10 月 1 日起已不再支援。 1.1.121-debian9 是最終發布的版本。 |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage 連接器 1.6.10-hadoop2 BigQuery 連接器 0.10.11-hadoop2 |
2016 年 2 月 22 日 | 2019/05/09 | 映像檔的第一個正式發行版。 自 2019/04/01 起不支援。 1.0.119-debian9 是最終發布的版本。 |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage 連接器 1.5.1-hadoop2 BigQuery 連接器 0.7.7-hadoop2 |
2015/11/18 | 2016/08/02 | 第二次發行的測試版映像檔。 |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Cloud Storage 連接器 1.5.1-hadoop2 BigQuery 連接器 0.7.7-hadoop2 |
2015/09/23 | 2016/08/02 | Dataproc 測試版。 Spark 1.5 已針對 Hive 1.2 進行編譯。 |