Google Cloud Dataproc 大数据集群配置指南 🚀

使用 Google Cloud Dataproc 可以轻松创建和管理 Hadoop 和 Spark 集群，用于大数据处理。下面是一些关键步骤和配置选项，帮助你快速上手！

1. 创建 Dataproc 集群 🛠️

可以通过 Google Cloud Console、gcloud CLI 或 Dataproc API 创建集群。以下是使用 gcloud CLI 的示例：

gcloud dataproc clusters create my-cluster \
    --region us-central1 \
    --image-version 2.0 \
    --master-machine-type n1-standard-2 \
    --worker-machine-type n1-standard-2 \
    --num-workers 2

参数说明：

• my-cluster: 集群名称
• us-central1: 区域
• 2.0: Dataproc 镜像版本（包含 Hadoop 和 Spark）
• n1-standard-2: Master 和 Worker 节点的机器类型
• 2: Worker 节点数量

可以根据实际需求调整这些参数。

2. 配置 Hadoop ⚙️

Dataproc 集群默认已配置 Hadoop。可以通过修改 Hadoop 配置文件（例如 core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml）来定制配置。

修改配置文件的步骤：

1. 使用 SSH 连接到 Master 节点。
2. 使用 sudo vim /etc/hadoop/conf/core-site.xml 等命令编辑配置文件。
3. 修改完成后，重启 Hadoop 服务或整个集群以使配置生效。

示例：修改 core-site.xml 添加自定义属性

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://my-cluster-m:8020</value>
    </property>
    <property>
        <name>my.custom.property</name>
        <value>my_custom_value</value>
    </property>
</configuration>

3. 配置 Spark 🔥

与 Hadoop 类似，可以通过修改 Spark 配置文件（例如 spark-defaults.conf）来定制 Spark 配置。

修改配置文件的步骤：

1. 使用 SSH 连接到 Master 节点。
2. 使用 sudo vim /etc/spark/conf/spark-defaults.conf 命令编辑配置文件。
3. 修改完成后，重启 Spark 服务或整个集群以使配置生效。

示例：修改 spark-defaults.conf 设置 Spark 内存

spark.driver.memory             4g
spark.executor.memory           4g
spark.executor.cores            2
spark.default.parallelism       8

4. 提交 Spark 和 Hadoop 作业 🚀

可以使用 spark-submit 命令提交 Spark 作业，使用 hadoop jar 命令提交 Hadoop MapReduce 作业。

示例：提交 Spark 作业

spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn --deploy-mode cluster \
    /usr/lib/spark/examples/jars/spark-examples.jar 10

示例：提交 Hadoop MapReduce 作业

hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 

5. 使用初始化操作 📦

可以使用初始化操作在集群创建时或创建后自动执行脚本，安装额外的软件或配置。

示例：安装 Python 包

gcloud dataproc clusters create my-cluster \
    --region us-central1 \
    --image-version 2.0 \
    --initialization-actions gs://my-bucket/install_packages.sh

其中 gs://my-bucket/install_packages.sh 是一个包含安装 Python 包命令的脚本。

6. 使用 Cloud Storage 连接器 ☁️

Dataproc 集群可以无缝访问 Google Cloud Storage (GCS)。可以使用 gs:// 前缀直接读取和写入 GCS 中的数据。

示例：使用 Spark 读取 GCS 数据

val data = spark.read.textFile("gs://my-bucket/my-data.txt")

7. 监控和日志 📈

可以使用 Cloud Monitoring 和 Cloud Logging 监控集群的性能和查看日志。

常用监控指标：

• CPU 使用率
• 内存使用率
• 磁盘使用率
• 网络流量
• YARN 资源使用情况

8. 集群伸缩 ↕️

可以根据负载动态调整集群的大小。Dataproc 支持自动伸缩，可以根据预定义的策略自动增加或减少 Worker 节点。

示例：配置自动伸缩

gcloud dataproc clusters update my-cluster \
    --enable-autoscaling \
    --autoscaling-policy my-autoscaling-policy

9. 删除集群 🗑️

完成作业后，删除集群以节省费用。可以使用 Google Cloud Console、gcloud CLI 或 Dataproc API 删除集群。

示例：使用 gcloud CLI 删除集群

gcloud dataproc clusters delete my-cluster --region us-central1

其他最佳实践💡

• 选择合适的机器类型和节点数量，以满足你的计算需求。
• 使用 Cloud Storage 作为持久化存储，避免数据丢失。
• 定期备份重要数据。
• 优化 Spark 和 Hadoop 作业，提高性能。
• 使用 Cloud IAM 控制对集群和数据的访问权限。

希望这些信息能帮助你更好地配置和使用 Google Cloud Dataproc！Good luck! 🎉