google-cloud-dataproc - 是否可以使用 Google Dataproc 上的初始化脚本将作业提交到集群？

Question

我在 1 个集群上使用 Dataproc 和 1 个作业。

我想在创建集群后立即开始我的工作。我发现实现此目的的最佳方法是使用如下初始化脚本提交作业。

function submit_job() {
  echo "Submitting job..."
  gcloud dataproc jobs submit pyspark ...
}
export -f submit_job

function check_running() {
  echo "checking..."
  gcloud dataproc clusters list --region='asia-northeast1' --filter='clusterName = {{ cluster_name }}' |
  tail -n 1 |
  while read name platform worker_count preemptive_worker_count status others
  do
    if [ "$status" = "RUNNING" ]; then
      return 0
    fi
  done
}
export -f check_running

function after_initialization() {
  local role
  role=$(/usr/share/google/get_metadata_value attributes/dataproc-role)
  if [[ "${role}" == 'Master' ]]; then
    echo "monitoring the cluster..."
    while true; do
      if check_running; then
        submit_job
        break
      fi
      sleep 5
    done
  fi
}
export -f after_initialization

echo "start monitoring..."
bash -c after_initialization & disown -h

这可能吗？当我在 Dataproc 上运行它时，没有提交作业...

谢谢!

Answer 1

考虑使用Dataproc Workflow ，它是为多步骤的工作流设计的，创建集群，提交作业，删除集群。它比init actions更好，因为它是Dataproc的一流特性，会有一个Dataproc job资源，你可以查看历史记录。