google-cloud-dataproc - 如何组合和测试 google dataproc --initialization-actions

Question

调试很慢。不清楚是否接受多个参数。文档字符串错误/不标准。

例如我们可以这样做:

--initialization-actions a b c

当它失败时，如何在几秒钟而不是几分钟内调试......即作为脚本没有完整的创建步骤？

Answer 1

可以指定多个 Initialization actions使用 comma-separated list :

gcloud dataproc clusters create ...\
    --initialization-actions=<init_action_1>,<init_action_2>,...,<init_action_n>

如果任何初始化操作失败，则 Dataproc 将返回带有初始化操作日志路径的错误，您可以使用该日志来调试失败。

如果您正在编写自己的初始化操作，您可以关注 best practices并添加 set -euxo pipefail the beginning上的声明您的初始化操作，以使其快速失败并在执行期间打印更多信息，这将在失败的情况下简化调试。