bash - 在集群范围的初始化脚本中从 dbfs 复制文件

Question

我想在 Azure Databricks 群集上尝试群集范围的初始化脚本。我正在努力查看哪些命令可用。

基本上，我在 dbfs 上有一个文件，希望在集群启动时将其复制到本地目录 /tmp/config。

所以我创建了一个非常简单的 bash 脚本:

#!/bin/bash
mkdir - p /tmp/config
databricks fs cp dbfs:/path/to/myFile.conf /tmp/config

启动集群失败，并显示“集群已终止。原因:初始化脚本失败”。查看 dbfs 上的日志，我看到错误

bash: line 1: databricks: command not found

好的，所以 databricks 作为命令不可用。这是我在本地 bash 上用于将文件从 dbfs 复制到 dbfs 的命令。

还有哪些其他命令可用于从 dbfs 复制文件？更一般地说:哪些命令实际上可用？

Answer 1

dbfs 已安装到集群，因此您只需将其复制到 shell 脚本中即可:

例如

cp /dbfs/your-folder/your-file.txt ./your-file-txt

如果您在/dbfs 位置执行 dir 操作，您将返回 dbfs 中的所有文件夹/数据。

您也可以先在笔记本中通过

进行测试

%sh
cd /dbfs
dir