macos - Apache Spark 3.0 不同操作系统的网络驱动器

Question

我有一个 Apache Spark 3.0通过 SSH 在多节点集群上设置。
我正在使用一个所有节点都连接到的网络驱动器，但是 Mac OSX 上的文件目录不同比Ubuntu失败了。
例如，MAC OsX通过 /Volumes/<Drive> 访问网络驱动器Ubuntu通过 /run/user/1000/gvfs/<Drive> 访问网络驱动器
这样做的问题是，如果使用 Mac 作为主机并告诉它读取 network driver ，其他机器将无法访问它，即使它们都连接到它，因此它会在 Ubuntu 节点上出现故障并出错。有没有办法让我拥有相同的地址，以便所有机器都可以在 pyspark 中解释它.

Answer 1

只需在所有机器上创建指向相同位置的符号链接(symbolic link)并使用该符号链接(symbolic link)而不是实际位置。像这样的东西:

mkdir /some/location
OS_NAME=$(uname -s)
if [ "$OS_NAME" = "Darwin" ]; then
   ln -s /Volumes/<Drive> /some/location/drive
elif [ "$OS_NAME" = "Linux" ]; then
   ln -s /run/user/1000/gvfs/<Drive> /some/location/drive
else
   echo "Unsupported OS"
fi