python - 在 Python UDF 中访问外部文件

Question

我正在使用配置单元和 python udf。我定义了一个 sql 文件，我在其中添加了 python udf 并调用它。到目前为止一切顺利，我可以使用我的 python 函数处理我的查询结果。但是，此时，我必须在我的 python udf 中使用外部 .txt 文件。我将该文件上传到我的集群(与 .sql 和 .py 文件相同的目录)，我还使用以下命令将其添加到我的 .sql 文件中:

ADD FILE /home/ra/stopWords.txt;

当我在我的 python udf 中这样调用这个文件时:

file = open("/home/ra/stopWords.txt", "r")

我遇到了几个错误。我不知道如何添加嵌套文件并在配置单元中使用它们。

有什么想法吗？

Answer 1

所有添加的文件都位于UDF脚本的当前工作目录(./)。

如果您使用 ADD FILE/dir1/dir2/dir3/myfile.txt 添加单个文件，其路径将为

./myfile.txt

如果您使用 ADD FILE/dir1/dir2 添加一个目录，该文件的路径将为

./dir2/dir3/myfile.txt