r - 有没有办法在 sparkR 中加载 .RData 或 .model 文件(使用数据 block )？

Question

我在 databricks 环境中使用 sparkR，我正在尝试加载使用 RStudio 创建的 XGB 模型。

我将模型保存为 .RData 和 .model(使用 xgb.save)类型(只是为了增加完成这项工作的机会)，然后将这两个文件上传到 DBFS 中的文件夹(数据 block )。

现在，我想使用数据 block 加载模型，以便将其应用于新数据，但我总是收到相同的错误消息。这是代码和错误:

%r
# Trying to load the .RData file
load(file='/FileStore/tables/folder/xgb_model.RData')

readChar(con, 5L, useBytes = TRUE) 错误:无法打开连接 readChar(con, 5L, useBytes = TRUE) 错误:无法打开连接readChar(con, 5L, useBytes = TRUE) 错误:无法打开连接

%r
# Trying to load the .model file
xgb.load("/FileStore/tables/folder/xgb_model.model")

xgb.Booster.handle(modelfile = modelfile) 错误:xgb.Booster.handle(modelfile = modelfile) 错误:[23:34:59] amalgamation/../dmlc-core/src/io/local_filesys.cc:209: 检查失败: allow_null: LocalFileSystem::Open "/FileStore/tables/folder/xgb_model.model": 没有这样的文件或目录

这可能吗？

Answer 1

FileStore 是一个 special folder that is located on DBFS ，因此要访问此数据，R 代码需要了解 DBFS。但在你的情况下，它只能处理本地文件，这就是它失败的原因。要使其将 FileStore 中的文件作为本地文件使用，您需要在文件名前加上 /dbfs/，例如 /dbfs/FileStore/tables/folder/xgb_model.model(请注意，它可能不适用于 7.x 运行时的社区版)