python - 无法从 GridFS 加载 joblib 序列化模型

Question

我可以将 sklearn 模型转储到 gridFS:

import gridfs
fs = gridfs.GridFS(db)
gridFS_file = fs.new_file()
joblib.dump(vectorizer, gridFS_file)

这有效，我可以看到存储在我的 Mongo 中的模型。

但我不能直接从 GridFS 读取:

from bson.objectid import ObjectId
new_file = fs.get(ObjectId("59df36ebe46a520014e0771d"))
vectorizer2 = joblib.load(new_file)

这需要永远，永远不会结束。但是，这有效(并且很快完成):

with open('vec.pkl', 'wb') as f:
    f.write(new_file.read())
    vectorizer3 = joblib.load("vec.pkl")

我错过了什么？

Answer 1

更好的解决方法是先将文件读取到变量，然后将其转换为流，如下所示:

joblib.load(io.BytesIO(new_file.read()))