java - 如何在 spark 上部署 tensorflow 模型仅进行推理

Question

我想部署一个大模型，例如伯特，因为我没有足够的 GPU，所以在 Spark 上做推理。现在我有两个问题。

我将模型导出为 pb 格式并使用 SavedModelBundle 接口(interface)加载模型。

SavedModelBundle bundle=SavedModelBundle.load("E:\\pb\\1561992264","serve");

但是，我找不到为 hdfs 文件系统路径加载 pb 模型的方法

spark 环境的 Glibc 版本与我训练模型的 tensorflow 版本不兼容。无论如何要绕过这个？

我不确定这是在 spark 上提供 tensorflow 模型的好方法。任何其他建议表示赞赏!

Answer 1

您可以使用 Elephas (https://github.com/maxpumperla/elephas)，它可以在 Spark 上实现 Keras 模型的分布式训练和推理。既然你提到它是一个 Tensorflow 模型，这可能需要一个转换(详细在这里:How can I convert a trained Tensorflow model to Keras?)，但是一旦它是一个 Keras 模型，它应该很简单:

from elephas.spark_model import SparkModel


model = ... # load Keras model
data = ... # load in the data you want to perform inference on
spark_model = SparkModel(model)
predictions = spark_model.predict(data) # perform distributed inference on Spark cluster or local cores, depending on how Spark session is configured