java - 将模型与数据预处理步骤集成

Question

这可能是一个愚蠢的想法，但如果我采取了错误的方法，请耐心等待并指导我。我正在开发一个机器学习项目，其模型将给出最终输出，ML 模型的输出将由另一个用 java 编写和维护的项目使用。

典型的REST调用流程如下:

<小时/>

1. 用户在 UI 上请求一些分类分数。
2. UI 系统调用 Java API。
3. Java API 从存储系统获取数据。
4. 然后，它对数据进行预处理，并将其呈现给完全用 Python 编写、开发和训练的训练模型。

问题:在制作 ML 模型时，我们用 Python 编写了预处理步骤，数据进入并进行预处理，然后开始模型训练。当这个模型被持久化到java可以使用它进行实时预测的位置后。

思考:是否可以将预处理步骤与模型打包为一个包。这样在java端就可以避免预处理？

我希望得到大家对此的意见，以便更好地处理这种情况。我不想在两个地方(Python 和 Java)编写和维护特征工程/预处理步骤。

请指导。

Answer 1

可以使用 TensorFlow for Java 将预处理步骤模型包装到一个包中这是一个可以补充python模型的机器学习模型。考虑到您已将 Java API 连接到 UI 和系统存储，无需重写它们，或者您可以重复使用，从而节省时间。

• 使用 Maven 项目构建您的项目

• 导入相关库，例如 Spring RESTful Webservice、Spring JPA Data、Spring Thymeleaf/Angular (UI) 和 ML 模型的 tensorflow 库

    <dependency>
       <groupId>org.tensorflow</groupId>
       <artifactId>tensorflow</artifactId>
       <version>1.12.0</version>
    </dependency>

我希望这对你有用。