java - SBT:如何将类的实例打包为 JAR？

Question

我的代码基本上是这样的:

class FoodTrainer(images: S3Path) { // data is >100GB file living in S3
  def train(): FoodClassifier       // Very expensive - takes ~5 hours!
}

class FoodClassifier {          // Light-weight API class
  def isHotDog(input: Image): Boolean
}

我想在 JAR-assembly (sbt assembly) 时间，调用 val classifier = new FoodTrainer(s3Dir).train() 并发布具有classifier 实例立即可供下游库用户使用。

最简单的方法是什么？这方面有哪些既定范例？我知道在 ML 项目中发布训练有素的模型是一个相当常见的习惯用法，例如http://nlp.stanford.edu/software/stanford-corenlp-models-current.jar

如何使用 sbt assembly 执行此操作，而不必将大型模型类或数据文件 checkin 我的版本控制？

Answer 1

您应该将训练产生的数据序列化到它自己的文件中。然后，您可以将此数据文件打包到您的 JAR 中。您的生产代码会打开文件并读取它，而不是运行训练算法。