用于大数据集的 Java 贝叶斯推理框架

Question

请就 Java 贝叶斯推理框架提出建议:

1. Is open-source
2. Can be used programmatically from Java app.
3. Will be able to process 10 GB data-set running on a single host (node) 
4. NOT Mahout or any other Hadoop-based / distributed frameworks (see 3.)

Answer 1

您的数据大小不会成为限制因素，而是您要更新的模型的复杂性。如果它是一个简单的朴素贝叶斯模型，那么它很容易实现。如果你想要更复杂的东西，例如多连接网络，那么模型的复杂性将决定您是否可以进行精确推理，或者是否需要权衡取舍，例如近似算法。

Kevin Murphy 最近更新了贝叶斯推理软件的比较 http://www.cs.ubc.ca/~murphyk/Software/bnsoft.html .我正在探索的一个开源包是 libDAI ( http://cs.ru.nl/~jorism/libDAI/ )，它使用 C++，但我认为它可以从 Java 调用。它支持多种推理方法，包括loopy belief propagation，这似乎是一个很好的近似算法。