java - 结合 Java、Python、PyTables 和 HDF5 的简单有效的解决方案

Question

我是 Python、PyTables 和 HDF5 的新手。我正在为我的问题寻找简单且最佳的解决方案。

接下来就是问题了。一方面，我有许多包含数据的 XML 文件。我只想解析这些文件并将数据放在另一侧的 hdf5 文件中。稍后，我将通过一些搜索条件使用此数据。为什么选择 HDF5？因为需要放置大型数据集并且因为速度。使用 RDBMS 会在 JOIN 操作期间产生性能问题。解决方案必须提供速度和良好的内存性能。

经过一番谷歌搜索后，我发现 Python 和 PyTables 是可能的解决方案。我的想法是用 Java 解析来自 XML 的数据(此代码必须用 Java 编写)，然后编写 python 脚本，使用 PyTables API 将数据插入 hdf5 并从 Java 执行 python 脚本。所以，我正在从 Java 程序编写和执行 python 脚本。为了在 Java 中编写 python 脚本，我使用 java.io.* 包并在 Java 中执行 Process 类。例如:

p.exec("cmd /c C:\MyScripts\myscript.py")

我不知道这个解决方案好不好。对我来说，使用 java.io.* 从 Java 编写脚本并不酷。以后我可能会遇到从脚本读取结果的问题(当我使用 Python 脚本和 PyTables API 制定一些搜索条件时)。

所以，我对我的问题几乎没有疑问。在一侧解析 XML 数据和在另一侧将数据存储在 hdf5 中的最佳解决方案是什么？我使用这个解决方案的方法是否正确(从 Java 代码编写和执行 python 脚本)？ Python 和 PyTables 怎么样？这些技术能很好地解决我的问题吗？我还阅读了一些关于 Jython 的文章，但我不知道是否可以将它与 PyTables 结合起来？

欢迎专业人士的意见和提示。感谢您的帮助。

Answer 1

For me is not cool writing scripts from Java using java.io.*.

这里相同——您已经将数据从 XML 解析为 Java 中的某种内部表示，然后您将这些数据重新写入 Python 脚本，然后 Python 解释器将数据重新解析为内部表示写入 HDF5 文件的表示。它将 Java XML 解析接口(interface)、XML 数据格式和用于操作 HDF5 文件的 Python API 耦合在一起，这听起来比应该有的移动部件更多。 (你真的想要打破 javac 只是为了更新一个重命名的 Python 包吗？)

我认为值得再倒退一步，看看问题的两个步骤:

• 解析 XML
• 编写HDF5

没有理由在这两种语言之间存在两种语言——我会完全坚持使用 Java 或完全坚持使用 Python。无论您选择哪种语言，最终结果都会在更多系统上以更少的内存运行得更快，并且更易于维护。