java - 数据库连接: protocoling data for hundereds to million objects

Question

我正在运行经济模拟。数百或数千个代理=随着时间的推移，对象必须对数据进行协议(protocol)，数据始终具有相同的结构。它通常由许多 boolean 值、 float 和整数组成，可能是数组/列表(5 到 100 个不同的变量)。在模拟期间，数据库没有读取权限。模拟完成后数据将不再改变。对于每次模拟，我都会创建一个新的数据库。当前的编程语言是第一个项目的 java 和第二个项目的 python。 future 该项目也有可能在网络上运行。如果重要的话:对象通过 0mq 进行通信。我们正在使用 mySql 和 sqllight。

如何将数千个对象连接到数据库。最终结果应该全部存储在一个数据库中。

/目前我们通过 Zeromq 消息传递将数据发送到写入数据库的一个对象。

Answer 1

如果您使用 python(并且您可以以非 sql 格式存储数据)，我会推荐名为 ZODB 的对象数据库(由佐普)。本质上，您将创建一个字典(它可以包含您想要的任何数据类型)。我用它来进行我自己的研究，效果非常好。还有一个相当合理的学习曲线，这意味着您只需几天即可真正掌握它。

既然您提到在模拟过程中数据库“没有读取访问权限”，您可以使用 ZODB 作为独立工具。但是，如果您发现自己并行运行多个模拟(例如多线程或云计算)，则必须查看 ZEO (也由 zope)为了使其成为一个解决方案。

您的每个模拟不必是它自己的 ZODB 数据库，它可以是单个“模拟”数据库的单独键，其中每次运行的数据将整齐地嵌套在每个键下。您将能够说出类似以下内容: print Simulation['run99']['output'] 就像您说第 98 次运行模拟一样简单。