database - MonetDB 通过事件连接进行查询以后台最佳策略刷新数据

Question

我正在测试 MonetDB，并在我的笔记本电脑上查询数百万行时获得惊人的性能。

我希望在生产中处理数十亿，我需要尽可能频繁地更新数据，假设每 1 分钟或 5 分钟最坏的情况。只需更新现有记录或添加新记录，每天可以安排删除一次。

我已经看到我的测试更新有很好的性能，但我有点担心相同的操作超过四倍的三倍的数据。

关于 BULK 插入，在 5 秒内获得 100 万行，现在的性能也足够好。我没试过删除。

一切正常，除非您在更新数据的同时运行查询，在这种情况下，一切似乎都被卡住了很长很长很长一段时间。

那么，在后台更新 MonetDB 的最佳策略是什么？谢谢

Answer 1

您可以在具有相同架构的新表中执行每次加载，然后创建一个将它们联合在一起的 VIEW。查询将在 View 上运行，并且删除和重新创建该 View 非常快。

但是，最好时不时地将这些较小的表格中的一些合并在一起。例如，夜间作业可以将前一天的所有加载表合并到一个新表中(独立运行，没问题)，然后再次重新创建 View 。

或者，您可以首先使用 BINARY COPY INTO 来加快加载过程。