c++ - VoltDB 通过在一次调用中执行多个插入，C++ API

Question

我目前有一个模型，其中需要在同一张表上完成大量插入(而不是在启动时)。目前我准备在 C++ 代码中设置插入值，然后单独调用插入存储过程。

例如

INSERT ... VALUES ('1','2')
INSERT ... VALUES ('3','4')
INSERT ... VALUES ('5','6')

我想知道是否有可能(使用 VoltDB 和 C++ 客户端):

1) 批量插入例如

INSERT ... VALUES ('1','2'), ('3','4'), ('5','6')

或

2) 将包含自定义定界符的数组或字符串传递到存储过程中，然后在内部对其进行解析并在存储过程本身中调用各个插入。

INSERT ... VALUES ('1,2|3,4|5,6') or similar

然后在过程中拆分字符串。

如果可能的话，您能否为我指出一个示例或有助于实现的 C++ API 语法？ (例如，在存储过程中循环，以解析字符串和/或字符串操作函数等)

我想尝试这些选项之一，以测试相对性能。尽管我读到单个插入应该足够快，但我认为这可能会因用例而异。

Answer 1

如果您调用表的默认插入过程，则单个插入会更快，例如“TABLENAME.insert”，它采用与 INSERT ... VALUES 相同的值，但绕过 AdHoc SQL 解析器并更直接地路由到分区。这将为您提供最好的性能，即为每一行使用单独的过程调用来插入记录。

在 java 客户端上，有一个 API 可以方便地批量加载表。这里有一个示例教程:https://github.com/VoltDB/voltdb/tree/master/examples/HOWTOs/bulkloader

如果数据存在于 CSV 或带分隔符的文件中，您可以利用 csvloader 应用程序，它使用相同的 bulkloader API。

C++ 客户端没有 bulkloader API 的实现，所以虽然这并非不可能，但会困难得多。

VoltDB 不支持 INSERT ... VALUES ('1','2'),('3','4'),... 形式的批量插入。

您描述的另一种方法是可行的。您可以编写一个将 VoltTable 作为输入参数的 Java 存储过程，并从 C++ 客户端构建一个 Table 对象，该对象对应于 Java 中的 VoltTable。或者，您可以传入值数组。但是，VoltTable 或数组都不能作为过程的分区键参数。因此，如果您正在尝试做一些大规模的事情，您可能希望分区键有一个单独的参数值，并且您需要发送一组都属于同一分区的记录。这可能很难做到。最简单的方法是编写自己的简单哈希函数。当您生成或接收新记录时，您可以使用您的函数对它们进行哈希处理并将它们分组到存储桶中，然后将这些记录集批量发送到数据库，并将哈希值作为分区键。但是您必须在表中包含一个用于此散列值的列。因此，具有相同散列值的记录将属于同一分区。

披露:我在 VoltDB 工作。