bigdata - 将数百万个文档写入 Riak

Question

将大量文档添加到 riak 中的最佳方法是什么？假设有数百万条产品记录，这些记录经常更改(价格等)，并且我们希望非常频繁地更新所有这些记录。有没有比在 Riak 中一一替换 key 更好的方法？一次批量处理 1000 个文档...

Answer 1

不幸的是，Riak 中没有任何可用的批量操作，因此必须通过单独更新每个对象来完成。然而，如果您的更新大量到达，则可能值得重新审视您的数据模型。如果您可以对产品进行非规范化，也许可以通过将一系列产品存储在单个对象中，则可以通过对它们进行分组来减少需要执行的更新数量，从而减少集群上的负载。

在 Riak 中建模数据时，除了数据结构之外，您通常还需要查看访问和查询模式，并确保模型支持所有类型的查询和延迟要求。这通常意味着通过分组或复制数据来对模型进行反规范化，以确保更新和查询能够尽可能高效地执行，最好是通过直接 K/V 访问。