cassandra - 使用 dsbulk 在 cassandra 中加载数据时出现问题

Question

我在使用 dsbulk 从 .csv 文件将数据加载到表中时遇到问题。我在错误日志中得到如下信息。

Caused by: com.datastax.driver.core.exceptions.OperationTimedOutException: [/10.0.126.13:9042] 等待服务器响应超时

这个环境就是我们的POC环境，3个节点，8个CPU，64G内存。根据我的观察，当我运行 dsbulk 命令时，它会耗尽服务器上的所有 CPU，并且内存消耗也会增加。

如果你能给我一些关于微调 dsbulk 的指针，通过它可以减少 cpu 使用/内存消耗。如果此操作变慢并且我获得可管理的性能，我可以接受。

Answer 1

您可以指定--executor.maxPerSecond 选项来限制每秒的操作数。查看documentation for DSBulk .

您也可以尝试调整 batching options ，比如 --batch.maxBatchStatements。

并且还建议从单独的机器上运行 DSBulk，以防止它影响 DSE 的性能。 (这是所有负载测试等的常见建议)