gpt4 book ai didi

apache-spark - 在 Cassandra 中使用 Spark 插入数据

转载 作者:行者123 更新时间:2023-12-04 08:28:19 25 4
gpt4 key购买 nike

我正在使用 spark 和 datastax spark 连接器在 Cassandra 中写入 12 亿行数据(两列)。我有两个 DC 设置,我将使用 local_quorum 编写。我在两个 DC 中都有 3 个副本。是否会因为其他 DC 引入延迟。插入数据时我还应该记住哪些其他事项。我已经在单个 DC 上进行了测试,结果令人满意。

最佳答案

无论如何,写入都会发送到其他 DC,但由于您使用的是 LOCAL_QUORUM,Spark 不会等待来自该 DC 中节点的确认,因此它不应该影响延迟。我唯一要监控的事情 - 如果另一个 DC 距离很远,和/或链接速度较慢,那么发生写入的节点可能会开始收集提示,如果发生这种情况,那么这可能会轻微影响性能,因为提示需要写入,然后在远程节点返回后重播。

关于apache-spark - 在 Cassandra 中使用 Spark 插入数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/65148351/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com