scala - 依靠 RDD 给出不同的结果

Question

我有一个超过 7500 万行的 RDD，当我对其调用 count 函数时，我每次都会得到不同的数字。我的理解是 count 应该给出确切的数字。

编辑

只是为了给出数据的概念，结构是这样的

Userid: 1  
Date: 8/15/2015  
Location: Building 1  
...  
Date 8/1/2015  
Location: Building 5  
...  

Userid: 2  
Date: 7/30/2015  
Location: Building 10 
...
Date: 6/1/2015  
Location: Building 3 
...

分区键:Userid
聚类键:Date ORDER BY DESC

星火版本:1.2.2
数据来自Cassandra
使用的API是Scala
Spark Cassandra 连接器版本 1.2.2
我刚刚从 Cassandra 读取数据并使用 map 获取了 Userid 和 Location。

Answer 1

我使用读取一致性级别 Local_One 并使用 Quorum 一致性解决了这个问题。根本问题是我们的一个节点的突变丢弃计数很高。