hadoop - 行数Cassandra-> Hadoop输入不同

Question

我在2节点群集上有一个带有147.968行的ColumnFamily(显示“nodetool cfstats”)。

如果我执行我的Hadoop Job，他在“ map 输入记录”上仅显示90.174行？我的Hadoop CQL输入配置为:

ConfigHelper.setInputRpcPort(job.getConfiguration(), "9160");
ConfigHelper.setInputInitialAddress(job.getConfiguration(), "xxx.xxx.xxx.xxx");
ConfigHelper.setInputColumnFamily(job.getConfiguration(), KEYSPACE, "columnfamilyname");
ConfigHelper.setInputPartitioner(job.getConfiguration(), "Murmur3Partitioner");

还有其他配置吗？

Answer 1

您的输入/输出格式是什么？最好使用CqlPagingInputFormat。 FTY。 cql表行与列族行不同，因此，如果使用CqlPagingInputFormat，则应获得与从Cqlsh获得的行数相同的行数。