hadoop - 使用什么从 Spark 的 dynamodb 读取/写入？

Question

我想知道从 Spark 的 dynamodb 读/写什么是最好的。

我尝试过使用 dynamodb 的官方 API，也尝试过使用 emr 连接器(hadoop 和 hive)和其他连接器。

但我发现(除其他问题外)执行查询需要进行全面扫描，而这对于大表来说是无效的。

有什么建议吗？

Answer 1

您尝试使用 emr-dynamodb-connector 的过程通常是大多数人使用它的方式。

但是有一个library您可以使用它来连接到 DynamoDb。

通常从 spark 访问 DynamoDb 很困难，因为现在您已将 spark 执行程序与 DynamoDb throttle 联系在一起。您可以尝试的一种替代方法是使用 Hbase 或 cassandra，我发现它更好地支持 spark 使用，提供谓词下推等。

通常，我使用 spark 在集群上使用 DynamoDB 数据的方式是利用 DynamoDb 流。在 S3 中收集流数据并对该数据应用批处理。