gpt4 book ai didi

hadoop - Hadoop 的 DynamoDB 输入格式

转载 作者:可可西里 更新时间:2023-11-01 14:29:25 26 4
gpt4 key购买 nike

我必须使用 Hadoop map reduce 处理一些保存在 Amazon Dynamo DB 中的数据。

我在互联网上搜索 Dynamo DB 的 Hadoop InputFormat,但找不到。我不熟悉 Dynamo DB,所以我猜有一些与 DynamoDB 和 Hadoop 相关的技巧?如果有此输入格式的任何实现,您能否分享一下?

最佳答案

经过大量搜索后,我在亚马逊的一个库中找到了 DynamoDBInputFormat 和 DynamoDBOutputFormat。

在 amazon elastic map reduce 上有一个名为 hive-bigbird-handler 的库,它包含 dynamoDB 的输入和输出格式。完整的类名是:org.apache.hadoop.hive.dynamodb.write.DynamoDBOutputFormat 和 org.apache.hadoop.hive.dynamodb.read.DynamoDBInputFormat

我希望这些类(class)对社区有用。

关于hadoop - Hadoop 的 DynamoDB 输入格式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13020104/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com