gpt4 book ai didi

azure-table-storage - 如何在 Azure 表和 Azure 上的 Hadoop 之间传输数据

转载 作者:行者123 更新时间:2023-12-04 20:06:24 24 4
gpt4 key购买 nike

我想从 Azure 表导入数据,然后导出到 Azure 上的 Hadoop 集群。目前我正在将 Azure 表中的数据下载到 .csv 中,然后将 .csv 上传到 Hadoop 集群。我想知道有没有办法直接做。

谢谢,基兰

最佳答案

我已经编写了一个 HiveStorageHandler,它可以让您创建由 Azure 存储表支持的 Hive 表。它在 github 上可用:

https://github.com/simonellistonball/hive-azuretables

请注意,您还需要 Microsoft Azure SDK for Java在你的 hadoop 类路径中让它工作。最简单的方法可能是将它安装在中央位置,例如/usr/lib/hadoop/lib/。

如果你在我的 repo 上做一个 mvn 包,你应该得到一些你可以用配置单元 ADD JAR 加载的东西。 Readme该存储库的示例查询显示了如何创建连接到 Azure 的 Hive 表。

关于azure-table-storage - 如何在 Azure 表和 Azure 上的 Hadoop 之间传输数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15227487/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com