gpt4 book ai didi

hadoop - 使用命令行从HDFS到ADLS Gen 2的文件传输过程是否与到BLOB的传输过程相同?

转载 作者:行者123 更新时间:2023-12-02 19:54:53 27 4
gpt4 key购买 nike

在我的项目中,我们一直在Azure上使用BLOB。我们能够使用以下便捷方式将ORC文件上传到名为student_dept的现有BLOB容器中:
hdfs fs -copyFromLocal myfolder/student_remarks/*.orc wasbs://student_dept@universitygroup.blob.core.windows.net/DEPT/STUDENT_REMARKS
我们有一个Hive EXTERNAL表:在STUDENT_REMARKS BLOB上创建的student_dept。这样,我们可以使用Hive查询轻松地从云访问数据。

现在,我们正尝试从BLOB存储转移到ADLS Gen2以存储ORC文件,并且我正试图了解此更改将对我们的上载/数据检索过程产生的影响。

我完全不熟悉Azure,现在我想知道的是如何将ORC文件从HDFS上传到ADLS Gen2存储库?有什么不同?

将相同的命令用于不同的目标(ADLS G2而不是BLOB)是否起作用,还是需要做一些额外的操作才能将数据上传到ADLS G2?

有人可以帮我提供您的意见吗?

最佳答案

我没有尝试,但是根据像thisthis这样的文档,您可以对ADLS GEN2使用以下命令:

hdfs dfs -copyFromLocal myfolder/student_remarks/*.orc 
abfs://student_dept@universitygroup.dfs.core.windows.net/DEPT/STUDENT_REMARKS

关于hadoop - 使用命令行从HDFS到ADLS Gen 2的文件传输过程是否与到BLOB的传输过程相同?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58184221/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com