gpt4 book ai didi

hadoop - 与 sqoop-import 相关的查询?

转载 作者:可可西里 更新时间:2023-11-01 15:07:27 26 4
gpt4 key购买 nike

场景:

我已将数据从 SQl Server 导入到 HDFS。 HDFS 目录中的数据存储在多个文件中为:

part-m-00000
part-m-00001
part-m-00002
part-m-00003

问题:

我的问题是,在从 HDFS 目录读取存储的数据时,我们必须读取所有文件 (part-m-00000,01,02,03) 或仅读取 part-m- 00000。因为当我读取那个数据的时候,我发现HDFS里面的数据有点少了。那么,是它发生了还是我错过了什么?

最佳答案

您需要读取所有文件,而不仅仅是 00000。存在多个文件的原因是 sqoop 以 map-reduce 方式工作,将“导入”工作拆分为多个部分。每个部分的输出都放在一个单独的文件中。

强化

关于hadoop - 与 sqoop-import 相关的查询?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8602282/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com