gpt4 book ai didi

hadoop - sqoop会删除所有现有的数据文件吗?

转载 作者:行者123 更新时间:2023-12-02 20:27:24 28 4
gpt4 key购买 nike

我使用以下命令通过 sqoop 将数据从RDBMS导入到HDFS:sqoop import --connect ... --table ... --hive-import --hive-table --m 20
因此,此命令将在hdfs的目录下创建20个文件。

如果以后决定导入另一数据并覆盖现有数据,则将使用以下命令:sqoop import --connect ... --table ... --hive-import --hive-overwrite --hive-table --m 10

sqoop 的行为是什么?

  • Sqoop将转到目录,然后删除所有之前的20个文件,并创建
    10个新的。
  • Sqool将删除20个文件中的所有数据,然后在10处写入新数据
    现有的20个随机文件。
  • 最佳答案

    Option 1

    Sqoop将只是 overwrite the existing 20 files with new 10 files

    有关更多信息,请引用thisthis链接。

    关于hadoop - sqoop会删除所有现有的数据文件吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55435876/

    28 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com