gpt4 book ai didi

hadoop - 什么是 sqoop 中的 --direct 模式?

转载 作者:可可西里 更新时间:2023-11-01 14:16:19 26 4
gpt4 key购买 nike

据我了解,sqoop 用于将表/数据从数据库导入或导出到 HDFS、Hive 或 HBASE。

我们可以直接导入单个表或表列表。内部 mapreduce 程序(我认为只有 map 任务)将运行。

我的疑问是什么是 sqoop direct 以及什么时候使用 sqoop direct 选项?

最佳答案

只需阅读 Sqoop 文档即可!

  • 一般原则位于here用于进口和there用于导出

Some databases can perform imports in a more high-performance fashion by using database-specific data movement tools (...)


Some databases provides a direct mode for exports as well (...)

Details about use of direct mode with each specific RDBMS, installation requirements, available options and limitations can be found in Section 25

底线:“直接模式”意味着不同数据库的不同事物
对于 MySQL 或 PostgreSQL,它涉及批量加载器/卸载器实用程序(即完全绕过 JDBC);而对于 Oracle,它与“直接路径插入”相关,即与 JDBC 相关,但处于非事务模式(因此您最好使用临时表,否则您可能会在 PK 和损坏的表中得到重复项) .

关于hadoop - 什么是 sqoop 中的 --direct 模式?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39150465/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com