hadoop - 如何通过sqoop从sql server导入表到hdfs

Question

我已经安装了 hadoop、hive、sqoop。我将表从我的数据库导入到 hdfs 但无法将其导入配置单元。我需要在配置单元中配置任何文件吗？另外，当我浏览网页时，会显示 MySQL 的配置，但我使用的是驱动程序 jdbc:sqlserver。任何人都请帮助我，因为我已经坚持了很多天了。

Answer 1

jdbc:mysql 用于 mysql，它不适用于 sqlserver，我已经尝试使用它，但它给出了错误。我已经尝试了以下命令并且效果很好。

命令——导入

从数据库表复制数据到HDFS文件系统

在下面的示例中，我们的数据库和 hdfs 配置为:

• 服务器名称:- labDB
• 数据库名称:- 演示
• SQL 用户名:- sqoop
• SQL 密码:- simp1e
• 驱动类名称:- com.microsoft.sqlserver.jdbc.SQLServerDriver
• 表:- dbo.customers
• 目标目录:/tmp/dbo-customer(HDFS 文件夹名称)

语法:

  sqoop import --connect jdbc:sqlserver://sqlserver-name \
      --username <username> \
      --password <password> \
      --driver   <driver-manager-class> \
      --table    <table-name> \
      --target-dir  <target-folder-name>

示例:

  sqoop import --connect "jdbc:sqlserver://labDB;database=demo" \
       --username sqoop  \
       --password simp1e \
       --driver   com.microsoft.sqlserver.jdbc.SQLServerDriver \
       --table    "dbo.customer" \
       --target-dir  "/tmp/dbo-customer"

https://danieladeniji.wordpress.com/2013/05/06/hadoop-sqoop-importing-data-from-microsoft-sql-server/