在Hadoop集群环境中为MySQL安装配置Sqoop的教程-6ren

在Hadoop集群环境中为MySQL安装配置Sqoop的教程

转载作者：qq735679552 更新时间：2022-09-29 22:32:09

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章在Hadoop集群环境中为MySQL安装配置Sqoop的教程由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中.

Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS.

1、安装sqoop 1、下载sqoop压缩包，并解压。

压缩包分别是：sqoop-1.2.0-CDH3B4.tar.gz，hadoop-0.20.2-CDH3B4.tar.gz， Mysql JDBC驱动包mysql-connector-java-5.1.10-bin.jar 。

 
    ? 
   
         [root@node1 ~] 
         # ll

 
    ? 
   
         drwxr-xr-x 15 root root  4096 Feb 22 2011 hadoop-0.20.2-CDH3B4 
        
         -rw-r--r-- 1 root root 724225 Sep 15 06:46 mysql-connector-java-5.1.10-bin.jar 
        
         drwxr-xr-x 11 root root  4096 Feb 22 2011 sqoop-1.2.0-CDH3B4

2、将sqoop-1.2.0-CDH3B4拷贝到/home/hadoop目录下，并将Mysql JDBC驱动包和hadoop-0.20.2-CDH3B4下的hadoop-core-0.20.2-CDH3B4.jar至sqoop-1.2.0-CDH3B4/lib下，最后修改一下属主.

 
    ? 
   
         [root@node1 ~] 
         # cp mysql-connector-java-5.1.10-bin.jar sqoop-1.2.0-CDH3B4/lib 
        
         [root@node1 ~] 
         # cp hadoop-0.20.2-CDH3B4/hadoop-core-0.20.2-CDH3B4.jar sqoop-1.2.0-CDH3B4/lib 
        
         [root@node1 ~] 
         # chown -R hadoop:hadoop sqoop-1.2.0-CDH3B4 
        
         [root@node1 ~] 
         # mv sqoop-1.2.0-CDH3B4 /home/hadoop 
        
         [root@node1 ~] 
         # ll /home/hadoop

 
    ? 
   
         total 35748 
        
         -rw-rw-r-- 1 hadoop hadoop  343 Sep 15 05:13 derby.log 
        
         drwxr-xr-x 13 hadoop hadoop  4096 Sep 14 16:16 hadoop-0.20.2 
        
         drwxr-xr-x 9 hadoop hadoop  4096 Sep 14 20:21 hive-0.10.0 
        
         -rw-r--r-- 1 hadoop hadoop 36524032 Sep 14 20:20 hive-0.10.0.tar.gz 
        
         drwxr-xr-x 8 hadoop hadoop  4096 Sep 25 2012 jdk1.7 
        
         drwxr-xr-x 12 hadoop hadoop  4096 Sep 15 00:25 mahout-distribution-0.7 
        
         drwxrwxr-x 5 hadoop hadoop  4096 Sep 15 05:13 metastore_db 
        
         -rw-rw-r-- 1 hadoop hadoop  406 Sep 14 16:02 scp.sh 
        
         drwxr-xr-x 11 hadoop hadoop  4096 Feb 22 2011 sqoop-1.2.0-CDH3B4 
        
         drwxrwxr-x 3 hadoop hadoop  4096 Sep 14 16:17 temp 
        
         drwxrwxr-x 3 hadoop hadoop  4096 Sep 14 15:59 user

3、配置configure-sqoop，注释掉对于HBase和ZooKeeper的检查。

 
    ? 
   
         [root@node1 bin] 
         # pwd

 
    ? 
   
         /home/hadoop/sqoop-1.2.0-CDH3B4/bin

 
    ? 
   
         [root@node1 bin] 
         # vi configure-sqoop

 
    ? 
   
         #!/bin/bash 
        
         # 
        
         # Licensed to Cloudera, Inc. under one or more 
        
         # contributor license agreements. See the NOTICE file distributed with 
        
         # this work for additional information regarding copyright ownership. 
        
         . 
        
         . 
        
         . 
        
         # Check: If we can't find our dependencies, give up here. 
        
         if [ ! -d "${HADOOP_HOME}" ]; then 
        
         echo "Error: $HADOOP_HOME does not exist!" 
        
         echo 'Please set $HADOOP_HOME to the root of your Hadoop installation.' 
        
         exit 1 
        
         fi 
        
         #if [ ! -d "${HBASE_HOME}" ]; then 
        
         # echo "Error: $HBASE_HOME does not exist!" 
        
         # echo 'Please set $HBASE_HOME to the root of your HBase installation.' 
        
         # exit 1 
        
         #fi 
        
         #if [ ! -d "${ZOOKEEPER_HOME}" ]; then 
        
         # echo "Error: $ZOOKEEPER_HOME does not exist!" 
        
         # echo 'Please set $ZOOKEEPER_HOME to the root of your ZooKeeper installation.' 
        
         # exit 1 
        
         #fi

4、修改/etc/profile和.bash_profile文件，添加Hadoop_Home,调整PATH 。

 
    ? 
   
         [hadoop@node1 ~]$  
         vi 
         .bash_profile

 
    ? 
   
         # .bash_profile 
        
         # Get the aliases and functions 
        
         if [ -f ~/.bashrc ]; then 
        
         . ~/.bashrc 
        
         fi 
        
         # User specific environment and startup programs 
        
         HADOOP_HOME=/home/hadoop/hadoop-0.20.2 
        
         PATH=$HADOOP_HOME/bin:$PATH:$HOME/bin 
        
         export HIVE_HOME=/home/hadoop/hive-0.10.0 
        
         export MAHOUT_HOME=/home/hadoop/mahout-distribution-0.7 
        
         export PATH HADOOP_HOME

2、测试Sqoop 。

1、查看mysql中的数据库:

 
    ? 
   
         [hadoop@node1 bin]$ . 
         /sqoop 
         list-databases --connect jdbc:mysql: 
         //192 
         .168.1.152:3306/ --username sqoop --password sqoop

 
    ? 
   
         13/09/15 07:17:16 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead. 
        
         13/09/15 07:17:17 INFO manager.MySQLManager: Executing SQL statement: SHOW DATABASES 
        
         information_schema 
        
         mysql 
        
         performance_schema 
        
         sqoop 
        
         test

2、将mysql的表导入到hive中:

 
    ? 
   
         [hadoop@node1 bin]$ . 
         /sqoop 
         import 
         --connect jdbc:mysql: 
         //192 
         .168.1.152:3306 
         /sqoop 
         --username sqoop --password sqoop --table  
         test 
         --hive- 
         import 
         -m 1

 
    ? 
   
         13/09/15 08:15:01 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead. 
        
         13/09/15 08:15:01 INFO tool.BaseSqoopTool: Using Hive-specific delimiters for output. You can override 
        
         13/09/15 08:15:01 INFO tool.BaseSqoopTool: delimiters with --fields-terminated-by, etc. 
        
         13/09/15 08:15:01 INFO tool.CodeGenTool: Beginning code generation 
        
         13/09/15 08:15:01 INFO manager.MySQLManager: Executing SQL statement: SELECT t.* FROM `test` AS t LIMIT 1 
        
         13/09/15 08:15:02 INFO manager.MySQLManager: Executing SQL statement: SELECT t.* FROM `test` AS t LIMIT 1 
        
         13/09/15 08:15:02 INFO orm.CompilationManager: HADOOP_HOME is /home/hadoop/hadoop-0.20.2/bin/.. 
        
         13/09/15 08:15:02 INFO orm.CompilationManager: Found hadoop core jar at: /home/hadoop/hadoop-0.20.2/bin/../hadoop-0.20.2-core.jar 
        
         13/09/15 08:15:03 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-hadoop/compile/a71936fd2bb45ea6757df22751a320e3/test.jar 
        
         13/09/15 08:15:03 WARN manager.MySQLManager: It looks like you are importing from mysql. 
        
         13/09/15 08:15:03 WARN manager.MySQLManager: This transfer can be faster! Use the --direct 
        
         13/09/15 08:15:03 WARN manager.MySQLManager: option to exercise a MySQL-specific fast path. 
        
         13/09/15 08:15:03 INFO manager.MySQLManager: Setting zero DATETIME behavior to convertToNull (mysql) 
        
         13/09/15 08:15:03 INFO mapreduce.ImportJobBase: Beginning import of test 
        
         13/09/15 08:15:04 INFO manager.MySQLManager: Executing SQL statement: SELECT t.* FROM `test` AS t LIMIT 1 
        
         13/09/15 08:15:05 INFO mapred.JobClient: Running job: job_201309150505_0009 
        
         13/09/15 08:15:06 INFO mapred.JobClient: map 0% reduce 0% 
        
         13/09/15 08:15:34 INFO mapred.JobClient: map 100% reduce 0% 
        
         13/09/15 08:15:36 INFO mapred.JobClient: Job complete: job_201309150505_0009 
        
         13/09/15 08:15:36 INFO mapred.JobClient: Counters: 5 
        
         13/09/15 08:15:36 INFO mapred.JobClient: Job Counters  
        
         13/09/15 08:15:36 INFO mapred.JobClient:  Launched map tasks=1 
        
         13/09/15 08:15:36 INFO mapred.JobClient: FileSystemCounters 
        
         13/09/15 08:15:36 INFO mapred.JobClient:  HDFS_BYTES_WRITTEN=583323 
        
         13/09/15 08:15:36 INFO mapred.JobClient: Map-Reduce Framework 
        
         13/09/15 08:15:36 INFO mapred.JobClient:  Map input records=65536 
        
         13/09/15 08:15:36 INFO mapred.JobClient:  Spilled Records=0 
        
         13/09/15 08:15:36 INFO mapred.JobClient:  Map output records=65536 
        
         13/09/15 08:15:36 INFO mapreduce.ImportJobBase: Transferred 569.6514 KB in 32.0312 seconds (17.7842 KB/sec) 
        
         13/09/15 08:15:36 INFO mapreduce.ImportJobBase: Retrieved 65536 records. 
        
         13/09/15 08:15:36 INFO hive.HiveImport: Removing temporary files from import process: test/_logs 
        
         13/09/15 08:15:36 INFO hive.HiveImport: Loading uploaded data into Hive 
        
         13/09/15 08:15:36 INFO manager.MySQLManager: Executing SQL statement: SELECT t.* FROM `test` AS t LIMIT 1 
        
         13/09/15 08:15:36 INFO manager.MySQLManager: Executing SQL statement: SELECT t.* FROM `test` AS t LIMIT 1 
        
         13/09/15 08:15:41 INFO hive.HiveImport: Logging initialized using configuration in jar:file:/home/hadoop/hive-0.10.0/lib/hive-common-0.10.0.jar!/hive-log4j.properties 
        
         13/09/15 08:15:41 INFO hive.HiveImport: Hive history file=/tmp/hadoop/hive_job_log_hadoop_201309150815_1877092059.txt 
        
         13/09/15 08:16:10 INFO hive.HiveImport: OK 
        
         13/09/15 08:16:10 INFO hive.HiveImport: Time taken: 28.791 seconds 
        
         13/09/15 08:16:11 INFO hive.HiveImport: Loading data to table default.test 
        
         13/09/15 08:16:12 INFO hive.HiveImport: Table default.test stats: [num_partitions: 0, num_files: 1, num_rows: 0, total_size: 583323, raw_data_size: 0] 
        
         13/09/15 08:16:12 INFO hive.HiveImport: OK 
        
         13/09/15 08:16:12 INFO hive.HiveImport: Time taken: 1.704 seconds 
        
         13/09/15 08:16:12 INFO hive.HiveImport: Hive import complete.

3、Sqoop 命令。

Sqoop大约有13种命令,和几种通用的参数(都支持这13种命令)，这里先列出这13种命令。接着列出Sqoop的各种通用参数,然后针对以上13个命令列出他们自己的参数。Sqoop通用参数又分Common arguments,Incremental import arguments,Output line formatting arguments,Input parsing arguments,Hive arguments,HBase arguments,Generic Hadoop command-line arguments,下面说明一下几个常用的命令: 1.Common arguments 通用参数,主要是针对关系型数据库链接的一些参数 1）列出mysql数据库中的所有数据库。

 
    ? 
   
         sqoop list-databases –connect jdbc:mysql: 
         //localhost 
         :3306/ –username root –password 123456

2)连接mysql并列出test数据库中的表。

 
    ? 
   
         sqoop list-tables –connect jdbc:mysql: 
         //localhost 
         :3306 
         /test 
         –username root –password 123456

命令中的test为mysql数据库中的test数据库名称 username password分别为mysql数据库的用户密码。

3)将关系型数据的表结构复制到hive中,只是复制表的结构，表中的内容没有复制过去.

 
    ? 
   
         sqoop create-hive-table –connect jdbc:mysql: 
         //localhost 
         :3306 
         /test 
        
         –table sqoop_test –username root –password 123456 –hive-table 
        
         test

其中 –table sqoop_test为mysql中的数据库test中的表 –hive-table test 为hive中新建的表名称。

4)从关系数据库导入文件到hive中。

 
    ? 
   
         sqoop  
         import 
         –connect jdbc:mysql: 
         //localhost 
         :3306 
         /zxtest 
         –username 
        
         root –password 123456 –table sqoop_test –hive- 
         import 
         –hive-table 
        
         s_test -m 1

5)将hive中的表数据导入到mysql中,在进行导入之前，mysql中的表 hive_test必须已经提起创建好了.

 
    ? 
   
         sqoop  
         export 
         –connect jdbc:mysql: 
         //localhost 
         :3306 
         /zxtest 
         –username 
        
         root –password root –table hive_test – 
         export 
         - 
         dir 
        
         /user/hive/warehouse/new_test_partition/dt 
         =2012-03-05

6）从数据库导出表的数据到HDFS上文件。

 
    ? 
   
         . 
         /sqoop 
         import 
         –connect 
        
         jdbc:mysql: 
         //10 
         .28.168.109:3306 
         /compression 
         –username=hadoop 
        
         –password=123456 –table HADOOP_USER_INFO -m 1 –target- 
         dir 
        
         /user/test

7）从数据库增量导入表数据到hdfs中。

 
    ? 
   
         . 
         /sqoop 
         import 
         –connect jdbc:mysql: 
         //10 
         .28.168.109:3306 
         /compression 
        
         –username=hadoop –password=123456 –table HADOOP_USER_INFO -m 1 
        
         –target- 
         dir 
         /user/test 
         –check-column  
         id 
         –incremental append 
        
         –last-value 3

最后此篇关于在Hadoop集群环境中为MySQL安装配置Sqoop的教程的文章就讲到这里了,如果你想了解更多关于在Hadoop集群环境中为MySQL安装配置Sqoop的教程的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

文章推荐：前高管：苹果第一代眼镜产品更可能是 VR 设备，而非 AR

文章推荐：详解Python开发中如何使用Hook技巧

文章推荐： python利用标准库如何获取本地IP示例详解

文章推荐：你眼中的Python大牛应该都有这份书单

mysql - 只有 Mysql OR mysql+sqlite OR mysql+自己的解决方案
目前我正在构建相当大的网络系统，我需要强大的 SQL 数据库解决方案。我选择 Mysql 而不是 Postgres，因为一些任务需要只读(MyISAM 引擎)而其他任务需要大量写入(InnoDB)。
mysql - Linux/mysql 将 mysql 表输出写入文件并保持 mysql 格式。
我在 mysql 中使用如下命令。当它显示表格数据时，它被格式化为一个非常干净的表格，间距均匀且 |作为列分隔符。 SELECT * FROM TABLE_NAME; 当我从 CLI 运行命令时，如下
mysql - 无法从终端加载 mysql 但可以使用系统首选项启动 mysql
我知道这个问题之前已经被问过好几次了，我已经解决了很多问题，但到目前为止没有任何效果。 MySQL 试图将自身安装到的目录 (usr/local/mysql) 肯定有问题。关于我的错误的奇怪之处在于我
mysql - 在 mysql 数据查询上获取不需要的输出 mysql
以下是我的 SQL 数据结构，我正在尝试如下两个查询: Select Wrk_ID, Wrk_LastName, Skill_Desc from Worker, Skill where
mysql - 将本地 mysql 服务器复制到基于云的 mysql
我们有一个本地 mysql 服务器(不在公共(public)域上)，并希望将该服务器复制到我们拥有的 google 云 sql 实例。我的问题是:1.这可能吗？2.我们的本地服务器只能在本地网络上访问
mysql - MySQL 触发器上 MySQL 变量的算术运算
我有一个表(test_table)，其中一些字段值(例如字段 A、B 和 C)是从外部应用程序插入的，还有一个字段(字段 D)，我想从现有表(store_table)插入其值，但在插入前者(A、B 和
mysql - 无法在创建 MySQL 服务器的同一计划中使用 mysql
我想创建一个 AWS RDS 实例，然后使用 terraform 管理数据库用户。因此，首先，我创建了一个 RDS 实例，然后使用创建的 RDS 实例初始化 mysql 提供程序，以进一步将其用于用户
mysql - MySql 用户数量对 MySql 性能影响大吗？
当用户在我的网站上注册时，他们会在我的一个数据库中创建自己的表格。该表存储用户发布的所有帖子。我还想做的是也为他们生成自己的 MySql 用户——该用户仅有权从他们的表中读取、写入和删除。创建它应该
mysql - mysql 表中的下和子类别(coldfusion，mysql)
我有一个关于 ColdFusion 和 Mysql 的问题。我有两个表:PRODUCT 和 PRODUCT_CAT。我想列出包含一些标记为:IS_EXTRANET=1 的特殊产品的类别。所以我写了这个
mysql - 如何使用 MYSQL 运算符选择列所有值都必须可用 - MYSQL
我想获取 recipes_id 列的值，以获取包含 ingredient_id 的 2,17 和 26 条目的值。假设 ingredient_id 2 丢失则不获取记录。我已经尝试过 IN 运算符
mysql - MySQL 服务器和 MySQL 客户端有什么区别
在 Ubuntu 中，我通常安装两者，但 MySQL 的客户端和服务器之间有什么区别。作为奖励，当一个新语句提到它需要 MySQL 5.x 时，它是指客户端、服务器还是两者兼而有之。例如这个链接ht
mysql - mysql - 如何在没有触发器和手动插入的情况下在插入时生成/自动增加 guid mysql？
我重新访问了我的数据库并注意到我有一些 INT 类型的主键。这还不够独特，所以我想我会有一个指导。我来自微软 sql 背景，在 ssms 中你可以选择类型为“uniqeidentifier”并自
mysql - Oracle MySQL 与 MySQL 相同吗？
我的系统上有 MySQL，我正在尝试确定它是 Oracle MySQL 还是 MySQL。 Oracle MySQL 有区别吗: http://www.oracle.com/us/products/m
mysql - 本地 mysql 服务器和生产 mysql 服务器之间的显着性能差异
我是在生产 MySQL 中运行的应用程序的新维护者。之前的维护者已经离开，留下的文档很少，而且联系不上了。我面临的问题是执行以下请求大约需要 10 秒: SELECT COUNT(*) FROM `
mysql - 如何自动将数据从一个 MySQL 数据库传输到另一个 MySQL 数据库？
我有两个位于不同机器上的 MySQL 数据库。我想自动将数据从一台服务器传输到另一台服务器。比方说，我希望每天早上 4:00 进行数据传输。可以吗？是否有任何 MySQL 内置功能可以让我们做到这一
mysql - 从 mysql 目录外的 mysql 表查询？
有什么方法可以使用 jdbc 查询位于 mysql 根目录之外的目录中的 mysql 表，还是必须将它们移动到 mysql 根目录内的数据库文件夹中？我在 Google 上搜索时没有找到任何东西。最
mysql - 使用另一个 mysql 表的值更新 Mysql 表
我在 mysql 数据库中有两个表。成员和 ClassNumbers。两个表都有一个付费年份字段，都有一个代码字段。我想用代码数字表中的值更新成员表中的付费年份，其中成员中的代码与 ClassNumb
mysql - 是否可以将本地 MySQL 数据库复制到远程 MySQL 数据库？
情况:我有 2 台服务器，其中一台当前托管一个实时 WordPress 站点，我希望能够将该站点转移到另一台服务器，以防第一台服务器出现故障。传输源文件很容易；传输数据库是我需要弄清楚如何做的。两台服
mysql - 使用 mysql 查询复制 mysql 数据库
Phpmyadmin 有一个功能是“复制数据库到”..有没有mysql查询来写这个函数？类似于将 db A 复制到新的 db B。最佳答案首先创建复制数据库: CREATE DATABASE du
mysql - 当 mySQL 已安装并由另一个应用程序配置时，为新应用程序配置 mySQL
我有一个使用 mySQL 作为后端的库存软件。我已经在我的计算机上对其进行了测试，并且运行良好。当我在计算机上安装我的软件时，我必须执行以下步骤: 安装 mySQL 服务器将用户名指定为“root

qq735679552

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

在Hadoop集群环境中为MySQL安装配置Sqoop的教程