sqoop读取postgresql数据库表格导入到hdfs中的实现-6ren

sqoop读取postgresql数据库表格导入到hdfs中的实现

转载作者：qq735679552 更新时间：2022-09-27 22:32:09

29

4

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章sqoop读取postgresql数据库表格导入到hdfs中的实现由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

最近再学习spark streaming做实时计算这方面内容，过程中需要从后台数据库导出数据到hdfs中，经过调研发现需要使用sqoop进行操作，本次操作环境是Linux下.

首先确保环境安装了Hadoop和sqoop，安装只需要下载，解压以及配置环境变量，这里不多说了，网上教程很多.

1、配置sqoop以及验证是否成功。

切换到配置文件下：cd $SQOOP_HOME/conf 。

创建配置环境文件： cp sqoop-env-template.sh sqoop-env.sh 。

修改配置文件：conf/vi sqoop-env.sh:修改内容如下。

sqoop读取postgresql数据库表格导入到hdfs中的实现

配置完成后，执行命令sqoop-version ，检查是否成功，如图显示sqoop 1.4.7即成功.

sqoop读取postgresql数据库表格导入到hdfs中的实现

2、添加postgresql驱动jar包。

因为这里使用sqoop读取postgresql的数据，所以需要将数据库驱动包放到$SQOOP_HOME/lib 下即可 .

3、导入pg数据库中表到hdfs中。

1、首先要启动Hadoop集群，不然会报错。

执行语句 $HADOOP_HOME/sbin/./start-all.sh 。

2、执行sqoop语句进行数据导入到hdfs 。

 
    ? 
   
         sqoop import \ 
        
         --connect jdbc:postgresql:localhost:5432/test（数据库的名称） 
        
         --username postgres (填自己的数据库用户名) 
        
         --password 888888 （填自己数据库的密码） 
        
         --table company （自己创建表的名称） 
        
         --m 1 （mapreduce的个数）

执行结果如图:

sqoop读取postgresql数据库表格导入到hdfs中的实现

3、检查hdfs上是否成功存储到表数据。

$HADOOP_HOME/bin hdfs dfs -cat /sqoop/part-m-00000(数据目录改成自己的) 。

结果如图所示:

sqoop读取postgresql数据库表格导入到hdfs中的实现

显示使用sqoop 将 postgreql上的表格数据成功导入到hdfs中，这算今天也有点收获了！。

补充：利用Sqoop从PostgreSQL导入数据时遇到的坑。

 
    ? 
   
         sqoop import \ 
        
         --connect "jdbc:postgresql://10.101.70.169:5432/db_name" \ 
        
         --username "postgres" \ 
        
         --password "123456" \ 
        
         --table "test_user"\ 
        
         --target-dir "/user/hive/warehouse/test.db/test_user" \ 
        
         --fields-terminated-by '\t' \ 
        
         --lines-terminated-by '\n' \ 
        
         --hive-drop-import-delims \ 
        
         --incremental lastmodified \ 
        
         --merge-key id \ 
        
         --check-column update_time \ 
        
         --last-value "2019-03-25" \ 
        
         --m 1 \ 
        
         -- --schema "schema_name" \ 
        
         --null-string '\\N' \ 
        
         --null-non-string '\\N'

1、-- --schema 一定要放在后面，否则可能导致无运行日志或无法导入数据到指定目录且无法重新执行（报目录已存在）。

2、PostgreSQL 须设置SET standard_conforming_strings = on;，否则--null-string和--null-non-string不起作用；。

3、--null-string和--null-non-string放在-- --schema后面，否则执行时报Can't parse input data: '\N' 。

以上为个人经验，希望能给大家一个参考，也希望大家多多支持我。如有错误或未考虑完全的地方，望不吝赐教.

原文链接：https://blog.csdn.net/qq_38723455/article/details/107813149 。

最后此篇关于sqoop读取postgresql数据库表格导入到hdfs中的实现的文章就讲到这里了,如果你想了解更多关于sqoop读取postgresql数据库表格导入到hdfs中的实现的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

29

4

0

文章推荐：详解VMware虚拟机网络连接模式(NAT,Bridged,Host-only)

文章推荐：网站建设完成后还有哪些工作要做呢？

文章推荐：在Mac OS X安装Docker教程

文章推荐：建站经验之具体分析提高网站可用性的6大原则

sqoop - sqoop 导入时的部分和重复记录
当我们使用以下设置时，Sqoop 导入会导致重复/部分记录 --query - 自定义查询 --split-by - 非整数列(字符) --num-mappers - 超过 2 Verified th
apache - Sqoop - 无法找到或加载主类 org.apache.sqoop.Sqoop
我安装了 Hadoop、Hive、HBase、Sqoop 并将它们添加到 PATH 中。当我尝试执行 sqoop 命令时，出现此错误: Error: Could not find or load m
sqoop - Apache Sqoop 通信链路故障
当我连接到一个集群 ( aaaaaa1 ) 上的 mysql 和不同服务器 ( aaaaaa2 ) 上的 sqooop 时，我收到以下错误，尽管在 mySql 中创建了一个表，并授予另一个集群的完全权
sqoop - 使用 sqoop 列出列
我发现以下命令对于查看我的源数据库的样子非常有用: sqoop-list-databases sqoop-list-tables 但是，似乎没有列出表中列的命令，这将是一个合乎逻辑的步骤。我现在的问
Java - com.cloudera.sqoop 与 org.apache.sqoop 哪个要从 sqoop jar 导入？
我很困惑虽然导入库(com.cloudera.sqoop 和 org.apache.sqoop)并在 eclipse 中获取它(包含 jar sqoop-1.4.4-hadoop200.jar)- I
sqoop - Sqoop 中 $conditions 的意义
sqoop import命令中$conditions子句的意义是什么？ select col1, col2 from test_table where \$CONDITIONS 最佳答案 Sqoop
sqoop - Sqoop 中 $conditions 的意义
sqoop import命令中$conditions子句的意义是什么？ select col1, col2 from test_table where \$CONDITIONS 最佳答案 Sqoop
mysql - 错误 sqoop.Sqoop : Got exception running Sqoop: java. lang.RuntimeException : Could not load db driver class: com. mysql.jdbc.Driver
我正在使用共享节点集群 Hadoop 2.5.0-cdh5.3.2 请共享要加载的所有兼容版本的 MySql jar 文件的名称以及 HDFS 和 MySQL 之间成功导入和导出的所有路径文件夹。我
sqoop - 为什么我在 Azkaban 中的 Sqoop 任务在选择列后卡住了？
我在Azkaban中使用shell命令，并将Sqoop命令放在shell脚本中。今天 Sqoop 任务无缘无故卡住了，sqoop_task1。几天前发生在另一个 sqoop 任务上，我们称它为 s
java - 运行sqoop时找不到类异常:org/apache/sqoop/Sqoop
我已经在计算机上安装了sqoop (来自http://www.apache.org/dist/sqoop/1.4.4/的sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz)。当
sqoop - Apache Sqoop - 未找到 addtowar.sh
我刚刚下载了Sqoop安装文件sqoop-1.99.3-bin-hadoop100.tar.gz。我无法在其中找到文件 addtowar.sh。我按照此处的安装说明进行操作 - https://sqo
sqoop - 在 oozie 中捕获 sqoop 输出
我有一个 Oozie 工作流，它应该每 X 分钟运行一次。它从 HBase 表中读取一个值。在此之后，基于上一步从 HBase 读取的值运行(增量)Sqoop 操作。为了使工作流正常工作，我需要以某种
database - 我无法通过 sqoop 所有表在 sqoop 中导入数据
[cloudera@quickstart ~]$ **sqoop import-all-tables -m=4 --connect "jdbc:mysql://quickstart.cloudera:
mysql - 使用任何 sqoop 命令时出现 Sqoop 错误
我正在使用 hadoop 2.6.0，现在我正在尝试 sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar.gz。我正在使用 sqoop 版本 sqoop version 2
hadoop - 执行 sqoop 作业时覆盖多个 sqoop 属性
我发现在运行时覆盖 sqoop 作业属性时，我只能覆盖一个属性。例子1:如果我提交 sqoop job --exec test123 -- --query "select * from test w
hadoop - 如何使用 sqoop 作业自动化 sqoop 增量导入？
如何使用sqoop job自动化sqoop增量导入？据我所知，sqoop job 会记住最后一个值。如果我们创建一个类似的 sqoop 作业 sqoop job --create myjob --
mysql - 在 sqoop 导出中，对于长文本，Sqoop 将列设为空
我正在尝试使用 sqoop export 将记录从 S3 导出到 Mysql Aurora。 S3 中的数据类型之一是 clob，它的长文本和 XML 文件作为 string 存储在其中。当我运行我
hadoop - Sqoop-2 在使用 sqoop shell 进行自定义查询时无法对单个节点进行大量导入
我正在对由计算量大的自定义查询生成的大型记录集进行原型(prototype)迁移。此查询大约需要 1-2 小时才能在 SQL Developer 中返回结果集我正在尝试将此查询传递给一个简单的 Sq
hadoop - Apache Sqoop Where 子句在使用 SQOOP IMPORT 时不起作用
谁能告诉我这个命令的输出是什么:这里的 departments 表有默认的 6 行(从 dept_id 2 到 7)，然后我向 Mysql db 'retail_db.departments' 表(d
hadoop - Sqoop 2 提供了哪些 Sqoop 1 没有提供的内容？
根据 sqoop.apache.org 的说法，Sqoop 2 的功能并不完整，不应该用于生产系统。很公平，有些人可能想在他们的测试环境中测试 Sqoop 2 的新功能。 Cloudera 对 Sqo

首页

博学

6Ren·AI

商城

sqoop读取postgresql数据库表格导入到hdfs中的实现