个人中心
文章发布
退出
作者热门文章
- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库？
- java - OnItemClickListener 不起作用，但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
24
4
我有一个本地 Hadoop 集群，想将数据加载到 Amazon Redshift。考虑到成本，Informatica/Talend 不是一个选择，那么我们可以利用 Sqoop 直接将表从 Hive 导出到 Redshift 吗？ Sqoop 是否连接到 Redshift？
最佳答案
将数据加载到 Amazon Redshift 中的最有效的方法是将数据放入 Amazon S3，然后在 Redshift 中发出 COPY 命令。这会在所有 Redshift 节点上执行并行数据加载。
虽然 Sqoop 可以使用传统的 INSERT SQL 命令将数据插入 Redshift，但这并不是将数据插入 Redshift 的好方法。
首选方法是:
COPY 命令通过将数据以 CSV 格式复制到 Hive 外部表，您应该能够将数据导出到 S3。
或者，Redshift 可以从 HDFS 加载数据。它需要一些额外的设置来授予 Redshift 对 EMR 集群的访问权限。请参阅 Redshift 文档:Loading Data from Amazon EMR
关于amazon-web-services - 我们可以使用 sqoop 将数据从 Hadoop (Hive) 导出到 Amazon Redshift，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/39652301/
24
4
0
当我们使用以下设置时，Sqoop 导入会导致重复/部分记录 --query - 自定义查询 --split-by - 非整数列(字符) --num-mappers - 超过 2 Verified th
我安装了 Hadoop、Hive、HBase、Sqoop 并将它们添加到 PATH 中。 当我尝试执行 sqoop 命令时，出现此错误: Error: Could not find or load m
当我连接到一个集群 ( aaaaaa1 ) 上的 mysql 和不同服务器 ( aaaaaa2 ) 上的 sqooop 时，我收到以下错误，尽管在 mySql 中创建了一个表，并授予另一个集群的完全权
我发现以下命令对于查看我的源数据库的样子非常有用: sqoop-list-databases sqoop-list-tables 但是，似乎没有列出表中列的命令，这将是一个合乎逻辑的步骤。 我现在的问
我很困惑虽然导入库(com.cloudera.sqoop 和 org.apache.sqoop)并在 eclipse 中获取它(包含 jar sqoop-1.4.4-hadoop200.jar)- I
sqoop import命令中$conditions子句的意义是什么？ select col1, col2 from test_table where \$CONDITIONS 最佳答案 Sqoop
sqoop import命令中$conditions子句的意义是什么？ select col1, col2 from test_table where \$CONDITIONS 最佳答案 Sqoop
我正在使用共享节点集群 Hadoop 2.5.0-cdh5.3.2 请共享要加载的所有兼容版本的 MySql jar 文件的名称以及 HDFS 和 MySQL 之间成功导入和导出的所有路径文件夹。 我
我在Azkaban中使用shell命令，并将Sqoop命令放在shell脚本中。 今天 Sqoop 任务无缘无故卡住了，sqoop_task1。 几天前发生在另一个 sqoop 任务上，我们称它为 s
我已经在计算机上安装了sqoop (来自http://www.apache.org/dist/sqoop/1.4.4/的sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz)。 当
我刚刚下载了Sqoop安装文件sqoop-1.99.3-bin-hadoop100.tar.gz。我无法在其中找到文件 addtowar.sh。我按照此处的安装说明进行操作 - https://sqo
我有一个 Oozie 工作流，它应该每 X 分钟运行一次。它从 HBase 表中读取一个值。在此之后，基于上一步从 HBase 读取的值运行(增量)Sqoop 操作。为了使工作流正常工作，我需要以某种
[cloudera@quickstart ~]$ **sqoop import-all-tables -m=4 --connect "jdbc:mysql://quickstart.cloudera:
我正在使用 hadoop 2.6.0，现在我正在尝试 sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar.gz。我正在使用 sqoop 版本 sqoop version 2
我发现在运行时覆盖 sqoop 作业属性时，我只能覆盖一个属性。 例子1:如果我提交 sqoop job --exec test123 -- --query "select * from test w
如何使用sqoop job自动化sqoop增量导入？ 据我所知，sqoop job 会记住最后一个值。如果我们创建一个类似 的 sqoop 作业 sqoop job --create myjob --
我正在尝试使用 sqoop export 将记录从 S3 导出到 Mysql Aurora。 S3 中的数据类型之一是 clob，它的长文本和 XML 文件作为 string 存储在其中。 当我运行我
我正在对由计算量大的自定义查询生成的大型记录集进行原型(prototype)迁移。此查询大约需要 1-2 小时才能在 SQL Developer 中返回结果集 我正在尝试将此查询传递给一个简单的 Sq
谁能告诉我这个命令的输出是什么:这里的 departments 表有默认的 6 行(从 dept_id 2 到 7)，然后我向 Mysql db 'retail_db.departments' 表(d
根据 sqoop.apache.org 的说法，Sqoop 2 的功能并不完整，不应该用于生产系统。很公平，有些人可能想在他们的测试环境中测试 Sqoop 2 的新功能。 Cloudera 对 Sqo
我是一名优秀的程序员,十分优秀！