mysql - 将数据从 MySQL 拉入 Hadoop-6ren

mysql - 将数据从 MySQL 拉入 Hadoop

转载作者：可可西里更新时间：2023-11-01 07:01:01

27

4

我刚刚开始学习 Hadoop，我想知道以下问题:假设我有一堆我想要分析的大型 MySQL 生产表。

似乎我必须将所有表转储到文本文件中，以便将它们带入 Hadoop 文件系统——这是否正确，或者是否有某种方法可以让 Hive 或 Pig 或其他任何东西直接从 MySQL 访问数据？
如果我将所有生产表转储到文本文件中，我是否需要担心转储期间会影响生产性能？ (这是否取决于表使用的存储引擎？如果是这样我该怎么办？)
将每个表转储到一个文件中，还是将每个表拆分为 64mb(或任何我的 block 大小)文件更好？

最佳答案

从mysql中导入数据非常容易。我建议您使用 Cloudera 的 hadoop 发行版，它带有名为“sqoop”的程序，它提供了非常简单的界面，可以直接从 mysql 导入数据(也支持其他数据库)。Sqoop 可以与 mysqldump 或普通的 mysql 查询一起使用 (select * ...)。使用此工具，无需手动将表分区为文件。但是对于 hadoop 来说，拥有一个大文件要好得多。

有用的链接:
Sqoop User Guide

关于mysql - 将数据从 MySQL 拉入 Hadoop，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/3074836/

27

4

0

文章推荐： mysql - 正确/错误值的适当数据字段类型？

文章推荐： php - MySQL在php中选择列长度(PHP7以下)

文章推荐： mysql - MySql 可以在多个表上回滚 sql 事务吗？

文章推荐： php - mySql - 使用逗号分隔值列表创建连接

javascript - 拉入 JSON 数据
我正在尝试从 json 数据中获取事件日历。我只想突出显示日期，并在用户单击日期时在日历下方更新一个包含事件详细信息的 div。我的应用以以下形式提供 JSON: [ {"Date":"02/06
kubernetes - 将图像从 GCR 拉入 GKE
今天是我玩 GCR 和 GKE 的第一天。如果我的问题听起来很幼稚，请道歉。所以我在 GCR 中创建了一个新的注册表。它是私有(private)的。使用 this文档，我使用命令获取了我的访问 to
javascript - Mongo 拉入 Meteor 不拉动
我一直在尝试从 Meteor 内部的 Mongo 中提取一个数组，但我似乎无法让它工作。我能够很好地插入它。任何帮助将不胜感激。这是我的 html: {{#each employee.sch
python - 日期时间到十进制以使用 Python 拉入 matplotlib
我有一个 (datetime.timedelta(0, 7200) 的对象对于 2:00:00我正在尝试将其转换为 2.0两个小时。分别如果我有datetime.timedelta(0, 9000)
mysql - 将数据从 MySQL 拉入 Hadoop
我刚刚开始学习 Hadoop，我想知道以下问题:假设我有一堆我想要分析的大型 MySQL 生产表。似乎我必须将所有表转储到文本文件中，以便将它们带入 Hadoop 文件系统——这是否正确，或者是否有
mercurial - 拉入 Mercurial 之前自动搁置(使用 TortoiseHG)？
我不想提交一些已更改的文件(例如 web.config)。在拉取并更新到新的变更集之前，我必须将它们搁置起来。拉取和更新后，我必须将它们取消搁置。我目前正在使用 TortoiseHG。有没有任何扩展
c# - 将单独的列从 .csv 拉入 c# 中的单独数组
这个项目的背景。一开始是一项简单的家庭作业，要求我存储 5 个邮政编码及其对应的城市。当用户在文本框中输入邮政编码时，会返回对应的城市，反之亦然。我编写了返回这些值的代码，但后来我决定将所有邮政编码及
android - 滚动 ListView 时推出/拉入 ActionBar
最新的 Google Newsstand 应用程序具有 ActionBar 和 ViewPager 选项卡栏，当向下滚动下方的列表时，它们会缓慢地显示屏幕顶部。重要的是，它以与滚动列表相同的速度缓和
javascript - 将 Gmail 拉入 Google 表格
此脚本可以出色地将电子邮件提取到我的工作表中。我的问题是该函数只提取列出的前两个字段。例如，getPlainBody、getSubject - 尽管需要更多字段。因此，我没有使用一个函数来提取我需要的
javascript - 通过 AJAX 拉入 JSON 以填充下拉列表
我正在提取一些会有所不同的 JSON 数据...例如: 返回的数据可能是: [{"userID":"2779","UserFullName":" Absolute Pro-Formance"},{"u
ios - 将内容从 Firebase 拉入 Swift 的问题
我正试图从 Firebase 获取报价，但我很挣扎。当然，我也不知道我在做什么。我需要一些帮助! 在 Firebase 中，我的报价设置如下: root --> quotes --> quoteID
ios - 拉入 UICollectionView 后 UIRefreshControl 不粘
我将 UIRefreshControl 与 UICollectionView 一起使用。刷新有效，但 View 在拉动后不会停留在顶部(与 uitableview 一样)。有没有办法让这个坚持下去，还
php - 使用 PHP 拉入 RSS 提要时提取图像数据
我用来提取提要标题的脚本是: "; foreach($x->channel->item as $entry) { echo "link' title='$entry->title'>" .
vba - 将单元格值从 Excel 拉入 Word(运行时错误 429)
我一直无法从 excel 中获取单元格值并在 word 宏中使用它们(我正在尝试在 word doc 中的各种书签处插入来自工作表单元格的字符串值)。现在我只是想能够访问单元格值，但我想出了一个错误
ios - 将 JSON 拉入 PhoneGap 会导致 404
我正在尝试为 PhoneGap 设置一个 JSON 查询，该查询会提取通过 Expression Engine template 创建的 JSONP .如果我直接导航到我的 JSON 页面，htt
ios - 如何快速将自定义 PFUser 字段从 Parse 拉入 UILabel？
所以我有一个 Xcode 项目，我从注册页面获取字段，然后推送它们进行解析。我有另一个 View ，其中我有标签，我想将这些自定义字段从 Parse 拉入其中。这是我存储数据的方式: 让我的用户:P
mysql - 从 MySQL 将 NULL 作为 NaN 拉入 Matlab
在 Matlab 中，我使用类似于以下的语句从 mySQL 数据库中提取数据: SELECT PrimaryKeyVar, Var1, MyDate, Var2, Var3 FROM MyDataba
javascript - 使用 JavaScript 将工作 PHP 文件(带有脚本)拉入 div，无需使用 iframe
在系统限制下工作，我需要一种方法将本地 .php 或 .html 中的工作代码放入目标 div 中，而无需额外的库、jfiddle、iframe 等(jquery 就可以) 这是我失败的尝试。文件的
jenkins - 在管道执行期间，Jenkins Kubernetes 插件没有将凭证/ secret 从 master 拉入 PodTemplate/ContainerTemplate？
设置场景: 我已经设置了一个多节点Kubernetes cluster并部署了Jenkins Helm Chart与 Jenkins Kubernetes plugin .我们在(公司)内部运行企业
jquery - 使用 $.getJSON 将 Rails 渲染的 JSON 拉入 JavaScript(作为 JSON 对象)
Controller : def get_nodes ... render :text => nodes.to_json.to_s end 它呈现有效的 JSON(它由我的 chrome 插件

首页

博学

6Ren·AI

商城

mysql - 将数据从 MySQL 拉入 Hadoop