Hadoop MapReduce DBInputFormat 和 DBOutputFormat

Question

我需要从 MYSQL 导入数据，运行 MR 并将其导出回 MYSQL。我能够使用 DBInputFormat 和 DBOutputFormat 在单个 MR 作业中成功完成一些记录。当我将输入记录扩展到 100+ 百万条记录时，MR 作业挂起。替代方法是将数据导出到 HDFS ，运行 MR 作业并推送回 My SQL。

对于包含大约 4 亿条记录的庞大数据集，使用 DBInputFormat 和 DBOutputFormat 还是使用 HDFS 作为数据源和目标，哪个选项更好。

使用 HDFS 在我的 MR 作业前后增加了一个步骤。由于数据存储在 HDFS 上，因此它会被复制(默认 3)并且需要更多的硬盘空间。谢谢鲁佩什

Answer 1

我认为最好的方法应该是使用 SQOOP 来处理这种情况。Apache Sqoop 是一种工具，用于在 Apache Hadoop 和结构化数据存储(例如关系数据库，如 MySQL 或 Oracle)之间高效地传输大量数据。Sqoop 自动化了大多数在这个过程中，依赖于数据库来描述要导入的数据的模式。 Sqoop 使用 MapReduce 导入和导出数据，提供并行操作和容错能力。请查看此链接并探索 Sqoop 以获取详细信息。 SQOOP details

为了使用 DBInputFormat，您需要编写一个类，将数据库记录中的列反序列化为单独的数据字段以供使用。这非常乏味——而且完全是算法。 Sqoop 自动生成类定义来反序列化数据库中的数据。这些类也可用于以 Hadoop 的 SequenceFile 格式存储结果，这也允许您利用 HDFS 中的内置压缩。这些类被写成 .java 文件，您可以稍后将其合并到您自己的数据处理管道中。类定义是利用 JDBC 读取有关数据库和表的元数据的能力创建的。

当调用 Sqoop 时，它会检索表的元数据，写出要导入的列的类定义，并启动 MapReduce 作业以正确导入表体。