mysql - 在 hdfs 中进行选择的最佳方法？

Question

我有一个包含 1 个主节点和 4 个节点的 hadoop 环境，我在其中使用 sqoop 保存 mysql 应用程序的所有数据

我需要通过应用程序的 Web 访问保存在 hadoop 中的这些数据，换句话说:如果用户记录的日期早于 6 个月，我希望应用程序在 hadoop 数据中进行选择。

都是关系型数据，mysql。我不需要做任何大的分析。

• 这可行吗？
• 最好的方法是什么？
• 你使用什么工具？
• 在这种情况下发送 hdfs 中的数据不可行吗？

提前致谢

Answer 1

据我了解您的问题，您正在使用 sqoop 将数据从 MySQL 导入 HDFS。

现在您想对 HDFS 中的这些数据执行一些查询。

---

您可以使用 Hive 执行此操作。您可以对数据执行 HQL(类似于 SQL)。

您可以使用 sqoop 将数据直接从 MySQL 导入 Hive。现在你在 Hive 中有了类似于 MySQL 的表。您可以对其执行任何查询。

示例命令:

sqoop import \
--connect 'jdbc:mysql://myhost:3306/classicmodels' \
--driver com.mysql.jdbc.Driver \
--username root \
--password root \
--table abc \
--target-dir /user/dev/db/sqoop/temp_81323/ \
--hive-import \
--hive-table hive_abc \
--null-string '\\N' \
--null-non-string '\\N' \
--verbose

检查 sqoop documentation更多细节。