hadoop - 如何从 HIVE 表中提取 5k 文件

Question

我有一个用例，其中我的所有 4 TB 数据都在 HBase 表中，我已经用 HIVE 表询问了这些数据。

现在我想从我在 HIVE 中创建的这 30 个表中提取 5k 个文件。

这 5K 文件将由预定义的 5K 查询创建。有人可以建议我应该遵循什么方法吗？所需时间为 15 小时。

我是否应该编写 java 代码来生成所有这些文件。

文件生成速度很快。在 5k 个文本文件中，有 50 个文件大约需要 35 分钟，其余的文件创建速度非常快。

我必须生成压缩文件并使用 ftp 将其发送给客户端。

Answer 1

如果我对您的问题的理解正确，您可以先通过此处的一种方法导出查询结果来完成您的任务:How to export a Hive table into a CSV file? ，将文件压缩为 zip 存档，然后通过 FTP 传输它们。您可以编写一个 shell 脚本来自动执行该过程。