hadoop - 从 Hive 中的多个表中选择数据

Question

我在 Hive 中有多个具有不同架构的表。

我想从每个表中选择前 20 行并转储到 csv 文件中。

有什么办法吗？正如我所发现的那样，将数据从单个表转储到 csv.

如有任何帮助，我们将不胜感激!

Answer 1

如果您有不同的架构。

1.下面的示例代码会生成多个csv文件。

#!/bin/bash

  tbs=$(hive -S -e "show tables")
  for tb in $tbs
  do
    hive -e "set hive.cli.print.header=true; SELECT * FROM $tb LIMIT 20;" | sed 's/[\t]/,/g' > $tb.csv
  done

2.下面的示例代码将生成单个 csv 文件。

#!/bin/bash

  tbs=$(hive -S -e "show tables")
  for tb in $tbs
  do
    echo "Table Name : "$tb >> sampleData.csv
    hive -e "set hive.cli.print.header=true; SELECT * FROM $tb LIMIT 20;" | sed 's/[\t]/,/g' >> sampleData.csv
  done