hadoop - 如何用pig输入多参数

Question

我有3个表要批量输入，如何在pig中指定参数？

比如tmp/001.csv,tmp/002.csv,tmp/003.csv，在pig脚本中，我怎么写-param和LOAD语句一次性输入这些表？

有人给我举个例子

pig -param nums="'001','002','003'" test.pig

在 pig 脚本中，

LOAD 'tmp/{nums}.csv' AS ...

但看起来 pig 只读取了 001.csv。

Answer 1

您很可能还需要将 /tmp 移动到参数中:

pig -param ins=/tmp/001.csv,/tmp/002.csv,/tmp/003.csv test.pig

LOAD '${ins}' AS ...

显然，如果您有很多文件要列出(并且它们都可以匹配一个简单的 glob)，那么这可以进一步减少:

pig -param ins=/tmp/*.csv test.pig