bash - Grep 跨 Hadoop 文件系统中的多个文件

Question

我正在使用 Hadoop，我需要在我的 Hadoop 文件系统中找到大约 100 个文件中的哪些包含特定字符串。

我可以像这样看到我想搜索的文件:

bash-3.00$ hadoop fs -ls /apps/mdhi-technology/b_dps/real-time

..返回几个这样的条目:

-rw-r--r--   3 b_dps mdhi-technology 1073741824 2012-07-18 22:50 /apps/mdhi-technology/b_dps/HADOOP_consolidated_RT_v1x0_20120716_aa
-rw-r--r--   3 b_dps mdhi-technology 1073741824 2012-07-18 22:50 /apps/mdhi-technology/b_dps/HADOOP_consolidated_RT_v1x0_20120716_ab

如何找到其中哪些包含字符串 bcd4bc3e1380a56108f486a4fffbc8dc？一旦我知道了，我就可以手动编辑它们。

Answer 1

这是一个 hadoop“文件系统”，而不是 POSIX 文件系统，所以试试这个:

hadoop fs -ls /apps/hdmi-technology/b_dps/real-time | awk '{print $8}' | \
while read f
do
  hadoop fs -cat $f | grep -q bcd4bc3e1380a56108f486a4fffbc8dc && echo $f
done

这应该可行，但它是串行的，因此可能很慢。如果您的集群可以承受热量，我们可以并行化:

hadoop fs -ls /apps/hdmi-technology/b_dps/real-time | awk '{print $8}' | \
  xargs -n 1 -I ^ -P 10 bash -c \
  "hadoop fs -cat ^ | grep -q bcd4bc3e1380a56108f486a4fffbc8dc && echo ^"

请注意 xargs 的 -P 10 选项:这是我们将并行下载和搜索的文件数。从低开始增加数量，直到磁盘 I/O 或网络带宽饱和，无论您的配置是否相关。

编辑:鉴于您使用的是 SunOS(有点脑残)，请尝试以下操作:

hadoop fs -ls /apps/hdmi-technology/b_dps/real-time | awk '{print $8}' | while read f; do hadoop fs -cat $f | grep bcd4bc3e1380a56108f486a4fffbc8dc >/dev/null && echo $f; done