hadoop - 如何在加载时忽略注释行

Question

我想将 IIS 网络日志加载到 Hive 表中，但日志文件中的评论妨碍了。有没有办法让 Hive 的加载忽略以 # 开头的行？

Answer 1

如果您的表模式将整个“条目”的列作为字符串，那么您可以在查询的 WHERE 子句中放置一个条件在哪里substr(条目, 1, 1) != "#"

Hive 是读取时的模式，因此只要它能够获取第一个字符就不会提示整个记录。

你可能想把这样的记录修剪成一个干净的表，这样查询表的人就不会把 substr(entry, 1, 1) != "#"的 WHERE 条件放在