hadoop - Pig 脚本使用 HCatalog 标志？

Question

我编写了简单的 pig 脚本来从配置单元表中读取数据。

A = LOAD 'default.movie' USING org.apache.hive.hcatalog.pig.HCatLoader();
DUMP A;

当我运行 hue pig 用户界面时，它正在运行。但是它使用了一个标志useHCatalog。

当我使用命令行使用相同的标志运行它时，它正在工作

pig -useHCatalog sample.pig

但是我如何通过在 pig 脚本中提供所需的 jar 文件和配置来在没有此标志的情况下运行。我试过了。但是没用

REGISTER /usr/lib/hive/lib/*.jar
REGISTER /usr/lib/hive-hcatalog/share/hcatalog/*.jar
REGISTER /usr/lib/hive-hcatalog/share/hcatalog/storage-handlers/hbase/lib/*.jar

当我在没有标志的情况下运行时会抛出错误

2015-12-15 05:05:55,379 [main] ERROR org.apache.pig.PigServer - exception during parsing: Error during parsing. Table not found : default.movie table not found Failed to parse: Can not retrieve schema from loader org.apache.hive.hcatalog.pig.HCatLoader@25bdba7a at org.apache.pig.parser.QueryParserDriver.parse(QueryParserDriver.java:198) at org.apache.pig.PigServer$Graph.parseQuery(PigServer.java:1678) at org.apache.pig.PigServer$Graph.access$000(PigServer.java:1411) at org.apache.pig.PigServer.parseAndBuild(PigServer.java:344) at org.apache.pig.PigServer.executeBatch(PigServer.java:369) at org.apache.pig.PigServer.executeBatch(PigServer.java:355) at org.apache.pig.tools.grunt.GruntParser.executeBatch(GruntParser.java:140) at org.apache.pig.tools.grunt.GruntParser.processDump(GruntParser.java:769) at org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:372) at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:198) at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:173) at org.apache.pig.tools.grunt.Grunt.exec(Grunt.java:84)

我只想知道，useHCatalog 标志后面是什么。我必须注册什么才能正常工作？

Answer 1

您还必须传递配置单元配置，即文件 hive-site.xml，它将 pig 指向元存储。否则 pig 不知道去哪里找表信息。

此页面可能会有帮助:https://cwiki.apache.org/confluence/display/Hive/HCatalog+LoadStore