gpt4 book ai didi

hadoop - pig 存储脚本失败

转载 作者:行者123 更新时间:2023-12-02 22:04:09 25 4
gpt4 key购买 nike

我正在运行一个Pig脚本,它运行良好,但是当我尝试将输出存储在文件中时失败。 转储工作正常。
有人可以让我知道原因,或者至少可以引导我解决问题。

pig -useHCatalog;
a = load 'geolocation_part' using org.apache.hive.hcatalog.pig.HCatLoader();
b = filter a by truckid == 'A1';
Dump b;
store b INTO '/user/admin/pig/scritps/geolocation_20160401';

最佳答案

您应该具有如下正确的脚本

pig -useHCatalog;
a = load 'geolocation_part' using org.apache.hive.hcatalog.pig.HCatLoader();
b = filter a by truckid == 'A1';
store b INTO '/user/admin/pig/scritps/geolocation_20160401';

DUMP用于查看数据关系。它显示数据,我们可以确认操作正在获取正确的数据。

切勿在脚本中使用DUMP。

不要使用DUMP,因为它会禁用多查询执行,并可能减慢执行速度。 (如果出于调试目的在脚本中包含了DUMP语句,则应将其删除。)

关于hadoop - pig 存储脚本失败,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36368147/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com