gpt4 book ai didi

hadoop - Pig 输出中的 header

转载 作者:可可西里 更新时间:2023-11-01 16:38:24 25 4
gpt4 key购买 nike

我写了一个成功的脚本来计算行人的总步数,以及他们的最高步数。我没有得到的是在 Pig Output 中生成标题,因此输出看起来整洁干净。有什么方法可以在写入输出时生成标题。以下是我的代码,

register 'piggybank-0.15.0.jar';
DEFINE CSVLoader org.apache.pig.piggybank.storage.CSVLoader();
part1 = LOAD '/home/cloudera/Pedestrian_Counts.csv' using CSVLoader(',') as (date_time, sensor_id: int, sensor_name: chararray, hourly_counts: int);
part2 = GROUP part1 BY (sensor_id, sensor_name);
part3 = FOREACH part2 GENERATE FLATTEN(group) AS (sensor_id, sensor_name), SUM(part1.hourly_counts), MAX(part1.hourly_counts);
STORE part3 into '/home/cloudera/pedestrian_result' using PigStorage('\t');

我输出的前 5 行如下,

1   Bourke Street Mall (North)  49591633    5573
2 Bourke Street Mall (South) 67759939 7035
3 Melbourne Central 70973929 5890
4 Town Hall (West) 90274498 8052
5 Princes Bridge 58752043 7391

我们可以在写入输出时放置标题吗?提前致谢。

最佳答案

要么将所有部分文件数据合并到本地文件系统中的一个文件中,其中包含标题信息,要么使用配置单元表来存储此 pig 脚本的输出。

使用 Hive 表存储输出将有自己的模式。

您应该使用 Hcat 访问 Pig 中的 Hive。

关于hadoop - Pig 输出中的 header ,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46904006/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com