gpt4 book ai didi

hadoop - pig : Splitting large large file into multiple smaller files

转载 作者:可可西里 更新时间:2023-11-01 15:03:04 26 4
gpt4 key购买 nike

我需要拆分由另一个 Pig 脚本生成的输出部分文件,并生成每个包含 1000 行的组。这些组将发布到网络服务以供进一步处理。数据之间没有关系,所以我无法将数据分组到特定字段。

我如何在 Pig 中执行此操作?

最佳答案

如果拆分与数据无关,为什么还要使用 Pig 或 MapReduce?作为替代方案,如果我没有误解的话,您可以只使用标准拆分程序来拆分数据。例如:

cat part-* | split -d -l 1000 - result-

关于hadoop - pig : Splitting large large file into multiple smaller files,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17736112/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com