gpt4 book ai didi

java - 如何在单独的Java程序中读取pig输出

转载 作者:行者123 更新时间:2023-12-01 14:02:00 25 4
gpt4 key购买 nike

我有一些pig输出文件,想在另一台机器上读取它们(没有安装hadoop)。我只想读取一个制表符分隔的纯文本行并将其解析为一个 java 对象。我猜我们应该能够使用 pig.jar 作为依赖项并能够读取它。我找不到相关文档。我认为this可以使用类吗?我们如何提供架构。

最佳答案

我建议您以 Avro 序列化格式存储数据。它与 Pig 无关,并且允许处理您所描述的复杂数据结构(因此您不需要编写自己的解析器)。请参阅this article例如。

关于java - 如何在单独的Java程序中读取pig输出,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19285042/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com