gpt4 book ai didi

使用 zip 输入文件的 Hadoop 流式处理

转载 作者:可可西里 更新时间:2023-11-01 14:54:49 31 4
gpt4 key购买 nike

我正在尝试运行一个流式作业,其中输入文件是 zip 文件中的 csv。我尝试使用 this ,但是它似乎不适用于 CDH4(我收到错误 class com.cotdp.hadoop.ZipFileInputFormat not org.apache.hadoop.mapred.InputFormat)

有谁知道我可以用它来流式传输 zip 文件的输入文件阅读器吗?如果可能的话,我正在寻找一个多文件阅读器(可以给顶级目录)。

最佳答案

我最后写了 zipstream .

请注意,仅处理 zip 中的第一个文件,我可能会在稍后添加对多个文件的支持。

关于使用 zip 输入文件的 Hadoop 流式处理,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15257447/

31 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com