gpt4 book ai didi

streaming - 如何在 hadoop 流中使用将文件名作为参数的二进制可执行文件?

转载 作者:可可西里 更新时间:2023-11-01 15:42:13 30 4
gpt4 key购买 nike

假设我有一个二进制可执行文件,它将文件名作为参数,例如“myprog file1 file2”,它从文件 1 读取并写入文件 2。二进制可执行文件不采用标准输入,也不发出标准输出。如何在 hadoop 流中将此二进制可执行文件用作映射器或缩减器?谢谢!

最佳答案

您必须先将数据保存为本地磁盘上的临时文件才能使用您的程序。然后您可以从文件中读取结果。

但是,这违背了使用 Hadoop 处理数据的目的。将数据复制到本地磁盘并将结果读回 Hadoop 领域的开销会降低性能。

我建议更改您的二进制可执行文件以允许通过标准输入和标准输出进行输入/输出。

关于streaming - 如何在 hadoop 流中使用将文件名作为参数的二进制可执行文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5184707/

30 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com