gpt4 book ai didi

hadoop - 我可以将本地文件的内容传递给 Hadoop Pipes 作业吗

转载 作者:可可西里 更新时间:2023-11-01 16:19:00 26 4
gpt4 key购买 nike

我需要使用存储在本地文本文件中的信息来初始化映射器中的对象。有什么机制可以做到这一点吗?

最佳答案

您可以将文件上传到 HDFS,然后将其添加到分布式缓存,使其可供映射器从工作目录加载。

将本地文件上传到 HDFS 并将其放入分布式缓存由通用 -files 选项处理

hadoop pipes -files localfile.txt <other pipes options>

现在要在映射器中加载文件,只需打开一个同名文件 (localfile.txt)(您可以假设该文件位于当前工作目录中)。

关于hadoop - 我可以将本地文件的内容传递给 Hadoop Pipes 作业吗,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12811091/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com