gpt4 book ai didi

java - 我们如何强制许多映射器读取 hadoop 中的一个特定文件(相同数据)?

转载 作者:可可西里 更新时间:2023-11-01 14:55:15 26 4
gpt4 key购买 nike

我想写一个程序,许多映射器读取一个 1 文件是一个图并且都在该图上进行处理,该文件大约为 14 kb如果我以正常方式运行,只会为该文件映射一个映射器我该怎么做?最好的问候。

最佳答案

将文件放入HDFS,在mapper函数中使用HDFS API读取文件并进行处理。您也可以尝试 DistributedCache 而不是将文件放在 HDFS 中。

当必须对数据集进行 N 次模拟时,此场景也适用。模拟因子将作为映射函数的输入,实际数据在映射函数中读取。

关于java - 我们如何强制许多映射器读取 hadoop 中的一个特定文件(相同数据)?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7837159/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com