gpt4 book ai didi

java - 输入输出同一个目录,MR会不会覆盖记录?

转载 作者:可可西里 更新时间:2023-11-01 16:57:52 24 4
gpt4 key购买 nike

我想在 MR 运行期间过滤掉过时的记录并添加新记录。我计划编写一个映射器,它将从临时目录(新输入)和存储库目录(以前的结果)中读取记录。当映射器运行时,它将新旧一起摄取。如果映射器只写出时间戳小于 30 天的记录,并且我也使用存储库目录进行输出,那么新结果是否会覆盖旧结果,从而有效地添加新内容并删除过时的内容?我在 Java 1.7 中使用 Apache 库。

最佳答案

它会抛出一个错误。 Hadoop 不会输出到现有目录。它总是创建目录。因此,输出目录一定不存在。如果是这样,它会抛出一个错误。我假设您使用的是标准 FileOutputFormat 或其某些扩展。

关于java - 输入输出同一个目录,MR会不会覆盖记录?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/27724690/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com