gpt4 book ai didi

hadoop - Impala 并发读取和覆盖

转载 作者:可可西里 更新时间:2023-11-01 16:53:55 26 4
gpt4 key购买 nike

我注意到在一个应用程序中,并发读取(使用无效元数据)和覆盖表会导致底层文件损坏。

这是一个已知的场景吗?我预计当表被覆盖时,并发读取会失败,它不会损坏表的底层文件。

帮助将不胜感激!

最佳答案

如果文件损坏,不应该是由并发读写引起的。 HDFS 是只读/附加文件系统,Impala 将始终写入新文件。当您插入时,文件被写入暂存目录,Impala 在文件完成之前不会读取该目录,此时它们被移动到表/分区目录中。

需要考虑的几件事:如果独立于选择运行插入,文件是否正常?腐败是什么意思?它在 Hive 中有效吗?您运行的是哪个版本的 Impala?

关于hadoop - Impala 并发读取和覆盖,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30995331/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com