gpt4 book ai didi

mysql - 无法通过Hadoop更新MySql,只能插入

转载 作者:行者123 更新时间:2023-12-02 21:58:05 25 4
gpt4 key购买 nike

我正在尝试使用Hadoop读取数据,进行处理,然后再写回MySql。但是,似乎只能插入。如果我尝试使用相同的主键回写(表示更新),将出现诸如“主键重复XXX”的错误。有人解决了此问题吗?有可能进行更新吗?非常感谢!!!

最佳答案

您是在Map / Reduce任务中使用Sqoop还是使用SQL语句?看起来多个reducer或单个reducer一次又一次地使用相同的主键写入数据。您必须重新设计map / reduce任务或数据库架构,以消除错误。

如果必须进行更新或插入,在reducer中如何得知?在数据库中检查具有相同主键的行,然后完成插入或更新吗?

必须详细了解应用程序设计才能解决该问题。

关于mysql - 无法通过Hadoop更新MySql,只能插入,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8024700/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com