gpt4 book ai didi

mysql - Pyspark DataFrameWriter jdbc 函数的忽略选项是忽略整个事务还是只忽略有问题的行?

转载 作者:行者123 更新时间:2023-11-29 05:09:19 26 4
gpt4 key购买 nike

Pyspark DataFrameWriter 类有一个 jdbc function用于将数据框写入 sql。这个函数有一个 --ignore 选项,文档说将:

Silently ignore this operation if data already exists.

但是它会忽略整个事务,还是只会忽略插入重复的行?如果我将 --ignore--append 标志结合起来会怎样?行为会改变吗?

最佳答案

mode("ingore") 如果表(或另一个接收器)已经存在并且写入模式无法组合,则只是 NOOP。如果您要查找类似 INSERT IGNOREINSERT INTO ... WHERE NOT EXISTS ... 之类的内容,您必须手动执行此操作,例如使用 mapPartitions.

关于mysql - Pyspark DataFrameWriter jdbc 函数的忽略选项是忽略整个事务还是只忽略有问题的行?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42213869/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com