python - PySpark - 写入 PostgreSQL DB 后获取插入的行 ID

Question

我正在使用 PySpark 通过下面的 JDBC 命令将 DataFrame 写入 PostgreSQL 数据库。如何获取插入的行 ID？设置为自增标识列。

我使用的是下面的命令，而不是分别插入每一行的 for 循环。

df.write.jdbc(url=url, table="table1", mode=mode, properties=properties)

我知道我可以使用 monotonicallyIncreasingId 并在 Spark 中设置 ID，但我正在寻找数据库处理分配的替代方案，但我想让他的 ID 重新用于其他 DataFrame。

我没有在文档中找到这个。

Answer 1

最简单的方法是查询您创建的表并将其读入新数据框。

或者，当您在 for 循环或生成器中迭代每一行时，在关闭循环之前，获取您刚刚创建的记录的 ID，并将每个 ID 附加到数据框中的新列。