python - 检查 pandas 数据框中的哪些值不在 SQL 数据库中

Question

我想检查 pandas 数据框中的哪些值不在 SQL 数据库中。所以基本上是一个左连接(左边是 pandas df)，其中右边的(SQL DB)键是 NULL。

数据库很大，大约有 500 万个条目，但我只对主键感兴趣。

Pandas 数据框(50k 行)比 SQL DB(5M)小得多，所以我会而是将数据移动到带来所有数据的数据库

我考虑过在 SQL 中创建一个临时表并进行 LEFT JOIN，但只用一个查询就可以做到这一点

Pandas 数据框:

    index   
    0        
    1  
    2  
    3  
    4

sql数据库:

    index(primary key)     
    1        
    2        
    3  

结果:0, 4

Answer 1

我想知道什么是“batabase”...谷歌没有帮助我:-)

但是，如果我理解正确的话，我认为您应该在 SQL Server 中从数据帧中创建一个单列临时表(正如您自己建议的那样)，然后当然可以很容易地找到它:

SELECT P.Index 
FROM PandasTable as P 
WHERE P.Index NOT IN 
    (SELECT B.Index FROM BatabaseTable)

使用索引主键应该很快。