python - 我们如何才能更快地比较两个不同表之间的数据

Question

我有来自两个不同数据库的两个不同表。我在两个表中都有大量数据，但我在两个表中都有相同的列。

当我尝试使用以下代码时，我遇到了一些性能问题(尽管它在员工表中只有 2 条记录，但在部门表中我有 100 000 条记录)比较需要 10 多分钟。

有什么方法可以降低性能并使其更快。

EmplTbl = cur.execute("select A , B , C from EmployeeTable where EmplName in ('A','B')") 
for line in EmplTbl:
    EmplData.append(line)

DeptTbl = cur.execute("select A , B , C from DeptTable") 

for line in DeptTbl:
    DeptData.append(line)

for Empl in EmplData:
    DeptResult = all(Empl in DeptData for elm in DeptData)
    if DeptResult:
        print("Yes")
    else:
        print("No")

Answer 1

如果表几乎相同，则比较数据 block 的哈希值然后只比较有差异的 block 的所有数据会更快。

我敢打赌大部分运行时间都花在了传输和转换数据上。在数据库中从 Employee 表读取 100,000 行可能只需要几秒钟。使用函数 DBMS_SQLHASH.GETHASH，Oracle 可以快速生成大量数据的哈希值。 (您可能需要让 DBA 运行 grant execute on sys.dbms_sqlhash to your_user;)

例如，想象一下这两个表(实际上它们要大得多，并且位于不同的数据库中):

create table EmployeeTable1 as
select 1 a, 2 b, 3 c, 'abcdefg' EmplName from dual union all
select 1 a, 2 b, 3 c, 'bcdefg'  EmplName from dual union all
select 1 a, 2 b, 3 c, 'cdefg'   EmplName from dual;

create table EmployeeTable2 as
select 1 a, 2 b, 3 c, 'abcdefg' EmplName from dual union all
select 1 a, 2 b, 3 c, 'bcdefg'  EmplName from dual union all
select 9 a, 9 b, 9 c, 'cdefg'   EmplName from dual;

为员工姓名的每个首字母生成哈希。

--Table 1 hashes:
select 'a', dbms_sqlhash.gethash('select a,b,c,EmplName from EmployeeTable1 where EmplName like ''a%'' order by 1,2,3', 3) from dual union all
select 'b', dbms_sqlhash.gethash('select a,b,c,EmplName from EmployeeTable1 where EmplName like ''b%'' order by 1,2,3', 3) from dual union all
select 'c', dbms_sqlhash.gethash('select a,b,c,EmplName from EmployeeTable1 where EmplName like ''c%'' order by 1,2,3', 3) from dual;

a   923920839BFE25A44303718523CBFE1CEBB11053
b   355CB0FFAEBB60ECE2E81F3C9502F2F58A23F8BC
c   F2D94D7CC0C82329E576CD867CDC52D933C37C2C <-- DIFFERENT


--Table 2 hashes:
select 'a', dbms_sqlhash.gethash('select a,b,c,EmplName from EmployeeTable2 where EmplName like ''a%'' order by 1,2,3', 3) from dual union all
select 'b', dbms_sqlhash.gethash('select a,b,c,EmplName from EmployeeTable2 where EmplName like ''b%'' order by 1,2,3', 3) from dual union all
select 'c', dbms_sqlhash.gethash('select a,b,c,EmplName from EmployeeTable2 where EmplName like ''c%'' order by 1,2,3', 3) from dual;

a   923920839BFE25A44303718523CBFE1CEBB11053
b   355CB0FFAEBB60ECE2E81F3C9502F2F58A23F8BC
c   6B7B1D374568B353E9A37EB35B4508B6AE665F8A <-- DIFFERENT

Python程序只需要比较哈希值，就可以很快发现“a”和“b”是相同的，不同的是以“c”开头的员工。然后程序只需比较较小结果集的所有细节。

不幸的是，此解决方案需要更多编码，因为您必须在 Python 中构建循环，并构建多个 SQL 语句。如果您的表大相径庭，解决方案将较慢，并且您需要仔细研究数据以找到正确的 block 大小。