mysql - 如何在具有数百万条记录的登台表和主表之间查找重复项

Question

我正在使用 mysql，我想检查两个表之间的重复行。我使用了 join 但是它花费了太多时间，因为有数百万条记录(例如临时表有 800k 条记录，而主表有大约 1 亿条记录)。

我正在使用的查询如下:

INSERT INTO 
    tblspduplicate
SELECT 
    T2.SP,T1.FileImportedDate,T2.XYZFileName 
FROM  
    tblspmaster T1
INNER JOIN 
    tblstaging T2 
ON 
    T1.SP=T2.SP;

CREATE TABLE `tblspmaster` (
  `CSN` bigint(20) NOT NULL AUTO_INCREMENT,
  `SP` varchar(50) NOT NULL,
  `FileImportedDate` date NOT NULL,
  `XYZFileName` varchar(50) NOT NULL,
  `XYZBatch` varchar(50) NOT NULL,
  `BatchProcessedDate` date NOT NULL,
  `ExpiryDate` date NOT NULL,
  `Region` varchar(50) NOT NULL,
  `FCCity` varchar(50) NOT NULL,
  `VendorID` int(11) NOT NULL,
  `LocationID` int(11) NOT NULL,
  PRIMARY KEY (`CSN`)
) ENGINE=InnoDB AUTO_INCREMENT=7484570 DEFAULT CHARSET=latin1;


CREATE TABLE `tblstaging` (
  `CSN` bigint(20) NOT NULL AUTO_INCREMENT,
  `SP` varchar(50) NOT NULL,
  `FileImportedDate` date NOT NULL,
  `XYZFileName` varchar(50) NOT NULL,
  `XYZBatch` varchar(50) NOT NULL,
  `BatchProcessedDate` date NOT NULL,
  `ExpiryDate` date NOT NULL,
  `Region` varchar(50) NOT NULL,
  `FCCity` varchar(50) NOT NULL,
  `VendorID` int(11) NOT NULL,
  `LocationID` int(11) NOT NULL,
  PRIMARY KEY (`CSN`),
  KEY `ind_staging` (`SP`)
) ENGINE=InnoDB AUTO_INCREMENT=851956 DEFAULT CHARSET=latin1;

Answer 1

tblspmaster.SP 有索引吗？那将是最重要的事情。有了这样的索引，你查询应该没问题。不过，首先，测试仅使用 select 的查询。

您可能遇到的另一个问题是重复匹配。这可能会显着增加您拥有的数据。您可以通过以下方式对此进行测试:

select sp, count(*) as cnt
from tblmaster
group by sp
having cnt > 1
order by cnt desc;

和

select sp, count(*) as cnt
from tblstaging
having cnt > 1
order by cnt desc;

编辑:

根据表结构，我重复了为 tblMaster(SP) 创建索引的建议。您可能还需要删除 tblStaging(SP) 上的索引。或者，您可以使用索引提示强制使用主索引而不是暂存索引(简单语法描述为 here )。

此外，我建议您运行上述计数，以查看由于 SP 值的多重性而导致意外大量行的风险。