python 比 perl mySql 查询慢 5 倍

Question

我正在将一段代码从 perl 翻译成 python。即使它的工作原理完全相同，也有一部分代码在 python 中比在 perl 中慢 5 倍，我不明白为什么。

perl和python都在同一台机器上，还有mysql数据库。

代码查询数据库以下载表的所有列，然后处理每一行。有超过 500 万行要处理，最大的问题是从数据库中检索数据到 Python 处理。

我在这里附上两个代码示例: python :

import os
import mysql.connector **<--- import mySqlDb**
import time

outDict = dict()
## DB parameters
db = mysql.connector.connect **<----- mySqlDb.connect( ...** 
     (host=dbhost, 
user=username, # your username
passwd=passw, # your password
db=database) # name of the data base
cur = db.cursor(prepared=True)
sql = "select chr,pos,lengthofrepeat,copyNum,region from db.Table_simpleRepeat;"
cur.execute(sql)
print('\t eDiVa public omics start')
s  = time.time()
sz = 1000
rows = cur.fetchall()
for row in rows:
    ## process out dict    
print time.time() - s 
cur.close()
db.close()        

虽然这是 Perl 等效脚本:

use strict;
use Digest::MD5 qw(md5);
use DBI;
use threads;
use threads::shared;

my $dbh = DBI->connect('dbi:mysql:'.$database.';host='.$dbhost.'',$username,$pass) 
    or die "Connection Error!!\n";    
    my $sql = "select chr,pos,lengthofrepeat,copyNum,region from   db.Table_simpleRepeat\;";
    ## prepare statement and query
    my $stmt = $dbh->prepare($sql);
    $stmt->execute or die "SQL Error!!\n";
    my $c = 0;
    #process query result
    while (my @res = $stmt->fetchrow_array) 
    {
        $edivaStr{ $res[0].";".$res[1] } = $res[4].",".$res[2]; 
        $c +=1;
    }
    print($c."\n");
    ## close DB connection
    $dbh->disconnect();    

这两个脚本的运行时间是:

• ~40 秒用于 Perl 脚本
• ~200s 用于 Python 脚本

我不明白为什么会发生这种情况 [我尝试使用 fetchone() 或 fetchmany() 来查看是否存在内存问题，但运行时间最多比 200 秒减少 10%]。

我的主要问题是理解为什么两个功能相同的代码块之间存在如此相关的性能差异。

任何关于如何验证正在发生的事情的想法将不胜感激。

谢谢!

关于解决方案的更新

Peeyush 的评论可能是一个答案，我希望他发布它，因为它让我找到了解决方案。

问题出在 python 连接器上。我只是为 mySqlDb 模块更改了它，它是一个 C 编译模块。这使得 python 代码比 perl 代码稍微快一些。

我用 <---- ""在 python 代码中添加了更改，以显示获得性能是多么容易。

Answer 1

cursor.fetchall 意味着您一次将所有数据加载到内存中，而不是在需要时慢慢加载。

替换

row = cur.fetchall()
for row in rows:

由

for row in cur: