- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在通过 Web 表单将一个 csv 文件加载到我的数据库中。
原始数据的顺序在每个 csv 文件中都是一致的,但它会根据源文件的不同而变化,所以我有一个显示五行的预览表单,并允许您通过下拉分配一列 -表中有效列名的向下列表。
然后我使用 cgi 形式构建一个 INSERT 语句,并逐行解析 csv 文件以填充表。
但是它运行起来非常慢。我同时填充了两个表,一个有 961402 行(7 列有值),另一个有 1835538 行(1 列有值),每个表都运行了至少半小时。我每秒只能看到大约 100 行新行。
你能在这里看到任何让我慢下来的东西吗?
注意:我知道这里有一些丑陋的代码,它是我在弄清楚这种语言时编写的第一个 python cgi 脚本之一。
for item in form:
field = form.getvalue(item)
field = cgi.escape(field)
if field == 'null':
pass
elif item == 'csvfile':
pass
elif item == 'campaign':
pass
elif item == 'numfields':
pass
else:
colname = str(colname) + ", " + str(item)
colnum.append(field)
assert(numfields > 0)
placeholders = (numfields-1) * "%s, " + "%s"
query = ("insert into %s (%s)" % (table, colname.lstrip(",")))
with open(fname, 'rb') as f:
reader = csv.reader(f)
try:
record = 0
errors = 0
for row in reader:
try:
record = record + 1
data = ''
for value in colnum:
col = int(value)
rawrow = row[col]
saferow = rawrow.replace("'", "-")
saferow = saferow.replace("-", "")
data = str(data) + ", '" + saferow + "'"
dataset = data.lstrip(',')
insert = query + (" values (%s)" % dataset)
cur.execute(insert)
con.commit()
print ".",
except IndexError, e:
print "Row:%d file %s, %s<br>" % (reader.line_num, fname.lstrip("./files/"), e)
errors = errors + 1
except csv.Error, e:
print "Row:%s file %s, line %d: %s<br>" % (record, fname, reader.line_num, e)
errors = errors + 1
except mdb.Error, e:
print "Row:%s Error %d: %s<br>" % (record, e.args[0], e.args[1])
errors = errors + 1
except:
t,v,tb = sys.exc_info()
print "Row:%s %s<br>" % (record, v)
errors = errors + 1
except csv.Error, e:
print "except executed<br>"
sys.exit('file %s, line %d: %s' % (fname, reader.line_num, e))
print "Succesfully loaded %s into Campaign %s, <br>" % (fname.lstrip("./files/"), table)
print record - errors, "new records.<br>"
print errors, "errors.<br>"
编辑/更新:使用 LOAD DATA LOCAL INFILE
非常有效,我在不到一分钟内加载了 600K 条记录。
新代码也更简洁。
else:
colnum.append([field, item])
sortlist = sorted(colnum, key=itemgetter(0))
cols = ''
for colname in sortlist:
cols = cols + "%s, " % colname[1]
cur.execute("LOAD DATA LOCAL INFILE '%s' IGNORE INTO TABLE %s FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' (%s)" % (fname, table, cols.rstrip(', ')))
con.commit()
唯一的问题是我必须做更多的工作来准备我的 csv 文件以确保数据完整性,否则,工作就像一个魅力。
最佳答案
INSERT INTO,一次完成一行,考虑到某些 SQL(如 mySQL)支持在单个插入命令上有一堆行或可以将 CSV 文件快速读入服务器的 LOAD DATA 语句,这是相当慢的。
关于python - 为什么填充我的表需要这么长时间?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10402340/
我有一台 MySQL 服务器和一台 PostgreSQL 服务器。 需要从多个表中复制或重新插入一组数据 MySQL 流式传输/同步到 PostgreSQL 表。 这种复制可以基于时间(Sync)或事
如果两个表的 id 彼此相等,我尝试从一个表中获取数据。这是我使用的代码: SELECT id_to , email_to , name_to , status_to
我有一个 Excel 工作表。顶行对应于列名称,而连续的行每行代表一个条目。 如何将此 Excel 工作表转换为 SQL 表? 我使用的是 SQL Server 2005。 最佳答案 这取决于您使用哪
我想合并两个 Django 模型并创建一个模型。让我们假设我有第一个表表 A,其中包含一些列和数据。 Table A -------------- col1 col2 col3 col
我有两个表:table1,table2,如下所示 table1: id name 1 tamil 2 english 3 maths 4 science table2: p
关闭。此题需要details or clarity 。目前不接受答案。 想要改进这个问题吗?通过 editing this post 添加详细信息并澄清问题. 已关闭 1 年前。 Improve th
下面两个语句有什么区别? newTable = orginalTable 或 newTable.data(originalTable) 我怀疑 .data() 方法具有性能优势,因为它在标准 AX 中
我有一个表,我没有在其中显式定义主键,它并不是真正需要的功能......但是一位同事建议我添加一个列作为唯一主键以随着数据库的增长提高性能...... 谁能解释一下这是如何提高性能的? 没有使用索引(
如何将表“产品”中的产品记录与其不同表“图像”中的图像相关联? 我正在对产品 ID 使用自动增量。 我觉得不可能进行关联,因为产品 ID 是自动递增的,因此在插入期间不可用! 如何插入新产品,获取产品
我有一个 sql 表,其中包含关键字和出现次数,如下所示(尽管出现次数并不重要): ____________ dog | 3 | ____________ rat | 7 | ____
是否可以使用目标表中的LAST_INSERT_ID更新源表? INSERT INTO `target` SELECT `a`, `b` FROM `source` 目标表有一个自动增量键id,我想将其
我正在重建一个搜索查询,因为它在“我看到的”中变得多余,我想知道什么 (albums_artists, artists) ( ) does in join? is it for boosting pe
以下是我使用 mysqldump 备份数据库的开关: /usr/bin/mysqldump -u **** --password=**** --single-transaction --databas
我试图获取 MySQL 表中的所有行并将它们放入 HTML 表中: Exam ID Status Assigned Examiner
如何查询名为 photos 的表中的所有记录,并知道当前用户使用单个查询将哪些结果照片添加为书签? 这是我的表格: -- -- Table structure for table `photos` -
我的网站都在 InnoDB 表上运行,目前为止运行良好。现在我想知道在我的网站上实时发生了什么,所以我将每个页面浏览量(页面、引荐来源网址、IP、主机名等)存储在 InnoDB 表中。每秒大约有 10
我在想我会为 mysql 准备两个表。一个用于存储登录信息,另一个用于存储送货地址。这是传统方式还是所有内容都存储在一张表中? 对于两个表...有没有办法自动将表 A 的列复制到表 B,以便我可以引用
我不是程序员,我从这个表格中阅读了很多关于如何解决我的问题的内容,但我的搜索效果不好 我有两张 table 表 1:成员 id*| name | surname -------------------
我知道如何在 ASP.NET 中显示真实表,例如 public ActionResult Index() { var s = db.StaffInfoDBSet.ToList(); r
我正在尝试运行以下查询: "insert into visits set source = 'http://google.com' and country = 'en' and ref = '1234
我是一名优秀的程序员,十分优秀!