- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我正在处理几个专有格式的文件,这些文件存储了电力系统解决方案的结果。数据格式相当简单,但每个结果文件约为 50MB。提供了一个 API 来查询文件格式,但我需要做很多查询,而且 API 非常慢。
我编写了一个程序来使用 API 将这些文件中的几个文件相互比较,并让它运行了几个小时但没有结果。我的下一个想法是对文件进行单次传递,将我需要的数据存储到 sqlite3 数据库中,然后查询它。这让我在 20 分钟内得到了结果。好多了。重组数据以尽可能避免 JOIN:12 分钟。将 .db 文件存储在临时本地位置而不是网络上:8.5 分钟。
该程序以其当前速度或多或少是可以接受的,但是该程序完成后每天将运行许多次。目前,62% 的运行时间花在了 721 次 .execute/.fetchone 调用上。
160787763 function calls (160787745 primitive calls) in 503.061 seconds
Ordered by: internal time
List reduced from 1507 to 20 due to restriction <20>
ncalls tottime percall cumtime percall filename:lineno(function)
721 182.869 0.254 182.869 0.254 {method 'fetchone' of 'sqlite3.Cursor' objects}
721 129.355 0.179 129.355 0.179 {method 'execute' of 'sqlite3.Cursor' objects}
24822 45.734 0.002 47.600 0.002 {method 'executemany' of 'sqlite3.Connection' objects}
由于在这个小部分花费了很多时间,我想在继续前进之前我会询问任何改进它的想法。我觉得我可能会错过一些更有经验的眼睛会捕捉到的简单东西。该程序的这个特定部分的基本结构如下:
for i, db in enumerate(dbs):
for key, vals in dict.iteritems():
# If it already has a value, no need to get a comparison value
if not vals[i]:
solution_id = key[0]
num = key[1]
# Only get a comparison value if the solution is valid for the current db
if solution_id in db.valid_ids:
db.cur.execute("""SELECT value FROM table WHERE solution == ? AND num == ?""",
(solution_id, num))
try:
vals[i] = db.cur.fetchone()[0]
# .fetchone() could have returned None, no __getitem__
except TypeError:
pass
字典结构是:
dict = {(solution_id, num): [db1_val, db2_val, db3_val, db4_val]}
每个条目至少有一个 db_val,其他的没有。上面循环的目的是填充每个可以填充的 db_val 点,以便您可以比较值。
我读到 sqlite3 SELECT 语句只能使用 .execute 执行,因此我无法使用 .executemany(这为我节省了大量的插入时间)。我还阅读了 python 文档,直接从连接对象使用 .execute 可以更有效,但我不能这样做,因为我需要获取数据。
是否有更好的方法来构建循环或查询,以最大限度地减少花在 .execute 和 .fetchone 语句上的时间?
根据CL和rocksportrocker提供的答案,我把我的建表语句(简化版)改成了:
CREATE TABLE table(
solution integer, num integer, ..., value real,
FOREIGN KEY (solution) REFERENCES solution (id),
FOREIGN KEY (num) REFERENCES nums (id)
);
到:
CREATE TABLE table(
solution integer, num integer, ..., value real,
PRIMARY KEY (solution, num),
FOREIGN KEY (solution) REFERENCES solution (id),
FOREIGN KEY (num) REFERENCES nums (id)
) WITHOUT ROWID;
在我的测试用例中,
仍然欢迎任何其他改进,希望这可以成为其他 SQL 新手的一个很好的引用问题。
最佳答案
execute()
和 fetchone()
调用是数据库完成所有工作的地方。
为了加快查询速度,必须对查找列进行索引。为了节省空间,您可以使用聚簇索引,即将表设为 WITHOUT ROWID table。 .
关于python - 减少 python 中 sqlite3 execute/fetchone 的时间,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46469454/
我正在开发一个 SQLite 数据库。数据库已经填满了,但我想重构它。这是我需要做的一个示例: 我目前有一张 table : CREATE TABLE Cars (ID INTEGER PRIMARY
我正在使用 Mono、SQLite、Dapper 和 Dapper 扩展。我可以从数据库中读取数据,但插入不起作用。我正在使用 sqlite 的 Mono 驱动程序。 错误并不能提供太多信息,至少对我
我有一个使用 SQLite 的 Windows Phone 8 应用程序。该应用程序具有许多数据库功能,并包含一个 sqlite 数据库文件,在运行该应用程序时,该文件将被复制到本地文件夹并进行访问。
为 sqlite 创建索引时有排序顺序。 https://sqlite.org/lang_createindex.html Each column name or expression can be
顾名思义,我怀疑如果有一些引用被删除的表会发生什么,例如表的某些字段的索引。 SQLite是否会自动处理?在执行drop命令之前,数据库所有者是否应注意任何实例? 最佳答案 我认为不需要家政服务。 S
我想知道是否有可能将从计数中获得的整数转换为REAL 类似于以下内容(尽管这不起作用) SELECT CAST (COUNT (ColumnA) AS Count) AS REAL) FROM Tab
我无法在SQLite数据库上执行一些更新。我正在Windows上使用SQLite 3 Shell。 我正在运行以下命令: update resovled_chrom_counts set genus
我知道SQLite中的触发器顺序是不确定的(您不能确定将首先执行哪个触发器),但是表约束和触发器之间的关系又如何呢? 我的意思是,假设我在一个列中有一个UNIQUE(或CHECK)约束,并且在该表上有
我的 CustomTags 表可能有一系列“临时”记录,其中 Tag_ID 为 0,并且 Tag_Number 将有一些五位数的值。 定期,我想清理我的 Sqlite 表以删除这些临时值。 例如,我可
我有A,B,C和D的记录。 我的SQL1 SELECT * FROM main_table order by main_table.date desc limit 2返回A和B。 我的SQL2 SEL
select round(836.0)返回836.0 我如何删除sqlite查询中的尾随零。 836.00应该是836 836.440应该是836.44 最佳答案 如果需要836.44,则需要十进制返
我正在研究RQDA中的文本,并且正在使用Firefox SQLite Manager访问数据库,以便可以更轻松地搜索文件。我创建并填充了虚拟表: CREATE VIRTUAL TABLE texts
我有这样的数据: table1 id | part | price 1 | ox900 | 100 2 | ox980 | 200 和 table2 id | part | price 1
我正在尝试将一些数据插入现有的SQLite表中。该表和数据库是使用相同的API创建的,但是由于某种原因,插入操作无效,并且从不给我任何错误消息。 我正在BlackBerry 9550模拟器上对此进行测
例如,我在名为SALARY的列中插入一个值。如果插入的值大于1000,我想将字符串HIGH插入到RANK列中,否则将插入LOW中。 我可以使用SQLite做到吗? 最佳答案 在插入之前使用触发器,然后
假设我有一个包含三列A,B,C的表t1,其中(A,B)包含唯一键(具有数十万行)。由于90%的查询将采用SELECT C FROM t1 WHERE A =?和B = ?,我想我要为A,B和C提供覆盖
在一个SQLite3数据库中,我有一个表“ projects”,其id字段由以下方式组成: [user id]_[user's project id] 例如,用户ID = 45,这是一些数据: 45_
我了解PRAGMA foreign_key和ON DELETE RESTRICT/NO ACTION的概念,但是我面临的是另一种情况。 我需要删除一个父行,但保持与之关联的子行。例如: CREATE
我的c#应用程序从Web服务1读取文件列表,并将完整的文件名插入table1,然后从第二个Web服务读取list并将它们插入到table2。 这些表具有相同的结构,如下所示: create table
我在以下情况下尝试将Record1的ID更新为Record2的ID: 两个表中的名称相同,并且 在Record2中权重更大。 记录1 | ID | Weight | Name | |----|----
我是一名优秀的程序员,十分优秀!