- r - 以节省内存的方式增长 data.frame
- ruby-on-rails - ruby/ruby on rails 内存泄漏检测
- android - 无法解析导入android.support.v7.app
- UNIX 域套接字与共享内存(映射文件)
我有两个正在处理的数据文件。一个包含单词列表以及关于这些单词的一些附加信息,另一个包含单词对(其中单词按第一个表中的单词 ID 列出)及其频率。
词典文件(示例输出)
('wID', 'w1', 'w1cs', 'L1', 'c1')
('-----', '-----', '-----', '-----', '-----')
(1, ',', ',', ',', 'y')
(2, '.', '.', '.', 'y')
(3, 'the', 'the', 'the', 'at')
(4, 'and', 'and', 'and', 'cc')
(5, 'of', 'of', 'of', 'io')
二元文件(示例输出)
('freq', 'w1', 'w2')
(4, 22097, 161)
(1, 98664, 1320)
(1, 426515, 1345)
(1, 483675, 747)
(19, 63, 15496)
(2, 3011, 7944)
(1, 27985, 27778)
我使用 SQLite 创建了两个表并从上面的文件上传了数据。
conn = sqlite3.connect('bigrams.db')
conn.text_factory = str
c = conn.cursor()
c.execute('pragma foreign_keys=ON')
词典表
c.execute('''CREATE TABLE lex
(wID INT PRIMARY KEY, w1 TEXT, w1cs TEXT, L1 TEXT, c1 TEXT)''')
#I removed this index as per CL.'s suggestion
#c.execute('''DROP INDEX IF EXISTS lex_index''')
#c.execute('''CREATE INDEX lex_index ON lex (wID, w1, c1)''')
#and added this one
c.execute('''CREATE INDEX lex_w1_index ON lex (w1)''')
向词典表中插入数据
#I replaced this code
# with open('/Users/.../lexicon.txt', "rb") as lex_file:
# for line in lex_file:
# currentRow = line.split('\t')
# try:
# data = [currentRow[0], currentRow[1], currentRow[2], currentRow[3], str(currentRow[4].strip('\r\n'))]
# c.executemany ('insert or replace into lex values (?, ?, ?, ?, ?)', (data,))
# except IndexError:
# pass
#with the one that Julian wrote
blocksize = 100000
with open('/Users/.../lexicon.txt', "rb") as lex_file:
data = []
line_counter = 0
for line in lex_file:
data.append(line.strip().split('\t'))
line_counter += 1
if line_counter % blocksize == 0:
try:
c.executemany ('insert or replace into lex values (?, ?, ?, ?, ?)', data)
conn.commit()
except IndexError:
block_start = line_counter - blocksize + 1
print 'Lex error lines {}-{}'.format(block_start, line_counter)
finally:
data = []
二元组表
#I replaced this code to create table x2
#c.execute('''CREATE TABLE x2
# (freq INT, w1 INT, w2 INT, FOREIGN KEY(w1) REFERENCES lex(wID), FOREIGN KEY(w2) REFERENCES lex(wID))''')
#with the code that Julian suggested
c.execute('''CREATE TABLE x2
(freq INT, w1 INT, w2 INT,
FOREIGN KEY(w1) REFERENCES lex(wID),
FOREIGN KEY(w2) REFERENCES lex(wID),
PRIMARY KEY(w1, w2) )''')
向二元组表中插入数据
#Replaced this code
#with open('/Users/.../x2.txt', "rb") as x2_file:
# for line in x2_file:
# currentRow = line.split('\t')
# try:
# data = [str(currentRow[0].replace('\x00','').replace('\xff\xfe','')), str(currentRow[1].replace('\x00','')), str(currentRow[2].replace('\x00','').strip('\r\n'))]
# c.executemany('insert or replace into x2 values (?, ?, ?)', (data,))
# except IndexError:
# pass
#with this one suggested by Julian
with open('/Users/.../x2.txt', "rb") as x2_file:
data = []
line_counter = 0
for line in x2_file:
data.append(line.strip().replace('\x00','').replace('\xff\xfe','').split('\t'))
line_counter += 1
if line_counter % blocksize == 0:
try:
c.executemany('insert or replace into x2 values (?, ?, ?)', data)
conn.commit()
except IndexError:
block_start = line_counter - blocksize + 1
print 'x2 error lines {}-{}'.format(block_start, line_counter)
finally:
data = []
conn.close()
我希望能够检查数据中是否存在给定的词对——例如“like new”
当我只指定第一个词时,程序运行正常。
cur.execute('''SELECT lex1.w1, lex2.w1 from x2
INNER JOIN lex as lex1 ON lex1.wID=x2.w1
INNER JOIN lex as lex2 ON lex2.wID=x2.w2
WHERE lex1.w1= “like” ’’’)
但是当我想搜索一对单词时,代码慢得令人痛苦。
cur.execute('''SELECT lex1.w1, lex2.w1 from x2
INNER JOIN lex as lex1 ON lex1.wID=x2.w1
INNER JOIN lex as lex2 ON lex2.wID=x2.w2
WHERE lex1.w1=“like” AND lex2.w1= “new” ''')
我不知道我做错了什么。任何帮助将非常感激。
最佳答案
EXPLAIN QUERY PLAN显示数据库首先扫描了x2
表,然后为每个x2
行查找对应的lex
行,检查单词是否匹配。lex
查找是使用临时索引完成的,但是对 x2
中的每一行执行两次此查找仍然会使整个查询变慢。
如果数据库能先查出这两个词的ID,然后在x2
中查找有这两个ID的行,查询会很快。这需要一些新的索引。(lex_index
索引仅对从 wID
列开始的查找有用(并且此类查找可能已经使用了主键索引)。)
您需要创建一个允许搜索 w1
的索引:
CREATE INDEX lex_w1_index ON lex(w1);
要查找包含这两个单词 ID 的任何 x2
行,您需要在最左侧位置对这两列进行一些索引:
CREATE INDEX x2_w1_w2_index ON x2(w1, w2);
或者,将这两列作为主索引(参见 Julian 的回答)。
要强制数据库首先进行单词 ID 查找,您可以将它们移动到子查询中:
SELECT freq
FROM x2
WHERE w1 = (SELECT wID FROM lex WHERE w1 = 'like')
AND w2 = (SELECT wID FROM lex WHERE w1 = 'new')
然而,这不是必须的;使用新索引,优化器应该能够自动找到最佳查询计划。 (但如果您认为它更具可读性,您仍然可以使用此查询。)
关于python - SQLite 中的连接语句出现问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24841445/
我正在开发一个 SQLite 数据库。数据库已经填满了,但我想重构它。这是我需要做的一个示例: 我目前有一张 table : CREATE TABLE Cars (ID INTEGER PRIMARY
我正在使用 Mono、SQLite、Dapper 和 Dapper 扩展。我可以从数据库中读取数据,但插入不起作用。我正在使用 sqlite 的 Mono 驱动程序。 错误并不能提供太多信息,至少对我
我有一个使用 SQLite 的 Windows Phone 8 应用程序。该应用程序具有许多数据库功能,并包含一个 sqlite 数据库文件,在运行该应用程序时,该文件将被复制到本地文件夹并进行访问。
为 sqlite 创建索引时有排序顺序。 https://sqlite.org/lang_createindex.html Each column name or expression can be
顾名思义,我怀疑如果有一些引用被删除的表会发生什么,例如表的某些字段的索引。 SQLite是否会自动处理?在执行drop命令之前,数据库所有者是否应注意任何实例? 最佳答案 我认为不需要家政服务。 S
我想知道是否有可能将从计数中获得的整数转换为REAL 类似于以下内容(尽管这不起作用) SELECT CAST (COUNT (ColumnA) AS Count) AS REAL) FROM Tab
我无法在SQLite数据库上执行一些更新。我正在Windows上使用SQLite 3 Shell。 我正在运行以下命令: update resovled_chrom_counts set genus
我知道SQLite中的触发器顺序是不确定的(您不能确定将首先执行哪个触发器),但是表约束和触发器之间的关系又如何呢? 我的意思是,假设我在一个列中有一个UNIQUE(或CHECK)约束,并且在该表上有
我的 CustomTags 表可能有一系列“临时”记录,其中 Tag_ID 为 0,并且 Tag_Number 将有一些五位数的值。 定期,我想清理我的 Sqlite 表以删除这些临时值。 例如,我可
我有A,B,C和D的记录。 我的SQL1 SELECT * FROM main_table order by main_table.date desc limit 2返回A和B。 我的SQL2 SEL
select round(836.0)返回836.0 我如何删除sqlite查询中的尾随零。 836.00应该是836 836.440应该是836.44 最佳答案 如果需要836.44,则需要十进制返
我正在研究RQDA中的文本,并且正在使用Firefox SQLite Manager访问数据库,以便可以更轻松地搜索文件。我创建并填充了虚拟表: CREATE VIRTUAL TABLE texts
我有这样的数据: table1 id | part | price 1 | ox900 | 100 2 | ox980 | 200 和 table2 id | part | price 1
我正在尝试将一些数据插入现有的SQLite表中。该表和数据库是使用相同的API创建的,但是由于某种原因,插入操作无效,并且从不给我任何错误消息。 我正在BlackBerry 9550模拟器上对此进行测
例如,我在名为SALARY的列中插入一个值。如果插入的值大于1000,我想将字符串HIGH插入到RANK列中,否则将插入LOW中。 我可以使用SQLite做到吗? 最佳答案 在插入之前使用触发器,然后
假设我有一个包含三列A,B,C的表t1,其中(A,B)包含唯一键(具有数十万行)。由于90%的查询将采用SELECT C FROM t1 WHERE A =?和B = ?,我想我要为A,B和C提供覆盖
在一个SQLite3数据库中,我有一个表“ projects”,其id字段由以下方式组成: [user id]_[user's project id] 例如,用户ID = 45,这是一些数据: 45_
我了解PRAGMA foreign_key和ON DELETE RESTRICT/NO ACTION的概念,但是我面临的是另一种情况。 我需要删除一个父行,但保持与之关联的子行。例如: CREATE
我的c#应用程序从Web服务1读取文件列表,并将完整的文件名插入table1,然后从第二个Web服务读取list并将它们插入到table2。 这些表具有相同的结构,如下所示: create table
我在以下情况下尝试将Record1的ID更新为Record2的ID: 两个表中的名称相同,并且 在Record2中权重更大。 记录1 | ID | Weight | Name | |----|----
我是一名优秀的程序员,十分优秀!