perl - 数百万条目的 SQLite 优化？-6ren

perl - 数百万条目的 SQLite 优化？

转载作者：IT王子更新时间：2023-10-29 06:31:46

25

4

<分区>

我正在尝试使用 SQLite 数据库和 Perl 模块来解决问题。最后，我需要记录数千万条条目。每个项目的唯一唯一标识符是 URL 的文本字符串。我正在考虑以两种方式做到这一点:

方式#1:有好表、坏表、未排序表。 (我需要检查 html 并决定是否需要它。)假设我们总共有 10 亿个页面，每个表中有 3.33 亿个 URL。我有一个新的 URL 要添加，我需要检查并查看它是否在任何表中，如果它是唯一的，则将其添加到 Unsorted。此外，我会使用此选项移动很多行。

方式 #2:我有 2 个表，Master 和 Good。 Master 拥有全部 10 亿个页面 URL，而 Good 拥有我想要的 3.33 亿个。新的 URL，需要做同样的事情，除了这次我只查询一个表，我永远不会从 Master 中删除一行，只将数据添加到 Good。

所以基本上，我需要知道最佳设置以快速查询一个巨大的 SQLite 数据库以查看大约 20 个字符的文本字符串是否唯一，如果不是则添加。

编辑:我现在正在尝试让 Berkeley DB 使用 Perl 模块工作，但没有成功。这是我拥有的:

use BerkeleyDB;

$dbFolder = 'C:\somedirectory';
my $env = BerkeleyDB::Env->new ( -Home => $dbFolder );

my $db  = BerkeleyDB::Hash->new (
-Filename => "fred.db", 
-Env => $env );
my $status = $db->db_put("apple", "red");

当我运行它时，我得到以下信息:

Can't call method "db_put" on an undefined value at C:\Directory\perlfile.pl line 42, <STDIN> line 1.

25

4

0

文章推荐： iphone - SQLite count(*) 如何得到结果？

文章推荐： database - 巨大的数据存储问题

文章推荐： ruby - 如何检查 Ruby 对象的方法？

文章推荐： ruby - string.next 的反义词是什么？

sqlite - 通过将 SQLite 表拆分为两部分并与外键链接来重构 SQLite 表
我正在开发一个 SQLite 数据库。数据库已经填满了，但我想重构它。这是我需要做的一个示例: 我目前有一张 table : CREATE TABLE Cars (ID INTEGER PRIMARY
sqlite - Mono + SQLite + Dapper SQLite 插入期间出现异常
我正在使用 Mono、SQLite、Dapper 和 Dapper 扩展。我可以从数据库中读取数据，但插入不起作用。我正在使用 sqlite 的 Mono 驱动程序。错误并不能提供太多信息，至少对我
sqlite - 在 SQLite.cs 中找不到类型或命名空间 'Sqlite'
我有一个使用 SQLite 的 Windows Phone 8 应用程序。该应用程序具有许多数据库功能，并包含一个 sqlite 数据库文件，在运行该应用程序时，该文件将被复制到本地文件夹并进行访问。
sqlite - sqlite 索引的排序顺序
为 sqlite 创建索引时有排序顺序。 https://sqlite.org/lang_createindex.html Each column name or expression can be
sqlite - SQLite，删除表时需要执行任何管家任务吗？
顾名思义，我怀疑如果有一些引用被删除的表会发生什么，例如表的某些字段的索引。 SQLite是否会自动处理？在执行drop命令之前，数据库所有者是否应注意任何实例？最佳答案我认为不需要家政服务。 S
sqlite - SQLite COUNT作为类型转换
我想知道是否有可能将从计数中获得的整数转换为REAL 类似于以下内容（尽管这不起作用） SELECT CAST (COUNT (ColumnA) AS Count) AS REAL) FROM Tab
sqlite - SQLite-更新命令产生空值
我无法在SQLite数据库上执行一些更新。我正在Windows上使用SQLite 3 Shell。我正在运行以下命令： update resovled_chrom_counts set genus
sqlite - SQLite:表约束和触发器
我知道SQLite中的触发器顺序是不确定的（您不能确定将首先执行哪个触发器），但是表约束和触发器之间的关系又如何呢？我的意思是，假设我在一个列中有一个UNIQUE（或CHECK）约束，并且在该表上有
sqlite - Sqlite 子查询的问题
我的 CustomTags 表可能有一系列“临时”记录，其中 Tag_ID 为 0，并且 Tag_Number 将有一些五位数的值。定期，我想清理我的 Sqlite 表以删除这些临时值。例如，我可
sqlite - SQLite:如何将顺序限制的SQL与左联接查询结合在一起
我有A，B，C和D的记录。我的SQL1 SELECT * FROM main_table order by main_table.date desc limit 2返回A和B。我的SQL2 SEL
sqlite - SQLite-删除十进制的尾随零
select round（836.0）返回836.0 我如何删除sqlite查询中的尾随零。 836.00应该是836 836.440应该是836.44 最佳答案如果需要836.44，则需要十进制返
sqlite - SQLite FTS4代码段参数格式
我正在研究RQDA中的文本，并且正在使用Firefox SQLite Manager访问数据库，以便可以更轻松地搜索文件。我创建并填充了虚拟表： CREATE VIRTUAL TABLE texts
sqlite - 通过聚合联合多个表和组(SQlite)
我有这样的数据: table1 id | part | price 1 | ox900 | 100 2 | ox980 | 200 和 table2 id | part | price 1
sqlite - SQLite Insert在BlackBerry上静默失败
我正在尝试将一些数据插入现有的SQLite表中。该表和数据库是使用相同的API创建的，但是由于某种原因，插入操作无效，并且从不给我任何错误消息。我正在BlackBerry 9550模拟器上对此进行测
sqlite - SQLite。根据另一列的值插入一个值
例如，我在名为SALARY的列中插入一个值。如果插入的值大于1000，我想将字符串HIGH插入到RANK列中，否则将插入LOW中。我可以使用SQLite做到吗？最佳答案在插入之前使用触发器，然后
sqlite - sqlite:唯一覆盖指数
假设我有一个包含三列A，B，C的表t1，其中（A，B）包含唯一键（具有数十万行）。由于90％的查询将采用SELECT C FROM t1 WHERE A =？和B = ?，我想我要为A，B和C提供覆盖
sqlite - SQLite:如何从拆分字符串中获取最大值
在一个SQLite3数据库中，我有一个表“ projects”，其id字段由以下方式组成： [user id]_[user's project id] 例如，用户ID = 45，这是一些数据： 45_
sqlite - SQLite-如何在保留子行的同时删除父行？
我了解PRAGMA foreign_key和ON DELETE RESTRICT/NO ACTION的概念，但是我面临的是另一种情况。我需要删除一个父行，但保持与之关联的子行。例如： CREATE
sqlite - SQLite:如何比较两个表？
我的c＃应用程序从Web服务1读取文件列表，并将完整的文件名插入table1，然后从第二个Web服务读取list并将它们插入到table2。这些表具有相同的结构，如下所示： create table
sqlite - SQLite-根据另一个表的列中的值更新列
我在以下情况下尝试将Record1的ID更新为Record2的ID：两个表中的名称相同，并且在Record2中权重更大。记录1 | ID | Weight | Name | |----|----

首页

博学

6Ren·AI

商城

perl - 数百万条目的 SQLite 优化？