database-design - 快速查找 100GB 数据-6ren

database-design - 快速查找 100GB 数据

转载作者：行者123 更新时间：2023-12-04 07:14:40

25

4

我有大约 100GB 的数据保存在 ~10MB .csv 文件中。如何优化对该数据的数千个查询的查找速度？具体来说，我不知道要考虑哪些技术或如何估计相对性能。

每个文件对于一个日期都是唯一的，并且包含多个人的数据，例如:

...
2005-07-03, "Daffy Duck", ...
2005-07-03, "Daffy Duck", ...
2005-07-03, "Mickey Mouse", ...
2005-07-03, "Mickey Mouse", ...
...

我想为数千个日期/名称对提取与给定日期/名称对应的所有信息。等效的 SQL 查询将是 SELECT * FROM myDB WHERE Date='2005-07-03' AND Name='Mickey Mouse' .

目前我还没有将数据加载到数据库中。为了执行我的“查询”，我找到了适当的日期文件并按我要查找的名称过滤行。将数据存储在关系数据库、noSQL 数据库或任何其他方式中，我会获得性能改进吗？如果是，为什么和多少？

最佳答案

Would I get performance improvements storing the data in a relational database, noSQL database, or in any other way?

是的(我建议使用“正常”的 RDBMS)

If so why…

这是索引的用途之一

…and by how much?

很多

关于database-design - 快速查找 100GB 数据，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/13612821/

25

4

0

文章推荐： design-patterns - 对象级事务管理模式

文章推荐： wpf - 在 Windows 窗体上使用 WPF 有什么好处？

文章推荐： windows-phone-8 - 如何在 Windows Phone 8 中捕获 Web 异常？

java - 无法从其他 EJB2 查找 EJB2，但可以从 servlet 查找
我在 GlassFish (J2EE_1.4) 上的 NetBeans 中开发企业项目。我的项目中有一些实体 bean、一些 session bean 和消息驱动 bean。我以如下方式使用 serv
mysql - 查找 ('first' )、查找 ('count' ) 或字段 ('id' )...哪个更快？
什么在速度方面更好...... 我正在尝试确定用户是否已将某个 URL 添加到他们的快捷方式列表中。如果他们添加了 URL，页面上就会有一个链接，用于从快捷方式中删除该页面，否则他们可以将其添加到快捷
c++ - 使用Excel模板内的OleFunction“查找”查找 header 变量，然后从C++替换它们
我的问题如下：我打开一个Excel-File，但我不知道我的客户在模板文件中使用了哪些可能的标头变量。它们可以是：＃DATE，＃TIME，＃NAME等。因此，我需要查找这些变量，以及是否已使用过：替
bash - osx 查找 exec rm 查找 : exec: unknown primary or operator
我有一堆以“-e”结尾的文件要删除。 $ find . -name "*-e" exec rm {} \; find: exec: unknown primary or operator 正则表达式是
TypeScript 查找/条件类型和联合
我有一个简单的问题:是否可以在 TypeScript 中获取联合的一部分的类型？例如，您可以经常使用如下查找类型: interface Person { name: string; } type
cuda - 查找 CUDA_SDK_ROOT_DIR
我正在尝试设置 Point Cloud Library启用 CUDA 选项的主干构建。我相信我已经按照 these instructions 正确安装了 CUDA . 在 PCL 构建的 cmake
excel - 查找/替换仅限于一列但许多工作表
我将首先说我所知道的唯一 VBA 是操作录制的宏的反复试验。我是一名注册会计师，试图以艰难的方式学习 VBA(并希望我去学校学习计算机编程!)。我有带有多个工作表的大型工作簿。 G 列中以黄色突出显
python - 查找/删除目录中最旧的文件
当文件数达到阈值时，我试图删除目录中最旧的文件。 list_of_files = os.listdir('log') if len([name for name in list_of_files
arrays - 查找、计数和索引数组中的重复项
我有一个数组，它有一些重复的值。我必须计算每个重复项的数量及其索引。打印如: Index of b: 1 Index of b: 4 Index of c: 2 Index of c: 3 Ind
Eclipse 查找/替换不起作用
我已经搜索了我的问题的解决方案，但没有成功。热键 ctrl+F 找到的 eclipse 查找/替换功能不起作用。注意:通过 Eclipse 菜单 Edit>Find Replace(不工作我的意思是
Jquery 查找 - 仅可见
我想检查 div 是否包含类为“error”的子级，但条件是错误类显示不等于无。 (意味着错误类必须可见。如何更改我的以下代码: $(".related_field").each(function
Jquery - 查找 $(this) 是什么元素
这个问题已经有答案了: 已关闭13 年前。 Possible Duplicate: Can jQuery provide the tag name? 嗨! 这个问题太基础了，我不好意思问，但我尝试了
cygwin - 查找:参数格式不正确
我一直听说这是 cygwin 的路径问题。它阻止了 emacs 在我的 cygwin 中工作。当我在 cli(不是 bash/cygwin)上执行 find 时，无论我输入什么，我都会得到同样的错误。
javascript - 查找:变量值不匹配
我正在使用此变量来获取一个或多个与我需要的值相匹配的值。 var mail = $("#dat").contents().find("td:contains('" + name + "')" ).si
javascript - 查找/合并具有共同属性的两个对象
请原谅这个长问题。我只是不确定解决这个问题的最佳方法是什么。我有一个电子表格(Google 表格)，其中包含用户和地址列表，我需要从中创建邮寄标签。该电子表格是从我们的学生信息系统导出的。这些地址应
vba - 使用范围对象中的行属性进行匹配/查找
我正在 Excel VBA 中创建一个公式，以解析单元格中以逗号分隔的“部分”列表。在另一个工作表中查找具有该零件名称的单元格，然后使用找到的该单元格的地址来获取同一行不同列的零件成本。我为此工作了数
电子邮件验证 MX 查找
我被要求在网络应用程序上实现一些电子邮件地址验证 - 我确信我们都已经经历过一千次了...但是，这一次我被要求在域上进行 MX 查找查看它是否接受电子邮件。有人知道这样做有任何潜在的问题吗？ mx
matlab - 查找.wave文件的末尾以更改MATLAB中的按钮String
我有一个切换按钮，可读取.wave文件，并且字符串更改为暂停，然后..... 我的问题是，当用户播放声音时，按钮字符串更改为暂停，结束声音后，该字符串仍为暂停状态，我想将其更改为播放。但是我不知道如何
regex - 查找/替换功能允许边界替换而不是表达式
对于令人困惑的标题提前表示歉意。我的问题如下，我在大约 600 个文件中有以下文本: $_REQUEST['FOO'] 我想将其替换为以下内容: $this->input->post('FOO') 为
Ansible INI 查找
我正在使用 Ansible 的查找功能查找 INI 文件中的值。这是文档中的示例: - debug: msg="User in integration is {{ lookup('ini', 'use

首页

博学

6Ren·AI

商城

database-design - 快速查找 100GB 数据