gpt4 book ai didi

mysql - 相当于从多个文件读取数据的快速数据库是什么?

转载 作者:行者123 更新时间:2023-11-29 22:22:30 25 4
gpt4 key购买 nike

我们有大量数据无法装入内存。因此,我们将它们分布在磁盘上的许多文件中,然后打开一个文件并通过向前移动指针来顺序读取记录。一旦指针到达 EOF,我们就打开下一个文件。

我们在加载数据后立即进行过滤。如果我们可以像在数据库中一样运行查询来进行过滤,那就太好了。我们想从数据库而不是文件中读取所有数据,但我们无法一次性将所有数据读入内存,我们该怎么做呢?我们可以使用 block 来传输数据,但这可能需要更多的网络时间。有没有更快的替代方案来解决这个问题?使用 Redis 或 MemSQL 等替代数据存储会有帮助吗?

最佳答案

MemSQL的列存储经过精心设计,可以解决此类问题。当您查询数据时,它将智能地压缩数据并自动在 RAM 和磁盘(SSD 或 HDD)之间移动数据。

MemSQL 还将自动并行处理文件并跨节点分发数据。

这是 MemSQL 的快速入门指南:http://docs.memsql.com/latest/setup/quick_start/

以及一些有关如何开始使用列存储的文档: http://docs.memsql.com/latest/concepts/columnar/

关于mysql - 相当于从多个文件读取数据的快速数据库是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30576395/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com