个人中心
文章发布
退出
作者热门文章
- Java 双重比较
- java - 比较器与 Apache BeanComparator
- Objective-C 完成 block 导致额外的方法调用？
- database - RESTful URI 是否应该公开数据库主键？
28
4
我目前正在处理一个涉及查询大量数据(数十亿行)的问题，并且我对这类事情有点缺乏经验，希望得到一些聪明的建议。
数据/问题如下所示:
目前我在一台机器上运行的 MySQL 中实现了这个，每个键上定义了单独的索引，一个索引跨所有键(唯一)和一个索引组合第一个和最后一个键(这是我目前最常见的查询)我正在制作，但这很容易改变)。不幸的是，这非常慢(索引最终占用了大约 10 倍的磁盘空间，这不是一个大问题)。
我碰巧有一群快速计算机可供使用(约 40 台)，这使得这个单机数据库令人难以置信的缓慢变得更加烦人。我想利用所有这些功能来加快数据库的速度。我考虑过构建一个分布式哈希表，但这会使仅查询键的一个子集变得困难。 BigTable/HBase 之类的东西似乎是一个不错的解决方案，但我还不确定不存在更简单的解决方案。
非常感谢，任何帮助将不胜感激!
最佳答案
我建议您收听此播客，了解有关分布式数据库的一些重要信息。 episode-109-ebays-architecture-principles-with-randy-shoup
关于database - 关于构建快速分布式数据库的建议，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/930811/
28
4
0
我们使用 Azure 弹性池，生成多个客户端数据库和一个引用客户端数据库的主数据库。 我们已经拥有多个数据库，并且正在开发新版本的代码。我们使用 EF6 代码优先。当我们对模型进行更改(添加属性)时，
我们使用 Azure 弹性池，生成多个客户端数据库和一个引用客户端数据库的主数据库。 我们已经拥有多个数据库，并且正在开发新版本的代码。我们使用 EF6 代码优先。当我们对模型进行更改(添加属性)时，
我希望将一些信息分发到不同的机器上，以便在没有任何网络开销的情况下实现高效和极快的访问。数据存在于关系模式中，实体之间的关系是“加入”的要求，但根本不是写入数据库的要求(它会离线生成)。 我非常相信
我使用 GrapheneDB 来托管我的 neo4j 数据库 (db)。 问题 我有 N客户并且正在寻找自动分离他们的内容(他们独特的数据库)的方法，以便: 它不重叠数据 操作速度不受影响。 选项 1
当服务器开始工作(Tomcat)时，日志显示此错误: org.springframework.beans.factory.BeanDefinitionStoreException: Invalid b
我在 Oracle 数据库实例中按以下方式创建了一个触发器。 CREATE OR REPLACE TRIGGER after_logon_on_database AFTER LOGON ON DATA
原谅我的无知，我是数据库约定的初学者。 这是我的 SQLite 代码:(由我的数据库浏览器自动生成) CREATE TABLE `ResearchItems` ( `ID` INTEGER NO
是的是的是的，我已经在整个互联网上搜索过这个问题。一些结果发现，甚至来自 Stackoverflow。但是他们中的大多数人说“你应该自动加载数据库”，或者“parent::__construct();
我正在创建一个 Mac 应用程序，它将一些数据保存到 SQLite 数据库中。问题是:当我关闭数据库并再次打开时，数据不存在了。这是我的代码: NSString *sql = [NSString st
我正在建立一个网站，我打算发布各种帖子，比如教程、文章等。我打算用 php 来管理它，但是当涉及到存储每个帖子的内容时，将要显示的文本，更好的选择是:使用单独的文本文件还是将其添加为数据库中的每个条目
关闭。这个问题需要更多focused .它目前不接受答案。 想改进这个问题吗？ 更新问题，使其只关注一个问题 editing this post . 关闭 3 年前。 Improve this qu
对不起，这个关键字对我来说没有任何意义...有人可以给我一个定义吗？ 提前致谢... 最佳答案 这是一个品牌。 http://pervasive.com/这是他们的数据库产品的链接 http://ww
我已经在 docker 版本 1.10.1 的 docker 镜像中安装了 PostgreSQL 9.4.6。根据这张官方图片: https://github.com/docker-library/p
当我的 android 应用程序尝试读取 android 短信数据库时，我遇到了这个崩溃。读取android短信数据库的代码类似于下面的代码 fragment : String SMS_URI = "
我有一个 public kit repo，我推送了 v1.0.3 并具有以下结构 go -database --database.go --go.mod --go.sum 我需要它 require g
关闭。这个问题需要更多focused .它目前不接受答案。 想改进这个问题吗？ 更新问题，使其只关注一个问题 editing this post . 关闭 9 年前。 Improve this qu
我们正在使用MySQL数据库在Go中创建一个Web应用程序。我们的用户一次只能拥有一个活跃的客户端。就像Spotify一样，您一次只能在一台设备上听音乐。为此，我制作了一个映射，将用户ID和作为其值的
我已经尝试在 PostgreSQL 中创建数据库好几天了，遇到了几个问题，但似乎卡住了。 我在 PostgreSQL 中手动创建了一个名为 postgres_development 的数据库，因为 b
我正在创建一个 iMessage 应用程序，它需要连接到与我的常规应用程序相同的数据库。 我调用 FirebaseApp.configure() 并对用户进行身份验证，但出于某种原因，在所有 Data
就像std::unordered_map但所有数据都应存储在磁盘上而不是内存中。 按照我的理解，应该做两部分:索引和存储。我已经学习了一些关于索引的数据结构，比如 Linear-Hash 或 B-Tr
我是一名优秀的程序员,十分优秀！