sql - 用于超快速查询的数据库

Question

已结束。此问题正在寻求书籍、工具、软件库等的推荐。它不满足 Stack Overflow guidelines 。目前不接受答案。

---

我们不允许提出寻求书籍、工具、软件库等推荐的问题。您可以编辑问题，以便用事实和引文来回答。

已关闭 4 年前。

Improve this question

我们有一个 300 Gb 以上的数据数组，我们希望尽快查询。传统的 SQL 数据库(特别是 SQL Server)无法按照我们的需要有效地处理这个数据量(例如，在 10 秒内执行 select ，并在 where 子句中包含 10-20 个条件)，因此我正在研究其他解决方案对于这个问题。

我一直在阅读有关 NoSQL 的内容整个事情看起来很有希望，但我更想听听那些在现实生活中使用过它的人的意见。

您在这里有什么建议？

编辑以阐明我们的目标。

我们是一家开发应用程序的公司，用户可以通过该应用程序搜索旅游并预订所述旅游，并使用塑料卡付款。这整件事肯定是俄罗斯特有的，所以请耐心等待。

当用户登录该网站时，她会看到类似于以下的表单:

alt text http://queenbee.alponline.ru/searchform.png

在这里，用户选择她从哪里出发、去哪里、日期、持续时间等等。

点击“搜索”后，请求将发送到我们的数据库服务器，但数据库服务器无法处理此类负载:查询包含各种参数。分片也效果不佳。

所以我想要的是某种伪数据库，它可以进行闪电般的快速查询。

Answer 1

如果您想要进行临时查询以进行报告或分析，您可能最好使用与现成的报告工具配合良好的工具。否则，您可能会发现自己一直被拖着编写小报告程序来查询数据。这是针对 NoSQL 类型数据库的攻击，但根据您的具体情况，它可能会或可能不会成为问题。

300GB 不应超出现代 RDBMS 平台的能力，甚至是 MS SQL Server。这种类型的大型数据库查询的其他一些选项是:

• 看看是否可以使用 SSAS 多维数据集和聚合来缓解查询性能问题。基于使用情况的优化可能会为您带来足够的性能，而无需使用另一个数据库系统。 SSAS 还可以用于无共享配置，允许您在具有直连磁盘的相对便宜的服务器集群中对查询进行 strip 化。如果您确实这样做，请查看 ProClarity 的前端。

• Sybase IQ 是一个 RDBMS 平台，它使用针对报告查询而优化的基础数据结构。它的优点是可以很好地与各种传统报告工具配合使用。存在其他几种这种类型的系统，例如 Red Brick、Teradata 或 Greenplum(使用 PostgreSQL 的修改版本)。对这些系统的主要打击是它们并不完全是大众市场产品，而且可能相当昂贵。

• Microsoft 正在开发一个无共享版本的 SQL Server，您也许可以使用它。然而，他们将其与第三方硬件制造商捆绑在一起，因此您只能使用专用(因此价格昂贵)的硬件来获得它。

• 寻找机会利用聚合数据构建数据集市，以减少某些查询的数量。

• 看看调整你的硬件。直连 SAS 阵列和 RAID Controller 可以非常快速地完成表扫描中使用的流式 I/O。如果您将表划分为大量镜像对，您可以获得非常快的流性能 - 很容易使 SAS channel 饱和。
  
  实际上，您希望获得 10-20GB/秒的速度您的 I/O 子系统，如果您想要您所描述的性能目标，并且当然可以在不诉诸真正奇特的硬件的情况下做到这一点。