用于存储/访问大量数据的 PostgreSQL 和 S3QL

Question

我们目前在 Amazon 的 EC2 上使用 Postgres 9，对性能非常满意。现在我们正在考虑将约 2TB 的数据添加到 Postgres，这比我们的 EC2 小型实例可以容纳的要大。

我找到了 S3QL并且正在考虑将它与将 Postgres 数据目录移动到 S3 存储一起使用。有没有人有这样做的经验？我主要关心性能(频繁读取，较少写入)。欢迎任何建议，谢谢。

Answer 1

我的建议是“不要那样做”。我对你的问题的上下文一无所知，但我想解决方案不必涉及通过 PostgreSQL 进行批量数据处理。发明网格处理系统的全部原因是为了解决分析大型数据集的问题。我认为您应该考虑构建一个遵循围绕提取维度数据的标准 BI 实践的系统。然后获取标准化数据，假设它仍然很大，将其加载到 Hadoop/Pig 中。在那里进行分析和汇总。将生成的聚合数据转储到一个文件中，并将那个与维度一起加载到您的 PG 数据库中。