sql - 在什么规模的数据下分区的 ROI 最有值(value)？

Question

所以我正在研究数据仓库和分区，并且很好奇什么规模最适合根据键(例如，SaleDate)对数据进行分区。

教程经常提到您正在尝试将其分解为逻辑 block ，以便更新数据不太可能导致服务中断。

假设我是一家在美国某州工作的中型公司。我做了很多与 SaleDate 相关的工作，通常每天有数万笔交易(有必要的交易详细信息，每笔 4-50 笔？)，并且有大约 5 年的数据。我想从中查询和构建趋势信息；例如:

• 每年了解哪些商品随着时间的推移变得不受欢迎。
• 每月查看哪些商品在一年中的特定时间流行(夏季冰)
• 每周查看我的各个商店的经营情况
• 每天观察盗窃趋势什么的

现在我的业务部门也想查询该数据，但我希望能够保持响应。

我怎么知道最好按年、月、周、日等对该数据集进行分区？通过测试每个场景，我实际观察到的是否提供了最佳响应时间？或者我可以使用某种规模来了解我的分区在哪里最有效？

编辑:我个人正在使用 Sql Server 2012。但我很好奇其他人如何看待与核心概念相关的这个问题而不是实现(除非这不是您可以这样做)。

Answer 1

需要考虑的事项:

1. 您使用的是什么类型的数据库？ Oracle、SQLServer、IBM 等的不同策略非常重要。
2. 示例查询和运行时间。分区的使用取决于您的 where 子句中的条件，您要过滤什么？
3. 创建/使用聚合表是否有意义？每月汇总似乎可以为您节省一些时间。
4. 分区的使用取决于 where 子句中的条件，您过滤的是什么？

根据您可用的硬件和存储选项，有很多选项，需要更多详细信息才能提出更具体的建议。