mysql - 如何设计和准备大型并发迭代

Question

我可以利用您的帮助以最优化的方式设置我的数据库结构(面向 future )。这有助于根据特定的客户资料从预订网站抓取数据。之后，我想构建带有枢轴等的仪表板，以主要通过 php 获得见解。

情况:

- 10k customer profiles per month 
- through 5 sites 
- with about 125 results 
- with 20 attributes (pricing etc) per result

第一次迭代至少需要 125mio 数据...

以下迭代可能会在 > # 个站点和新的/部分重叠的客户资料中出现偏差(我猜有 20k)。

限制:- 到目前为止只有一个 MySQL 数据库

我考虑过列、行和表的限制，这些是我能想到的选项。也许/希望您有更好的建议或向我指出以下建议:

1. 1 table with all profiles, than create table per profile and save the data (# sites, # results, # attributes) per row in this one

2. Same as 1. But to save the amounts of rows per profile table, a blob with per site data (# results and # attributes). But since I've never worked with aspecifically blobs, I don't know how easy/difficult that would be to get the data out of there to analyze.

Answer 1

您的第二个解决方案比第一个解决方案具有更多的并发限制。如果两个进程想要写入同一个 blob，则与分解所有内容相比，您需要更多的锁定考虑。

首先标准化您的数据。然后，随着你的成长，只在必要的地方进行非规范化。规范化是一种全局优化，而反规范化既有成本也有 yield 。