php - 规划、扩展和优化大型 Web 应用程序

Question

我目前正在设计和开发一个 Web 应用程序，该应用程序有可能快速增长。我将提供一些一般信息，然后继续我的问题。我会说我是一名中级网络程序员。

以下是一些规范:MySQL - 数据库后端PHP - 用于前端/后端。也用于 SOAP 客户端HTML、CSS、JS、jQuery - 前端小部件(highcharts、数据表、jquery-ui 等)

由于这是一个公司项目，我不能透露太多细节，但主要目标是构建一个仪表板，成千上万的用户将通过各种设备访问该仪表板。

该项目的数据预计每年增加 50,000 项(每周约 1000 项)。

1 项 = 数据库中的 1 行

一个项目还将记录从它插入那天开始的每日历史记录。

每个项目 1 天的历史 = 1 条记录

每台设备每年 365 条记录

365 * 50,000 = ~18,500,000 [第一年]

之后每年将 ~18,500,000 条记录乘以 x。

(我的论坛有点偏离，因为项目将在全年定期添加)

所有项目和历史记录都通过连接到 API 服务的 SOAP 客户端访问，然后将记录写入数据库。

大部分数据将被读取并保持静态(只读)。但某些项目数据可能会更新或更改。数据也会每天更新，需要再写入x条历史。

问题:

1) MySQL 是处理这些数据需求的良好解决方案吗？某个时候大约有 1 亿条记录。

2) 我仅限于使用我的 PHP Soap 客户端进行同步调用(据我所知)。随着越来越多的项目被提取，这变得非常耗时。是否有更好的选择来编写 SOAP 客户端，以便我可以发送异步请求而无需等待响应？

3) 我应该考虑其他任何要求吗？

Answer 1

扩展所涉及的困难几乎总是用户乘以数据的函数。如果您有很多用户，但数据不多，那么扩展并不难。一个典型的例子是流行的博客。同样，如果您有大量数据但用户不是很多，您也没有问题。这代表诸如会计系统或数据仓库情况之类的东西。

任何解决方案的第一步都是粗略地设计一个模式并大规模测试它。在按步调运行应用程序之前，您将不知道您的应用程序将如何执行。没有两个应用程序会遇到完全相同的问题。大多数时候，您需要调整架构、对某些数据进行反规范化或更积极地缓存内容，但这些只是技术，并没有用于缩放的标准食谱。

在您的特定情况下，如果 INSERT 事件的速率较低并且您的索引不太复杂，那么您不会遇到很多问题。您最终可能会做的是将这数亿行拆分成几个相同的表，每个表中的记录集要小得多。

如果您在执行查询时遇到问题，请考虑标准方法:索引、优化、非规范化，然后缓存。

在 PHP 无法胜任的情况下，请考虑使用 Python、Ruby、Java/Scala 甚至 NodeJS 等工具来帮助简化数据库调用。如果您正在编写 SOAP 接口(interface)，您有很多选择。