php - 每秒记录 JSON 数据的最有效方法是什么

Question

原因

我一直在构建一个从多个 JSON 来源提取数据的系统。提取的数据不断变化，我正在通过 PHP 脚本记录 SQL 数据库的变化。 10 次中有 9 次数据不同，因此需要记录。

JSON 需要每秒检查一次。我每分钟都成功地使用一个循环 60 次以上的 PHP 函数执行 cron 任务。

我现在遇到的问题是，我想要检查的 JSON 源越多，PHP 文件的运行速度就越慢，这意味着下一个 cron get 在上一个 cron get 完成之前被触发。这一切都开始让人觉得太不稳定和老套了。

---

问题

假设 PHP 脚本已经是最高效的，还能做什么？

• 我应该使用多个 cron 任务吗？
• 是否应该使用 PHP 以外的其他东西？
• cron 任务是否适合解决此类问题？

任何经验、最佳实践或只是计划旧帮助将不胜感激。

---

概览

我正在监控活跃的比赛并记录每位车手，然后记录车手完成的每一圈。只有当车手越过起跑线/终点线时才会记录圈数，我不知道比赛时间可能会或可能不会进行，也不知道车手何时会越过终点线。因此，我每时每刻都在检查要记录的新数据。

每个可能正在进行比赛的 field 都有一个单独的 URL 来接收 JSON 数据。我添加到我的系统中以监视脚本的运行速度越慢。

我目前有 19 个 field ，脚本大约需要 12 秒才能完成。因为我每分钟都在运行一个 cron 作业并每秒循环一次脚本。我假设我每秒至少运行 12 个脚本。这对我来说似乎不是最有效的方法。当然，当我只检查 1 个 field 时，它很有魅力。

Answer 1

您的运营有一个周期。是的。

1. 通过阅读 $starttime = time(); 的时间开始您的流程。
2. 用时间加上 60 秒来计算下一个预定时间。 $nexttime = $starttime + 60;
3. 做你必须做的操作(阅读一堆json feeds)
4. 计算一分钟还剩多长时间 $timeleft = $nexttime - time();。
5. 睡到下一个预定时间if ($timeleft > 0) sleep ($timeleft);
6. 设置$starttime = $nexttime。
7. 跳回到第 2 步。

显然，如果 $timeleft 一直为负数，则您的测量结果跟不上。如果 $timeleft 总是负数，你会越来越落后。

每分钟使用 cron 可能是一种浪费，因为它需要资源来启动一个新进程并让它继续运行。您可能想让您的进程永远运行，并使用一个 shell 脚本来监视它并在它崩溃时重新启动它。

这一切都很明显。不太明显的是，您应该跟踪测量周期中每一分钟的个人 $timeleft 值。如果它们每天都在变化，您应该跟踪一整天。如果它们每周变化，您应该跟踪一周。

那么您应该查看 $timeleft 的最差(最小)值。如果您的第 95 个百分位数少于大约 15 秒，则您的资源已用完，您需要采取行动。您需要 15 秒这样的余量，这样您的系统就不会进入重载状态。

如果您的系统对数据的延迟采样零容忍，您应该查看 $timeleft 的单个最差值，而不是第 95 个百分位数。您应该给自己留出比 15 秒更宽裕的余地。

所谓的硬实时系统为每个操作分配一个时隙，如果操作超过时隙则崩溃。在您的情况下，时隙为 60 秒，操作正在读取一定数量的提要。崩溃是非常剧烈的，但测量是强制性的。

最简单的操作是开始运行多个工作进程。为每个进程提供一些提要。 php 运行单线程，因此多进程可能会有帮助，至少在你达到三四个进程之前是这样。

然后您将需要添加另一台计算机，并将您的提要分配给这些多台计算机上的工作进程。

解析 JSON 的速度比 php 快的语言环境可能会有所帮助，但前提是解析 JSON 所花费的时间比等待它到达所花费的时间更重要。