php - 将数据内容定期复制到 MySQL 表中的最优雅方法是什么？

Question

我需要解析来自 API 路由的内容并插入到 MySQL 数据库中。解析内容的目的是将数据从 API 复制到我的数据库表。

我需要每天(在指定时间)使用计划的 cron 作业检查 API 响应，并且应该获取所有可用记录并将其插入数据库。每次响应都可能发生变化，并且应该反射(reflect)在API。

也没有任何字段可以考虑用于制作唯一 ID。

我无法搜索和排序，因为这不仅仅是一项更新任务，因此我们不应该“更新”记录，而应该从 API 中“复制”数据。我们需要考虑，

• 从 API 响应中删除已删除的记录，
• 更新修改后的记录字段和
• 还有新记录的插入。

考虑一个例子:

第 1 天，

让API可用的记录为A1、A2、A3、A4

这些记录中可能有重复的条目。

我们将解析 API 响应并按原样插入所有可用记录。该脚本将获取记录(A1、A2、A3、A4)并将其插入到我们的表中。

因此我们的表将包含记录 :( A1, A2, A3, A4)

第二天再考虑，

让 API 可用的记录为 A1,A2,A3,A5,A6 -

可能的情况:

• 每条记录 A1、A2 和 A3 都可以更新字段值第一天

• A4 现已从 API 响应中移除

• 新增记录A5,A6。

在这种情况下，我们的目标是更新表，使其仅包含记录 A1、A2、A3、A5、A6 及其更新值。

数据应该是结构化的，有来自API的特定字段，要解析和获取。我们无法估计更改的频率，要求每天更新。

响应字段值可能会改变，但结构不会改变。应该获取值的字段将保持不变，只有更改会影响字段值。

目前大约有2000条记录，很快就会增加到5000条。

不应有任何停机时间，因为此表中的服务已被另一个应用程序实时使用。编辑:我正在解析 API 响应并将其插入到一个表中，该表充当另一个应用程序的主表。该应用程序需要在没有任何停机时间的情况下工作，即；即使我们正在对表执行一些操作(重新创建表)，也应该尽可能减少停机时间。

示例 API 响应:

[
    {
        "company": "XYZ",
        "company_id": 123,
        "owner": null,
        "owner_id": null
    },
    {
        "company": null,
        "company_id": null,
        "owner": "ABC",
        "owner_id": 321
    },
    {
        "company": "XYZ",
        "company_id": 123,
        "owner": null,
        "owner_id": null
    },
    {
        "company": null,
        "company_id": null,
        "owner": "PQR",
        "owner_id": 100
    }
]

数据库表应按给定的方式复制 API 响应 - 无论 API 结果中是否存在任何错误/重复。无法事先预测 API 响应，也没有任何直接字段可被视为一个唯一的 ID。

我正在使用 PHP-MySQL.API 响应是 JSON 格式。我在 SO 中看到过类似的问题，但它不能很好地满足我的要求，也没有可接受的答案。

What is the best way to periodically load data into table

从上面的问题来看，我的情况似乎也需要使用某种临时表。

考虑到安全性、性能和无停机时间，解决这个问题的最优雅的方法是什么。在这种情况下最好使用什么 MySQL 存储引擎 - (InnoDB/MYISAM)？请指教。

Answer 1

我不太确定您的要求是什么，以及为什么 RichardBernards 的回答不符合您的需求。

您谈论的是一个包含少于 10.000 个 json 对象的数组，导致一个包含少于 10.000 行的表。 json 和最后一行之间的差异很容易存储在内存中。您可以生成一个长的 sql 脚本，其中包含应用更新所需的所有插入、更新和删除，并在一个事务中应用更新。

需求中没有明确的一点是提到“实时”和提到这个“每日”更新，这显然是批处理类型。您将更新描述为批量更新，但提到有实时要求？

如果您确实需要连续访问而不是实时数据，您可以使用新值构建一个新表，并按照 https://dba.stackexchange.com/questions/22108/how-do-i-swap-tables-in-mysql 中的说明重命名这些表。 .假设您有一个名为“CurrentValues”的表，其中包含系统其余部分处理的数据，然后您构建一个表“NewValues”，它看起来就像您的“CurrentValues”表立即看起来的样子。然后，您在一个原子事务中重命名“currentValues”->“oldvalues”、“newValues->currentValues”。然后执行删除“oldvalues”。如果您“幸运”的话，来自 API 的数据是一个完整的列表，可以插入到您的“NewValues”表中。