python - 从具有数千行的 HTML 表更新 MySQL 表

Question

我在网络上有一个 html 文件，它几乎每分钟都会用表格中的新行进行更新。在任何时候，该文件都包含近 15000 行我想创建一个包含表中所有数据的 MySQL 表，然后根据可用数据计算更多行。

上述 HTML 表格包含最近 3 天的行。我想将它们全部存储在我的 mysql 表中，并每隔一小时左右更新一次表(这可以通过 cron 完成吗？)

为了连接到数据库，我使用的是 MySQLdb，效果很好。但是，我不确定这样做的最佳做法是什么。我可以使用 bs4 抓取数据，使用 MySQLdb 连接到表。但是我应该如何更新表格呢？我应该使用什么逻辑来抓取使用最少资源的页面？

我没有获取任何结果，只是抓取和写入。

有什么建议吗？

Answer 1

我的建议不是逐行更新值，而是尝试在临时表中使用批量插入，然后根据一些时间键将数据移动到实际表中。如果您有键列，这将有助于阅读您添加的最近的行。