sqlite - 更新用于服务的本地元数据和缓存的本地sqlite数据库？

Question

我搜索了该网站，但没有找到一个能完全回答我的问题的问题/答案，我发现的最接近的问题是：Syncing objects between two disparate systems best approach。

无论如何，因为没有可用的RSS feed，所以我正在屏幕上抓取一个网页，因此它将进行抓取，然后遍历该网页将所有我感兴趣的信息抓取并转储到一个网页中。 sqlite数据库，这样我就可以在闲暇时查询信息，而无需重复从网站获取信息。

但是，我还在sqlite db中存储的数据本身上存储了各种元数据，例如：我是否查看过数据，是新数据还是旧数据，将数据标记为大块数据（将其视为一个集合）不相关的数据，而书签只是指向我在处理/读取所述数据时所处的位置的指针。

因此，现在我当前的问题是尝试找出如何以有效且直接的方式使用网站上的新数据和/或更改的数据来更新本地sqlite数据库。

这是我目前的想法：


下载页面本身
创建一个临时表，供解析后的数据放入
在正式表和临时表之间进行比较，并将更新和/或新信息复制到正式表


这个过程似乎有点复杂，因为我将不得不弄清楚如何确定临时表中的数据是新的，更新的还是不变的。所以我想知道是否有更好的方法，或者是否有人对如何构建/构造这样的系统有任何建议？

编辑1：
我不确定要在注释中还是在编辑中添加其他信息，因此我将在此处添加它。

这在书签方面扩展了元数据的位置，基本上数据源可以创建新数据/添加到当前数据，所以我考虑采用临时表的一个原因是，我可以确定是否被“收藏”的数据源是否有任何新数据。

Answer 1

确定临时表中的数据是新的，更新的还是不变的，真的重要吗？您是否真的需要保留更改历史记录？

否：不要使用临时表，而只是将您的旧记录标记为旧（时间戳），不进行更新，而只是插入新数据。

是的：您的想法对我来说似乎是正确的，但是这完全取决于您每次需要处理多少数据；我认为使用大量数据不可行。