mysql - 使用 JPA 或中间件延迟写入数据库

Question

我不知道如何表达，但我正在研究一种延迟写入 MySQL 数据库的方法。我的应用程序从 Twitter 进行数据挖掘，每分钟收到大约 2800 条推文，其中大多数是新的，必须作为新插入进入数据库，而剩下的推文不是新的，而是作为更新进入我的数据库。这意味着我的应用程序一直在对数据库进行写入和读取，导致磁盘使用率为 99%，并使应用程序有点慢且遇到瓶颈。我正在使用具有弱软缓存的 EclipseLink，它对于读取工作得很好，但我也需要一些用于写入的东西，以使它们在内存中保留一段时间，并在一次访问中将所有内容刷新在一起。我的问题是是否有某种框架或中间件可以自动执行此操作。我认为我可以重写我的代码来累积我的实体，直到达到某个限制并将它们全部保留在一个事务中，但在我看来，这是可以已经实现的事情，可以从我的代码中透明地完成。

Answer 1

您可以考虑引入Coherence或类似的产品到您的堆栈中。 Write-Behind caching 涵盖了您的要求.