java - 两个不同的 Java 应用程序共享同一个数据库

Question

在我的 Web 应用程序中，我有一个部分需要持续抓取 Web、处理这些数据并将其呈现给用户。所以我想知道将它分成两个单独的应用程序是否是一种好方法，其中一个应用程序将执行爬网、数据处理并将数据存储在数据库中。另一个应用程序将是一个 Web 应用程序(安装在某些 Web 服务器上)，它将向用户呈现数据库中的数据并允许他与数据进行某种交互。

我认为我需要这种拆分的原因是，如果我对我的 Web 应用程序进行某些更改(例如添加新功能、更改界面等)，我不希望抓取被打断。

我的应用程序堆栈是 Tapestry(Web 层)、Spring、Hibernate(基于 MySQL)和我自己独立于其他爬虫的实现。

只使用同一个数据库来集成好不好？这可能会导致同时从两个应用程序访问数据库时出现问题。或者可以在 Hibernate 级别上完成集成，以便两个应用程序可以使用相同的 Hibernate session 吗？但是一个 JVM 实例中的应用程序可以访问另一个 JVM 实例中的对象吗？

如果您对此事有任何建议，我将不胜感激。

更新

用户(从网络应用程序的界面)将输入 URL 供爬虫程序解析。爬虫应用程序只会读取带有网络应用程序填充的 URL 的表格。反之亦然，爬虫处理的数据只会呈现在用户界面上。所以，我认为我不应该担心任何类型的锁定，对吧？

谢谢，尼古拉

Answer 1

我肯定会像您计划的那样将它们分开。与请求驱动的 Web 应用程序相比，Web 抓取更像是一个“批处理”过程。 Web 抓取应用程序将在其自己的 JVM 中运行，而您的 Web 应用程序将在 servlet/Java EE 容器中运行。

爬虫多久运行一次或者它是一个持续运行的过程？您可能需要根据您的要求考虑频率。

来自网络应用程序的用户是否会更新爬虫将向其发布数据的相同表格？在这种情况下，您需要采取预防措施，否则可能会出现潜在的死锁。如果您希望您的网络应用程序根据表中的新插入自动刷新数据，那么您可以创建一个消息驱动的 bean(使用 JMS )以从爬虫应用程序异步通知网络应用程序。当新的数据插入消息到达时，您可以在页面上提交表单或使用 ajax 更新页面本身的数据。

Web 应用程序应该使用连接池，批处理应用程序可以使用 DBCP或 C3P0 .我不确定在这种情况下尝试共享数据库 session 对您有多大好处。

通过这种方式，您可以在两个应用程序之间进行集成，同时不会因等待对方处理而减慢彼此的速度。

喂!