java - 使搜索引擎能够索引来自 Web 应用程序的数据

Question

我正在使用 Java 和 Cassandra DB 构建社交 Web 应用程序。我希望搜索引擎可以看到数据库中的一些数据。由于我的应用程序是完全动态的并且仅包含数据库中的数据而不包含静态页面中的数据，因此爬虫如何读取这些数据？

1.)我如何确保存储在我的服务器上的数据可以被搜索引擎看到？我的应用程序包含用户特定数据

2.)搜索引擎如何访问该数据？

3.)如何限制搜索引擎仅抓取某些特定数据？

Answer 1

阅读the explanations from Google .

搜索引擎像您网站的任何其他用户一样访问您的数据:通过浏览并单击它们找到的所有链接。仅通过 AJAX 访问的内容将更难以被搜索引擎访问。

可以使用 robots.txt 文件限制访问。上面给出的链接中给出了解释。