javascript - 在nodejs/express中如何允许爬虫使用站点地图

Question

在nodejs/express中如何允许爬虫使用sitemap？

下面的代码是我的应用程序流程的一部分，我应该把我的站点地图文件夹/文件放在哪里？以及如何允许爬虫？现在访问 domain/sitemap/sitemap.xml 显示找不到..

项目/应用/app.js

应用程序.js

require('./RouteHandler.js')(app, express);

RouteHandler.js

...
var routesIndex = require('./routes/Index/Base.js');
app.use('/', routesIndex);
...

module.exports = setupRoutes;

routes/Index/Base.js

var express = require('express');
var router = express.Router();

router.get('/', function(req, res, next) {
   render .. view
});
module.exports = router;

Answer 1

我们有一个类似的案例，我们是这样解决的。

• 编写一个单独的 js 文件，在需要时呈现 xml 文件，并将其保存到一个目录中，从而清除您的主 Web 事件循环，使其不再变得更长。

• 假设文件夹名称是sitemap，文件是sitemap.xml，你可以这样在express中声明一个静态文件

  app.use(express.static('sitemap'));

• 或者，我建议让网络服务器执行此操作，这样请求甚至不会发送到您的应用程序，对我来说，我使用 nginx

  位置/网站 map { root/dir/to/app/dir/站点地图； }我希望这会有所帮助:)