gpt4 book ai didi

amazon-s3 - 如何确保网络爬虫适用于 AWS S3 上托管的网站并使用 AJAX

转载 作者:行者123 更新时间:2023-12-02 23:19:40 27 4
gpt4 key购买 nike

Google 网站站长指南解释说,网络服务器应处理包含 _escaped_fragment_ 的网址请求(抓取工具将 www.example.com/ajax.html#!mystate 修改为 www.example.com/ajax.html?_escaped_fragment_=mystate)

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=174992

我的网站位于 AWS S3 上,我没有 Web 服务器来处理此类请求。如何确保爬虫获取 Feed 并且我的网站获取索引?

最佳答案

S3 托管站点是静态 html。没有 POST 处理,没有 PHP 渲染,什么都没有...那么,为什么你关心 Google 索引 AJAX 站点呢?

对于静态网站,只需将格式正确的 robots.txt 和 sitemap.xml 文件上传到您的根路径即可。

关于amazon-s3 - 如何确保网络爬虫适用于 AWS S3 上托管的网站并使用 AJAX,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12800233/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com