python - 防止机器人访问托管在 GCloud 上的网站

Question

我正试图阻止所有搜索引擎机器人访问我的网站。

我读到可以将这些权限指定给 robots.txt 文件，但我不确定从哪里访问该文件以便在 Google Cloud 上对其进行编辑。

我使用 Python 和 Gcloud 开发了我的网络服务器。

请注意，我阅读了以下主题 http://stocksonfire.in/seo/edit-robots-txt-google-cloud-solved/但是，我没有在我的资源中找到任何 VM 实例。我需要先创建一个吗？

编辑:这是我应用@Dac Saunders 建议后的 app.yaml 文件

runtime: python
env: flex
entrypoint: gunicorn -b :$PORT main:app

runtime_config:
  python_version: 3

handlers:
- url: /robots\.txt
  static_files: robots.txt
  upload: robots\.txt

Answer 1

我的 robots.txt (使用 python appengine)看起来像这样。

User-agent: *
Disallow: /q?

Sitemap: /sitemap.xml.gz

我把它放在<MYAPP>/static/robots.txt .然后我把它映射到app.yaml像这样:

handlers:
- url: /(robots\.txt|favicon\.ico)
  static_files: static/\1
  upload: static/.*

这样我的 robots.txt 就可以在我的域的根目录中访问了。