security - 如何在不列出目录名称的情况下阻止搜索引擎索引除根目录 .php 和 .html 文件之外的文件和子目录？

Question

我想让搜索引擎只在我的网站根目录中索引 .html 和 .php 文件，而没有子目录。我想这样做而不实际在 robots.txt 文件中列出明确的目录名称，因此黑客和恶意人员不容易找到我的 secret 和重要目录。例如:

Index:
domainname.com/index.php
domainname.com/index.html
domainname.com
domainname.com/

Don't Index:

domainname.com/randomdirectory/*

domainname.com/index.htmldfgdfgg

domainname.com/randomfile.example

domainname.com/index.phpffgfdfgdf

到目前为止，这是我的代码(我绝对不是 robots.txt 的专家):

User-agent: *
Disallow: //*$
Disallow: /*$
Allow: /*.php$
Allow: /*.html$
Allow: /$
Allow: $
Disallow: /*/*

Answer 1

用户代理: *
禁止:/*.example$
IE。
禁止:/*.extension$