security - 只是好奇(所以我知道它是如何工作的): how do search engines find web-sites (if no one knows it) and folders in it?

Question

已关闭。这个问题是 off-topic 。目前不接受答案。

---

想要改进这个问题吗？ Update the question所以它是on-topic用于堆栈溢出。

已关闭12 年前。

Improve this question

1. 第一个问题的答案是从抓取页面(从搜索引擎已经知道的页面)链接到网站。但是，如果您输入very_long_name_without_any_sense_123kni.com，我想它无论如何都会找到它。

2. 第二个问题是关于文件夹的……如果你的根目录下有robots.txt，那就有点清楚了。但是，如果您的网站上没有 robots.txt，搜索引擎将如何找到所有允许访问的文件夹？

3. 如果搜索引擎知道您的网站，但您的网站没有 robots.txt，那么需要多长时间才会出现在最流行的搜索引擎上？ 10 分钟后？ 1小时？ 1天？ 1周？绝不？如果您的网站没有被抓取(因为它受到保护)，那么让页面(应该受到保护)不 protected ，哪怕只有 1 分钟，会有多危险？

附注这些问题与如何使您的网站受欢迎并出现在首页等其他页面上的步骤无关...我只是好奇它的工作原理...

Answer 1

他们不能，也没有。

也就是说，他们可以根据已知的域名(该信息是可访问的)和这些域名的典型默认网站位置做出一些猜测。