用GOOGLE搜索html源代码？

Question

已结束。此问题正在寻求书籍、工具、软件库等的推荐。它不满足 Stack Overflow guidelines 。目前不接受答案。

---

我们不允许提出寻求书籍、工具、软件库等推荐的问题。您可以编辑问题，以便用事实和引文来回答。

已关闭 2 年前。

Improve this question

我有几个网站，但我不记得在哪里编写了一些代码行。由于我的页面已由 Google 编入索引，我想知道 Google 是否提供在 HTML 源代码/标记本身内进行搜索的功能，而不是仅允许在视觉、呈现、部分内进行搜索一个页面？

谢谢

Answer 1

我在旅行中遇到了以下资源(上面已经提到了一些):

以 HTML 标记为中心的搜索引擎

• Nerdydata

我还想添加以下内容:

庞大的网站抓取数据文件

• Common Crawl - 'years of free web page data to help change the world' (over 250TB+)

我们如何分析这些抓取数据？

要了解如何开始分析这些海量数据，请查看 Big Data/Map-reduce-type frameworks(s) .

Google lists some ideas on using Apache's Spark project分析Common Crawl's dump(s) 。了解the file format(s) used by Common Crawl ，请引用以下内容:

• So you’re ready to get started [with Common Crawl]
• Navigating the WARC file format [by Common Crawl]

文章，Accessing-Common-Crawl-Dataset-on-S3 ，概述访问Common Crawl's 250TB+ dump(s)以低成本方式无需将数据负载传输到亚马逊的AWS/S3网络之外。当然，这是假设您将使用某种组合 AWS/EC2/S3等来分析抓取数据。

最后，Patrick Durusau维护some interesting Common-Crawl-usage-related blog pages .

就我个人而言，我觉得这个主题很有趣，我建议我们趁热获取此抓取数据! ;-)