gpt4 book ai didi

linux - 在 bash 中获取随机站点链接

转载 作者:太空宇宙 更新时间:2023-11-04 04:22:44 25 4
gpt4 key购买 nike

Possible Duplicate:
Get random site names in bash

我正在为大学制作一个程序,必须查找单词在网络上的出现情况。我需要制定一种算法来查找网站并计算使用的单词数量,然后必须记录它们并按使用次数进行排序。因此,我的程序检查的网站越多越好。首先我想计算随机IP,但问题是这个过程实在太费时间了(我让电脑搜索了一整晚,结果只找到了15个站点)。我猜这是因为站点的 IP 在网络上分布不均匀,并且大多数 IP 属于用户或其他服务。现在我想到了两种新方法,我想知道你们的想法:

如果我通过谷歌使用某种字典进行随机搜索会怎样?字典一开始就是空的,每次执行搜索时,我都会检查一个网站,并仅将出现过一次的单词添加到字典中,这样就不会通过破坏出现次数而再次将我发送到该网站。

这容易吗?

我想做的第一件事是在谷歌搜索中搜索随机页面,而不仅仅是第一个页面,这该怎么办?我不知道如何计算该搜索的最大页面数以及如何直接转到特定页面

谢谢

最佳答案

虽然我认为您不能(或应该)单独在 bash 中执行此操作,但请查看 Google Custom Search APIthis question 。它允许以编程方式直接查询 Google 搜索。

至于要使用哪些查询,您可以从字典文件中随机选择单词 - 尽管这不会给您提供均匀的分布,因为像 'cat' 这样的单词比 'epichorial' 更受欢迎。如果您需要考虑这些差异的东西,您可以使用 word frequency dictionary ,尽管这似乎是您研究本身的目的,所以也许这不合适。

关于linux - 在 bash 中获取随机站点链接,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11809160/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com