个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
29
4
似乎典型的爬虫只是下载少量页面或做很少的处理来决定下载哪些页面是 IO 限制的。
我很好奇，相关数据结构的大小、存储页面的数量、索引要求等的数量级估计可能实际上使 CPU 成为瓶颈？
例如，应用程序可能希望根据在页面上找到的链接来计算一些概率，以便决定下一个要抓取的页面。此函数采用 O(noOfLinks) 并被评估 N 次(在每一步)...其中 N 是我想要的页数在一轮爬行中下载。我必须对这些概率进行排序和跟踪，并且我必须跟踪最终将被转储到磁盘中的 O(N) 列表和索引一个搜索引擎。 N 变得足够大并且存储页面和操作链接变得足够昂贵以与 IO 响应竞争是不可能的(假设一台机器)？
最佳答案
仅当您在每个页面上进行大量处理时。例如，如果您正在运行某种 AI 来尝试猜测页面的语义。
即使您的爬虫在非常快的连接上运行，创建连接的开销仍然存在，而且您也可能受到目标机器带宽的限制
关于java - 在什么情况下网络爬虫可能会受到 CPU 限制而不是 IO 限制？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/6079020/
29
4
0
我是 Java 新手，这是我的代码， if( a.name == b.name && a.displayname == b.displayname && a.linknam
在下面的场景中，我有一个 bool 值。根据结果，我调用完全相同的函数，唯一的区别是参数的数量。 var myBoolean = ... if (myBoolean) { retrieve
我是一名研究 C++ 的 C 开发人员: 我是否正确理解如果我抛出异常然后堆栈将展开直到找到第一个异常处理程序？是否可以在不展开的情况下在任何 throw 上打开调试器(即不离开声明它的范围或任何更高
在修复庞大代码库中的错误时，我观察到一个奇怪的情况，其中引用的动态类型从原始 Derived 类型更改为 Base 类型!我提供了最少的代码来解释问题: struct Base { // some
我正在尝试用 C# 扩展给定的代码，但由于缺乏编程经验，我有点陷入困境。 使用 Visual Studio 社区，我尝试通过控制台读出 CPU 核心温度。该代码使用开关/外壳来查找传感器的特定名称(即
这可能是一个哲学问题。 假设您正在向页面发出 AJAX 请求(这是使用 Prototype): new Ajax.Request('target.asp', { method:"post", pa
我有以下 HTML 代码，我无法在所有浏览器中正常工作: 我试图在移动到
我对 Swift 很陌生。我如何从 addPin 函数中检索注释并能够在我的 addLocation 操作 (buttonPressed) 中使用它。我正在尝试使用压力触摸在 map 上添加图钉，在两
我设置了一个详细 View ，我是否有几个 Nib 文件根据在 Root View Controller 的表中选择的项目来加载。 我发现，对于 Nibs 的类，永远不会调用 viewDidUnloa
我需要动态访问 json 文件并使用以下代码。在本例中，“bpicsel”和“temp”是变量。最终结果类似于“data[0].extit1” var title="data["+bpicsel+"]
我需要使用第三方 WCF 服务。我已经在我的证书存储中配置了所需的证书，但是在调用 WCF 服务时出现以下异常。 向 https://XXXX.com/AHSharedServices/Custome
在几个 SO 答案(1、2)中，建议如果存在冲突则不应触发 INSERT 触发器，ON CONFLICT DO NOTHING 在触发语句中。也许我理解错了，但在我的实验中似乎并非如此。 这是我的 S
如果进行修改，则会给出org.hibernate.NonUniqueObjectException。在我的 BidderBO 类(class)中 @Override @Transactional(pr
我使用 indexOf() 方法来精细地查找数组中的对象。 直到此刻我查了一些资料，发现代码应该无法正常工作。 我在reducer中尝试了上面的代码，它成功了 let tmp = state.find
假设我有以下表格: CREATE TABLE Game ( GameID INT UNSIGNED NOT NULL, GameType TINYINT UNSIGNED NOT NU
代码: Alamofire.request(URL(string: imageUrl)!).downloadProgress(closure: { (progress) in
我是一名优秀的程序员,十分优秀！