个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
28
4
我要爬一个网站以获取一些信息。它大约有 170 000 多页。那么，我可以提出多少请求？我要提取直到 HTML 并获取一些信息。这是一个已经很受欢迎的网站，所以我认为如果只是快速浏览所有页面它不会死...唯一让我紧张的是我不知道所有者是否会阻止我的IP或其他什么如果你这样做？这是正常的吗？我应该只加载 5 页/分钟吗？然后它将永远......我想每 24 小时获取一次新数据。
谢谢大家的回复!
最佳答案
这需要一些时间，实际上我建议您使用轮换代理，并添加多线程。 10个线程就可以了。这样，您可以同时有 10 个请求。但是使用代理会很慢，并且每个请求添加至少 1.5 秒的超时，它会减慢您的速度，但会降低被禁止的风险。
关于web-crawler - 我实际抓取网站的速度有多快？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/4395319/
28
4
0
我有两个维度 DimFlag 和 DimPNL 以及一个事实表 FactAmount 。我正在寻找:当 pnl 是 stat(Is Stat=1) 时:sum (Actual x FlagId)对于
我想对包含其部分内容的文本字段执行简单搜索，但我不知道从哪里开始。我基本上想要人们对“包含搜索”的期望。如果我在 issue 中搜索 345 ，我会想要这个结果: 123456 234567 3456
我在 VBE 的 C# 插件中有这段代码(强调“VBE”:它不是 MS-Office 插件): public abstract class HostApplicationBase : IHostApp
我有一个 ImageView，它显示来自资源的图像。ImageView 的宽度是固定的 (60dp)。高度设置为 wrap_content。调整图像大小以适合此宽度(节省宽高比 - 这很完美) 问题是
我正在建立一个网站，但遇到了一个问题:谷歌浏览器开发者工具中的背景以较低/较高的分辨率延伸。当我直接从手机打开网站时，背景不适合屏幕，只是“剪切”了背景。 这是网站:https://feargames
好吧，首先，这是 HTML 模板: ... ... ... ... 如您所见，页面位于标题下方，并且通过 JS 代码可见
我读到了 BK-trees (Burkhard-Keller-Trees) 几个月前，据说这是一种保存您想通过距离度量再次读取的内容的好方法。因此，在每种情况下，您都希望通过相似性检索某些内容。 然而
在 python 中，很容易根据字符数用空格填充字符串。例如: print "aaa".ljust(10) + "end" print "www".ljust(10) + "end" 输出是: aaa
我的问题不是特定于编程语言的，而是更通用的问题，以了解人们的思维方式。 通常在大型开发公司中，每项工作都有特定的角色，例如程序员和架构师。因此架构师的观点是拥有完美的架构师和解决方案设计，另一方面程序
我想将数据传递给 then 方法，但是当我通过给它 this.passedResolve 来执行此操作时，它会得到 undefined function Promises(callback){
我希望使用 Erlang/Elixir 在金融市场创建一个平台即服务。我将在金融市场提供 AWS lambda 风格的函数，但我计划向客户分发我自己的基于 ARM 的硬件终端(基于 Nvidia Je
已结束。此问题正在寻求书籍、工具、软件库等的推荐。它不满足Stack Overflow guidelines 。目前不接受答案。 我们不允许提出寻求书籍、工具、软件库等推荐的问题。您可以编辑问题，以便
我已经看到很多代码，这些代码使用Runnable的循环时间来实现某些计时器/超时。问题是，如果有人决定更改此Runnable的循环时间，则计时器将不正确。 例: #define FOO_TIMER_1
当我将 WPF DataGrid 的 ColumnHeaderHeight 设置为 Auto (double.NaN) 时，如何获取列标题的实际呈现高度？ 我似乎无法在 DataGrid 类中找到该属
目前最实用的png修复方法是什么？轻量级，支持背景重复和背景位置。 最佳答案 IE7.JS在我看来: IE7.js is a JavaScript library to make Microsoft
我已经进行了长时间的搜索并尝试了常见的嫌疑人，但现在是寻求帮助的时候了。 我的 Android Activity 非常愉快地从 SQLite 加载 EditText、Spinner 和 CheckBo
因此，我在 MySQL 全文中创建精确搜索时遇到了一些困难。 在我的数据库中，我正在尝试查找标题中包含特定关键字的职位。 所以我可以尝试 WHERE MATCH(jobTitle) AGAINST (
我正在尝试将 JavaScript 包含到一个表单应用程序中，该应用程序从现场收集施工数据。我已经用谷歌搜索了这个废话，但我无法弄清楚将 html 元素保存在数组中是否合法(或者我的语法是否正确)。
我知道有六种方法可以获取 session.save_path 指令的值(phpinfo()、session_save_path()等)，但当值为空字符串时(默认情况下为空字符串)，实际路径可以是多个位
我知道 npm 库在安装时可以在分层树中安装同一库的多个版本，如下所示: a@0.1.0 -> b@1.0 -> c@2.0 -> b@2.0 在上面，版本0.1.0的包a被拉入
我是一名优秀的程序员,十分优秀！