个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
我正在开发一个网络爬虫。程序的每个线程尝试每秒读取 3 个主机(330ms 连接和读取超时)。每个线程的优先级为 10 (Ubuntu 12.04)。
当我设置 10 个线程时，爬虫会返回 150 个 Activity 主机(主机没有超时)。
当我设置 400 个线程时，爬虫仅返回 20 个 Activity 主机。我不知道有多少主机真正活着或存在。
我的问题是，是否有可能一个线程在短时间内没有执行，并且当它确实需要时间来继续(从CPU调度)套接字时已经超时？ (因为线程处理请求的时间太长)。
如果是这种情况，我必须设置多少个线程，以便所有线程都有相同的时间？
我使用的是 ubuntu 12.04 x64 - 台式机、4GB RAM、CPU i5
最佳答案
感觉你需要了解 Amdahl's Law 。基本上，对于 N 个线程，您的操作速度将[大大]低于 N 倍。您只有一个 i5，它可以同时支持 2 到 4 个并行任务。由于旋转线程、在线程之间切换以及(如果您不使用调度程序或线程池)销毁线程的成本，向其抛出的线程数量超出了系统真正可以处理的沼泽性能下降的程度。
您也无法保证相同的执行时间，因为您取决于外部因素，例如打开该服务器的套接字以及服务器自身的连接速度。有些服务器会比其他服务器慢，这意味着线程从套接字读取数据的总时间会比其他服务器慢。
我不能肯定地说您的性能是否如推测的那样因 IO 而下降，但我建议进行分析和测试。在系统上设置尽可能多的线程，并从那里开始工作。尽可能最好地分析您的代码。向其投入更多线程不是是一个好主意。
关于Java - 线程优先级和套接字，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/28489969/
25
4
0
我正在维护一些 Java 代码，我目前正在将它们转换为 C#。 Java 代码是这样做的: sendString(somedata + '\000'); 在 C# 中，我正在尝试做同样的事情: sen
如何确定函数中传递的参数是字符串还是字符(不确定如何正确调用它)文字？ 我的函数(不正确): void check(const char* str) { // some code here }
我真的不知道如何准确地提出这个问题，但我希望标题已经说明了这一点。 我正在寻找一种方法(一个框架/库)，它提供了执行 String.contains() 函数的能力，该函数告诉我给定的字符串是否与搜索
我正在尝试编写一些读取 Lambda 表达式并输出 beta 缩减版本的东西。 Lambda 的类型如下:\variable -> expression，应用程序的形式为 (表达式) (表达式)。因此
StackOverflow 上的第 1 篇文章，如果我没能把它做好，我深表歉意。我陷入了一个愚蠢的练习，我需要制作一个“刽子手游戏”，我尝试从“.txt”文件中读取单词，然后我得到了我的加密函数，它将
我想在 Groovy 中测试我的 Java 自定义注释，但由于字符问题而未能成功。 Groovyc: Expected 'a' to be an inline constant of type cha
当我尝试在单击按钮期间运行 javascript location.href 时，出现以下错误“字 rune 字中的字符过多”。 最佳答案 这应该使用 OnClientClick相反？ 您可能还想停
我想要类似的东西: let a = ["v".utf8[0], 1, 2] 我想到的最接近的是: let a = [0x76, 1, 2] 和 "v".data(using: String.Encod
有没有办法在 MySQL 中指定 Unicode 字 rune 字？ 我想用 Ascii 字符替换 Unicode 字符，如下所示: Update MyTbl Set MyFld = Replace(
阅读 PNG 规范后，我有点惊讶。我读过字 rune 字应该用像 0x41 这样的二进制值进行硬编码，而不是在(程序员友好的)'A' 中。问题似乎是在具有不同底层字符集的不同系统上编译期间字 rune
考虑一个具有 UTF-8 执行字符集的 C++11 编译器(并且符合要求 char 类型为有符号 8 位字节的 x86-64 ABI) . 字母 Ä(元音变音)具有 0xC4 的 unicode 代码
为什么即使有 UTF-8 字符串文字，C11 或 C++11 中也没有 UTF-8 字 rune 字？我知道，一般来说，字 rune 字表示单个 ASCII 字符，它与单字节 UTF-8 代码点相同，
我怎样才能用 Jade 做到这一点？ how would I do this 我几乎可以做任何事情，除了引入一个 span 中间句子。 最佳答案 h3.blur. how would I do t
这似乎是一个非常简单的问题，但我只是想澄清我的疑问。我正在查看其他开发人员编写的代码。有一些涉及 float 的计算。 示例:Float fNotAvlbl = new Float(-99); 他为什
我想知道第 3 行“if dec:”中的“dec”是什么意思 1 def dec2bin(dec): 2 result='' 3 if dec:
我试图在字符串中查找不包含任何“a”字符的单词。我写了下面的代码，但它不起作用。我怎么能对正则表达式说“不包括”？我不能用“^”符号表示“不是”吗？ import re string2 = "asfd
这个问题在这里已经有了答案: Is floating point math broken? (31 个答案) Is floating point arbitrary precision availa
我正在创建一个时尚的文本应用程序，但在某些地方出现错误(“字 rune 字中的字符太多”)。我只写了一个字母，但是当我粘贴它时，它会转换成许多这样的字母:“\uD83C\uDD89”，原始字母是“🆉
我正在尝试检查用户是否在文本框中输入了一个数字值，是否接受了小数位。非常感谢任何帮助。 Private Sub textbox1_AfterUpdate() If IsNumeric(textbox1
我知道一个 Byte 是 8 位，但其他的代表什么？我正在参加一个使用摩托罗拉 68k 架构的汇编类(class)，我对目前的词汇感到困惑。 最佳答案 如 operator's manual for
我是一名优秀的程序员,十分优秀！