gpt4 book ai didi

c#网络爬虫优化

转载 作者:太空宇宙 更新时间:2023-11-03 21:40:33 24 4
gpt4 key购买 nike

<分区>

我有一个用 C# 编写的 Webcrawles,它使用多线程。现在它可以下载和解析大约 1000 个链接/分钟,但是当我运行 ex 时。同时3个实例每个实例可以达到1000个链接/分钟所以我有3000个链接/分钟。一个实例最多使用 2% 的 CPU、100MB RAM 和 1% 的网络速度。现在我想知道当我有可用资源(cpu、ram、网络)时,一个实例是否可以达到 3000 个链接/分钟或更多?

我的代码结构:

ThreadSafeFileBuffer<string> successWriter = new ThreadSafeFileBuffer<string>("ok.txt");
IEnumerable<string> lines = File.ReadLines("urls.txt");
var options = new ParallelOptions
{
CancellationToken = _cts.Token,
MaxDegreeOfParallelism = 500
};

Parallel.ForEach(lines, options, (line, loopState, idx) =>
{
var crawler = new Crawler(line);
var result = crawler.Go(); //download,parse
successWriter.AddResult(result);
}

我有 Windows 7,CPU i7,16GB RAM,SSD 磁盘

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com