c# - 关于在 HttpWebRequest GetResponseStream 中选择缓冲区大小

Question

var h = (HttpWebRequest)WebRequest.Create(url);
using (var hr = (HttpWebResponse)(await h.GetResponseAsync()))
{
    using (var s = hr.GetResponseStream())
    {
        using (var f = new FileStream(saveTo, FileMode.Create, FileAccess.Write, FileShare.None))
        {
            int bytesCount = 0;
            byte[] buf = new byte[2048]; //<------------------------------

            while ((bytesCount = await s.ReadAsync(buf, 0, buf.Length)) > 0)
            {
                await f.WriteAsync(buf, 0, bytesSize);
                // Update UI : downloaded size, percent,...
            }
        }
    }
}

我正在编写一个下载器支持更新 UI(ObservableCollection of thousands items - Batch download)当下载进度改变并恢复下载但不支持多段下载(因为每个项目的大小通常 < 10MB)。
我运行大约 5-20 个下载并发。什么缓冲区大小适合这种情况(对 UI 更新和下载都有好处)？

Answer 1

您希望使用的缓​​冲区大小是操作系统页面大小的倍数，因为这是写入磁盘和内存页面的粒度。使用小于操作系统页面大小的任何内容都不是最佳选择。

操作系统页面一般为 4096 字节。 FileStream 的默认缓冲区大小(如果在构造期间未提供缓冲区大小，则使用)也是 4096 字节。

对于磁盘 I/O，通常最好使用稍大一些的缓冲区 (32-128 KB)。

在您的场景中，使用最多 20 个并发下载，如果您使用 32 或 64 KB 的缓冲区大小，这将只需要 640 KB 或 1.2 MB 的内存，因此这些显然是可行的选择。

假设您在美国，宽带和移动设备的平均下载速度分别为 23 Mbps 和 12 Mbps，那么如果您使用 64 KB 缓冲区(1.2 MB 用于 20 个并发下载)，则可以更新 UI每秒多次下载 20 次。

因此，至少使用 32 - 64 KB 缓冲区。

需要注意的一点是，不要不断分配新的字节缓冲区，而是通过使用缓冲池回收这些固定大小的缓冲区