performance - 下载文件时 CPU 使用率高

Question

例如，当使用 Erlang 的 httpc 通过 HTTP 下载文件时，CPU 利用率比使用 curl 或 wget 高得多。我用来测量下载速度的代码可以在这篇文章的底部看到。

高 CPU 使用率是个问题，尤其是在低端设备上。我在 ARM-SoC 上运行 Erlang，它只比第一个 Raspberry PI 稍微强大一点，这段代码导致 100% 的 CPU 利用率和仅 6.1 MiB/s 的下载速度。使用 curl 和 wget，CPU 利用率保持在略低于 100% 的状态，并且几乎可以充分利用网络接口(interface)(在 100 MBit/s 网络接口(interface)上为 10.7 MiB/s 或 85.6 MBit/s)。

我尝试使用其他 HTTP 库，包括 ibrowse 和 hackney，但同样的问题仍然存在。我猜这与 Erlang 的套接字性能有关，但我可能错了。所以我的问题是，到底是什么导致了这些缓慢的下载速度，是否有任何解决方法？我知道像 https://github.com/puzza007/katipo 这样的图书馆它使用 libcurl，因此可能不会有同样的问题，但我不想使用任何使用 NIF 的库。

defmodule DownloadPerformanceTest do
  @testfile 'http://speed.hetzner.de/100MB.bin'
  @filesize 104857600
  @save_to '/dev/null'

  def test() do
    Application.start(:inets)
    then = :erlang.system_time(:micro_seconds)
    {:ok, :saved_to_file} = :httpc.request(:get, {@testfile, []}, [], [{:stream, @save_to}])
    now = :erlang.system_time(:micro_seconds)
    diff = now - then
    bw = bandwidth_to_human_readable(@filesize, diff)
    IO.puts "Download took #{:erlang.trunc(diff / 1_000_000)} seconds, average speed: #{bw}"
  end

  defp bandwidth_to_human_readable(bytes, microseconds) do
    bytes_per_second = bytes / (microseconds / 1000000)
    exponent = :erlang.trunc(:math.log2(bytes_per_second) / :math.log2(1024))
    prefix = case exponent do
               0 -> {:ok, ""}
               1 -> {:ok, "Ki"}
               2 -> {:ok, "Mi"}
               3 -> {:ok, "Gi"}
               4 -> {:ok, "Ti"}
               5 -> {:ok, "Pi"}
               6 -> {:ok, "Ei"}
               7 -> {:ok, "Zi"}
               8 -> {:ok, "Yi"}
               _ -> {:error, :too_large}
             end
    case prefix do
      {:ok, prefix} ->
        quantity = Float.round(bytes_per_second / :math.pow(1024, exponent), 2)
        unit = "#{prefix}B/s"
        "#{quantity} #{unit}"
      {:error, :too_large} ->
        "#{bytes_per_second} B/s"
    end
  end
end

Answer 1

回到benchmark ，三个明确的问题，我能确定

• 您正在使用一个远程资源，该资源受到制定基准数字的外部因素的影响。因此为了测试，我更改为本地资源
• 其次，除了 hackney，其他库都没有将负载流式传输到文件。虽然保存到/dev/null，但是文件保存是有代价的。
• 测试需要运行多次(可能是三次)

有一次，我删除了 download_loop_hackney() 中的保存操作，hackney 是最快的

defp download_loop_hackney(client, file) do
    case :hackney.stream_body(client) do
      {:ok, _result} ->

        #IO.binwrite(file, result)
        download_loop_hackney(client, file)
      :done ->
        :ok = File.close(file)
    end
  end

因此基准数字是

download_http: download took 0 seconds, average speed: 211.05 MiB/s
download_ibrowse: download took 0 seconds, average speed: 223.15 MiB/s
download_hackney: download took 0 seconds, average speed: 295.83 MiB/s
download_tcp: download took 0 seconds, average speed: 595.84 MiB/s