tcp - Erlang 套接字直到第二个 setopts {active,once} 才接收

Question

首先，我想道歉，我提供了这么多信息，以尽可能清楚地说明问题所在。如果还有什么需要澄清的，请告诉我。

(运行erlang R13B04，内核2.6.18-194，centos 5.5)

我有一个很奇怪的问题。我有以下代码来监听和处理套接字:

%Opts used to make listen socket
-define(TCP_OPTS, [binary, {packet, raw}, {nodelay, true}, {reuseaddr, true}, {active, false},{keepalive,true}]).

%Acceptor loop which spawns off sock processors when connections
%come in
accept_loop(Listen) ->
    case gen_tcp:accept(Listen) of
    {ok, Socket} ->
        Pid = spawn(fun()->?MODULE:process_sock(Socket) end),
        gen_tcp:controlling_process(Socket,Pid);
    {error,_} -> do_nothing
    end,
    ?MODULE:accept_loop(Listen).

%Probably not relevant
process_sock(Sock) ->
    case inet:peername(Sock) of
    {ok,{Ip,_Port}} -> 
        case Ip of
        {172,16,_,_} -> Auth = true;
        _ -> Auth = lists:member(Ip,?PUB_IPS)
        end,
        ?MODULE:process_sock_loop(Sock,Auth);
    _ -> gen_tcp:close(Sock)
    end.

process_sock_loop(Sock,Auth) ->
    try inet:setopts(Sock,[{active,once}]) of
    ok ->
        receive
        {tcp_closed,_} -> 
            ?MODULE:prepare_for_death(Sock,[]);
        {tcp_error,_,etimedout} -> 
            ?MODULE:prepare_for_death(Sock,[]);

        %Not getting here
        {tcp,Sock,Data} ->
            ?MODULE:do_stuff(Sock,Data);

        _ ->
            ?MODULE:process_sock_loop(Sock,Auth)
        after 60000 ->
            ?MODULE:process_sock_loop(Sock,Auth)
        end;
    {error,_} ->
        ?MODULE:prepare_for_death(Sock,[]) 
    catch _:_ -> 
        ?MODULE:prepare_for_death(Sock,[])
    end.

整个设置工作正常，并且在过去几个月一直有效。服务器作为消息传递服务器运行，具有长期保持的 TCP 连接，平均保持约 100k 连接。但是现在我们正在尝试更多地使用服务器。我们正在与 erlang 服务器建立两个长期连接(将来可能更多)，并且每个连接每秒发出数百个命令。在常见情况下，这些命令中的每一个都会产生一个新线程，该线程可能会从 mnesia 进行某种读取，并基于此发送一些消息。

当我们尝试测试这两个命令连接时，奇怪的事情就来了。当我们打开命令流时，任何新连接都有大约 50% 的几率挂起。例如，如果我使用 netcat 连接并发送字符串“blahblahblah”，服务器应该立即返回一个错误。在这样做时，它不会在线程外进行任何调用(因为它所做的只是尝试解析命令，这将失败，因为 blahblahblah 不是命令)。但是大约 50% 的时间(当两个命令连接正在运行时)输入 blahblahblah 会导致服务器在返回该错误之前等待 60 秒。

为了调试它，我打开了 wireshark。 tcp 握手总是立即发生，当从客户端 (netcat) 发送第一个数据包时，它会立即确认，告诉我内核的 tcp 堆栈不是瓶颈。我唯一的猜测是问题出在 process_sock_loop 函数上。它有一个 receive，它将在 60 秒后返回到函数的顶部，并再次尝试从套接字中获取更多。我最好的猜测是发生了以下情况:

• 建立连接，线程进入 process_sock_loop
• 设置{active,once}
• 线程接收，但不获取数据，即使它在那里
• 60 秒后线程返回到 process_sock_loop 的顶部
• {active, once}再次设置
• 这次数据通过了，一切照常进行

我不知道为什么会这样，当我们关闭这两个命令连接时，一切恢复正常，问题就消失了。

有什么想法吗？

Answer 1

很可能是由于调用 spawn 和调用 controlling_process 之间的竞争条件，您对 set {active,once} 的第一次调用失败了

这将是间歇性的，可能取决于主机负载。

执行此操作时，我通常会生成一个函数，该函数会阻塞以下内容:{拿， socks }

然后在 socks 上调用循环，设置{active,once}。

因此，您需要将接受器更改为 spawn，设置 controlling_process，然后设置 Pid! {拿， socks }

类似的东西。注意:我不知道当您不是控制进程时 {active,once} 调用是否真的抛出，如果没有，那么我刚才说的是有道理的。