python - 如何强制关闭用 python 打开的套接字？

Question

我目前正在使用这个库对我设置的 kafka 服务器进行压力测试:https://github.com/dsully/pykafka

import kafka
import time

def test_kafka_server(n=1):
    for i in range(0,n):
        producer = kafka.producer.Producer('test',host='10.137.8.192')
        message = kafka.message.Message(str(time.time()))
        producer.send(message)
        producer.disconnect()

def main():
    test_kafka_server(100000)

if __name__ == '__main__':
    main()

最终发生的是我自己的本地机器重载。

我收到错误 10055，根据 google 的说法，这意味着 “Windows 已用完 TCP/IP 套接字缓冲区，因为一次打开的连接太多。” 根据对于 netstat，producer.disconnect() 并未关闭套接字，而是将其置于 TIME_WAIT 状态。

ipython 调试器指向这一行:

C:\Python27\lib\socket.pyc in meth(name, self, *args)
    222     proto = property(lambda self: self._sock.proto, doc="the socket protocol")
    223 
--> 224 def meth(name,self,*args):
    225     return getattr(self._sock,name)(*args)
    226 

作为罪魁祸首，但这似乎会在比我能接受的更低级别上搞乱事情。

我搜索并找到了这个 Python socket doesn't close connection properly建议这样做:

setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)

因此，我使用 io.py 文件中的该选项重建了 pykafka 库:

  def connect(self):
    """ Connect to the Kafka server. """
    global socket
    self.socket = socket.socket()
    self.socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
    self.socket.connect((self.host, self.port))

我仍然遇到同样的错误。

我没有把 setsockopt 行放在正确的位置吗？还有什么我可以尝试的吗？

Answer 1

您所描述的是套接字级别的正常 TCP 行为。当用户级程序关闭套接字时，内核不会立即释放套接字。它进入 TIME_WAIT 状态:

TIME-WAIT (either server or client) represents waiting for enough time to pass to be sure the remote TCP received the acknowledgment of its connection termination request. [According to RFC 793 a connection can stay in TIME-WAIT for a maximum of four minutes known as a MSL (maximum segment lifetime).

所以套接字是关闭的。 socket.SO_REUSEADDR 用于监听器(服务器)，不影响客户端连接。嗯，绑定(bind)套接字的时候真的用到了。