python - 如果要检查 recv_ready()，是否必须检查 exit_status_ready？

Question

我正在运行一个远程命令:

ssh = paramiko.SSHClient()
ssh.connect(host)
stdin, stdout, stderr = ssh.exec_command(cmd)

现在我想得到输出。我见过这样的事情:

# Wait for the command to finish
while not stdout.channel.exit_status_ready():
    if stdout.channel.recv_ready():
        stdoutLines = stdout.readlines()

但有时似乎永远不会运行 readlines()(即使标准输出上应该有数据)。这对我来说似乎意味着 stdout.channel.recv_ready() 不一定准备好(真)只要 stdout.channel.exit_status_ready() 为真。

像这样合适吗？

# Wait until the data is available
while not stdout.channel.recv_ready():
    pass

stdoutLines = stdout.readlines()

也就是说，在等待 recv_ready() 说数据准备好之前，我真的必须首先检查退出状态吗？

在无限循环中等待 stdout.channel.recv_ready() 变为 True 之前，我怎么知道 stdout 上是否应该有数据(如果不应该有任何 stdout 输出，它就不会)？

Answer 1

也就是说，在等待 recv_ready() 说数据准备好之前，我真的必须先检查退出状态吗？

没有。从远程进程接收数据(例如 stdout/stderr)是完全没问题的，即使它还没有完成。此外，一些 sshd 实现甚至不提供远程过程的退出状态，在这种情况下您会遇到问题，请参见 paramiko doc: exit_status_ready .

为短期远程命令等待 exit_status_code 的问题是您的本地线程可能比您检查循环条件更快地接收到 exit_code。在这种情况下，您将永远不会进入循环，并且永远不会调用 readlines() 。这是一个例子:

# spawns new thread to communicate with remote
# executes whoami which exits pretty fast
stdin, stdout, stderr = ssh.exec_command("whoami") 
time.sleep(5)  # main thread waits 5 seconds
# command already finished, exit code already received
#  and set by the exec_command thread.
# therefore the loop condition is not met 
#  as exit_status_ready() already returns True 
#  (remember, remote command already exited and was handled by a different thread)
while not stdout.channel.exit_status_ready():
    if stdout.channel.recv_ready():
        stdoutLines = stdout.readlines()

在无限循环中等待 stdout.channel.recv_ready() 变为 True 之前，我怎么知道 stdout 上是否应该有数据(如果不应该有任何标准输出输出，它不会)？

channel.recv_ready()只是表示缓冲区中有未读数据。

def recv_ready(self):
    """
    Returns true if data is buffered and ready to be read from this
    channel.  A ``False`` result does not mean that the channel has closed;
    it means you may need to wait before more data arrives.

这意味着可能由于网络(延迟数据包、重传等)或只是您的远程进程未定期写入 stdout/stderr 可能导致 recv_ready 为 False。因此，将 recv_ready() 作为循环条件可能会导致您的代码过早返回，因为它有时会产生 True 完全没问题(当远程进程写入 stdout 并且您的本地 channel 线程收到输出)，有时在一次迭代中产生错误(例如，您的远程过程正在休眠而不写入标准输出)。

除此之外，人们偶尔会遇到可能与 stdout/stderr 有关的 paramiko 挂起 buffers filling up (pot. 与 Popen 和挂起过程的问题有关，当您从未从 stdout/stderr 读取并且内部缓冲区已满时)。

下面的代码实现了一个分 block 解决方案，以在 channel 打开时从 stdout/stderr 中读取清空缓冲区。

def myexec(ssh, cmd, timeout, want_exitcode=False):
  # one channel per command
  stdin, stdout, stderr = ssh.exec_command(cmd) 
  # get the shared channel for stdout/stderr/stdin
  channel = stdout.channel

  # we do not need stdin.
  stdin.close()                 
  # indicate that we're not going to write to that channel anymore
  channel.shutdown_write()      

  # read stdout/stderr in order to prevent read block hangs
  stdout_chunks = []
  stdout_chunks.append(stdout.channel.recv(len(stdout.channel.in_buffer)))
  # chunked read to prevent stalls
  while not channel.closed or channel.recv_ready() or channel.recv_stderr_ready(): 
      # stop if channel was closed prematurely, and there is no data in the buffers.
      got_chunk = False
      readq, _, _ = select.select([stdout.channel], [], [], timeout)
      for c in readq:
          if c.recv_ready(): 
              stdout_chunks.append(stdout.channel.recv(len(c.in_buffer)))
              got_chunk = True
          if c.recv_stderr_ready(): 
              # make sure to read stderr to prevent stall    
              stderr.channel.recv_stderr(len(c.in_stderr_buffer))  
              got_chunk = True  
      '''
      1) make sure that there are at least 2 cycles with no data in the input buffers in order to not exit too early (i.e. cat on a >200k file).
      2) if no data arrived in the last loop, check if we already received the exit code
      3) check if input buffers are empty
      4) exit the loop
      '''
      if not got_chunk \
          and stdout.channel.exit_status_ready() \
          and not stderr.channel.recv_stderr_ready() \
          and not stdout.channel.recv_ready(): 
          # indicate that we're not going to read from this channel anymore
          stdout.channel.shutdown_read()  
          # close the channel
          stdout.channel.close()
          break    # exit as remote side is finished and our bufferes are empty

  # close all the pseudofiles
  stdout.close()
  stderr.close()

  if want_exitcode:
      # exit code is always ready at this point
      return (''.join(stdout_chunks), stdout.channel.recv_exit_status())
  return ''.join(stdout_chunks)

channel.closed 只是 channel 过早关闭时的最终退出条件。读取 block 后，代码立即检查是否已收到 exit_status 并且同时没有缓冲新数据。如果有新数据到达或没有收到 exit_status，代码将继续尝试读取 block 。一旦远程 proc 退出并且缓冲区中没有新数据，我们假设我们已经读取了所有内容并开始关闭 channel 。请注意，如果您想接收退出状态，您应该始终等到它被接收到，否则 paramiko 可能会永远阻塞。

这样可以保证缓冲区不会填满并使您的进程挂起。 exec_command 仅在远程命令退出且本地缓冲区中没有数据时返回。通过使用 select() 而不是在繁忙的循环中进行轮询，该代码对 cpu 也更加友好，但对于短期命令来说可能会慢一些。

仅供引用，为了防止一些无限循环，可以设置一个 channel 超时，当一段时间内没有数据到达时触发

 chan.settimeout(timeout)
 chan.exec_command(command)