- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我正在使用select
和os
模块中的低级POSIX工具来从连接到正在运行的Shell进程的管道读取数据。为了避免无限期地阻塞,我使用stdout
模块将管道进程的fcntl
文件描述符设置为非阻塞模式,然后使用select.poll
轮询文件描述符,直到可以读取数据为止。一旦数据可用,我就使用os.read()
从管道中读取一些数据,然后继续循环直到os.read()
返回一个空的bytes
对象或发生某些错误。
我有它的工作,但由于某种原因最终我从管道读取的数据被截断了。我阅读了管道处理过程的预期输出的大约一半,然后os.read()
返回一个空的bytes
对象。我不知道为什么我会丢失其余数据。
基本上,我有一个run_poll_once()
函数,该函数运行一次对轮询对象的poll()
方法的调用。如果我们要继续轮询以获取更多数据,该函数将返回True
,如果我们应停止则返回False
。该功能如下(删除错误检查并进行编辑以确保清楚和相关):
def run_poll_once(poll):
events = poll.poll(0.10)
for fd, event in events:
if event & select.POLLERR:
return False
if (event & select.POLLIN) or (event & select.POLLHUP):
data = os.read(fd, READ_SIZE)
print("Read:", data)
if len(data) == 0: return False
# ... do stuff with data
return True
with subprocess.Popen(
["ls", "-lh"],
stdin = None,
stdout = subprocess.PIPE,
bufsize = 0
) as proc:
# --- snip setting proc.stdout.fileno() to non-blocking mode
poll = select.poll()
event_mask = select.POLLIN | select.POLLERR | select.POLLHUP
poll.register(proc.stdout.fileno(), event_mask)
while run_poll_once(poll):
pass
ls -lh
)的一半左右,然后
os.read()
过早返回了一个空的
bytes
对象。那我在做什么错呢?
最佳答案
好吧,所以回答我自己的问题。
因此,如评论中所述,我早些时候发布了一个答案,然后将其删除。我删除的答案是:
我弄清楚了:尽管proc.stdout
参数传递给了bufsize = 0
,但subprocess.Popen
流对象显然是自动进行自己的内部缓冲。流对象似乎会自动缓冲可用于在后台读取管道的stdout
文件描述符的数据。
因此,基本上,我不能使用os.read
直接从基础描述符中读取,因为proc.stdout
BufferedReader通过从基础描述符中读取来自动进行自身的缓冲。为了使此功能如我所愿,我可以简单地在proc.stdout.read(READ_SIZE)
指示有待读取的数据后直接调用os.read(fd, READ_SIZE)
而不是poll()
。那按预期工作。
我删除了它,因为最终我意识到这个解决方案也不是很正确。问题是,即使它在大多数时间都可以工作,也没有真正的保证,因为在实际的低级操作系统中断发生时,对poll()
的调用将仅返回POLLIN
事件,指示数据可用于读入内核缓冲区。但是调用proc.stdout.read()
并不是直接从内核缓冲区中读取...而是从某些内部Python缓冲区中读取。因此,POLLIN
事件与我们实际读取的决定之间存在不匹配。它们实际上是完全无关的-因此不能保证我们的轮询工作正常,因此不能保证对proc.stdout.read()
的调用不会阻塞或丢失字节。
但是,如果我们使用os.read()
,则不能保证我们对os.read()
的调用将始终能够直接从内核缓冲区中读取所有字节,因为Python BufferedReader
对象基本上是“与我们抗争”以进行自己的缓冲。我们俩都在争夺同一个底层内核缓冲区,并且在我们能够通过调用BufferedReader
提取字节之前,Python os.read()
有时可能会提取字节进行自身的缓冲。特别是,我观察到,如果子进程退出或异常终止,Python BufferedReader
将立即消耗内核读取缓冲区中的所有剩余字节(即使您将bufsize设置为0),这就是为什么我丢失了部分输出的原因ls -lh
。
对于无法重现此问题的任何人,请确保您使用的子进程输出大量数据,例如至少15K左右。
那么,解决方案是什么?
解决方案1:
我意识到,尝试使用我自己的低级系统调用来解决Python缓冲问题,只是想与Python自身的缓冲设施作斗争,这简直是一门开门红。因此,使用subprocess
模块实际上已经淘汰了。我通过os
模块直接使用底层OS工具重新实现了此功能。基本上,我做了C中常做的事情:使用对os.pipe()
的调用创建管道文件描述符,然后对os.fork()
进行调用,然后使用os.dup()
将管道的读取端定向到子进程的sys.stdout.fileno()
描述符。最后,在子进程中调用os.exec
函数之一以开始执行实际的子进程。
除非这不是100%正确的。除非您碰巧创建了一个开始将大量字节输出到sys.stdout.fileno()
的子进程,否则这几乎在所有时间都有效。在这种情况下,您会遇到OS管道缓冲区的问题,它有一定的限制(我认为在Linux上是65K)。 OS管道缓冲区填满后,该进程可能会挂起,因为子进程用来执行I/O的任何库也可能正在做自己的缓冲。
就我而言,子进程正在使用C++ <ostream>
工具进行I/O。这也做自己的缓冲,因此在管道缓冲填满时,子进程会简单地挂起。我从来没有完全弄清楚原因。据推测,如果管道缓冲区已满,它应该挂起-但是我想过,如果父进程(由我控制)在管道的读取端调用os.read()
,则子进程可以恢复输出。我怀疑这是子进程自己进行缓冲的另一个问题。 C/C++标准库输出函数(例如C中的printf
或C++中的std::cout
)不直接写入stdout
,而是执行其自己的内部缓冲。我怀疑发生了什么事,因为管道缓冲区已满,因此在无法完全刷新缓冲区后,对printf
或std::cout
的某些调用只是挂起了。
所以这带我去...
解决方案2:
因此,事实证明,使用管道执行此操作实际上从根本上是无效的。似乎没有人在成千上万的教程中说过这一点,所以也许我是错的,但是我声称使用管道与子进程进行通信是一种根本性的破坏方法。在不同级别进行的所有各种缓冲中,有太多事情可能出错。如果您对子进程有完全的控制权,则始终可以使用stdout
之类的东西(在Python中)直接直接写入os.write(1, mybuffer)
,但是大多数情况下,您无法控制子进程,并且大多数程序不会直接写入stdout
,而是使用一些具有自己的缓冲方式的标准I/O工具。
因此,忘记管道。做到这一点的真正方法是使用伪终端。这可能不那么可移植,但是它可以在大多数POSIX兼容平台上工作。伪终端基本上是类似于管道的I/O对象,其行为类似于标准控制台输出描述符stdout
和stderr
。重要的是,对于伪终端,低级iocontrol
系统调用isatty
返回true
,因此标准I/O功能(如C中的stdio.h
)会将管道视为行缓冲控制台。
在Python中,您可以使用pty
模块创建伪终端。要创建一个子流程,然后将其stdout
连接到父流程中的伪终端,您可以执行以下操作:
out_master, out_slave = pty.openpty()
os.set_inheritable(out_master, True)
os.set_inheritable(out_slave, True)
pid = os.fork()
if pid == 0: # child process
try:
assert(os.isatty(out_slave))
os.dup2(out_slave, sys.stdout.fileno())
os.close(out_master)
os.execlp(name_of_child_process, shell_command_to_execute_child_process)
except Exception as e:
os._exit(os.EX_OSERR)
else: # parent process
os.close(out_slave)
out_master
中读取内容,以获取子进程写入
stdout
的所有内容的输出,并且由于您使用的是伪终端,因此子进程的行为将与输出到控制台时完全相同,因此它可以完美地工作没有缓冲问题。当然,您也可以使用
stderr
完成与上述完全相同的操作。
关于python - 低级select.poll()从子进程读取,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44706590/
我有这个 html 代码: HELLO WORLD! X V HELLO WORLD! X V 我想按 X(类关闭)将父 div 的高度更改为 20px 并显示 V(类打开),但在每个 d
在会计应用程序的许多不同实现中,有两种主要的数据库设计方法来保存日志和分类帐数据。 只保留 Journal 信息,然后 Ledger 只是 Journal 的一个 View (因为 journal 总
我想在另一个子里面有一个子, sub a { sub b { } } 我想为每次调用 sub b 创建一个新的 sub a 实例。有没有办法在 Perl 中做到这一点? 当我运行上面的
我有一些代码正在查找重复项并突出显示单元格: Private Sub cmdDups_Click() Dim Rng As Range Dim cel As Range Set Rng = ThisW
可能有一个简单的解决方案,但我很难过。 我有一个包含一个 ID 字段的主表。在两个可能的字段中有一个具有该 ID 的子表。想象一个由选手 A 和选手 B 组成的 double 队。Master 表将有
假设我有一个包含对象的数组: [ { "id": "5a97e047f826a0111b754beb", "name": "Hogwarts", "parentId": "
我正在尝试对 MySQL 数据库表执行一对父/子模型的批量插入,但似乎无法使用标准的 ActiveRecord 功能来完成。所以,我尝试了 activerecord-import gem,但它也不支持
我有一个带有多个子类的父抽象类。最终,我希望通过 GUI 中的进度条显示子类中完成的进度。 我目前所做的,我意识到这是行不通的,是在父类中声明为每个子类将覆盖的虚拟方法的事件方法定义。所以像: pub
是否可以通过键数组在对象中设置变量?例如我有这个对象: var obj = {'outer': {'inner': 'value'} }; 并希望设置由键数组选择的值: var keys = ['ou
我有一个名为 companies 的 MySQL 表,如下所示: +---------+-----------+-----------+ | id_comp | comp_name | id_pare
我正在尝试使用 sublime text 在 sublime text 上的 ionic 上打开我的第一个应用程序。它给了我一个“找不到命令”的错误。如何修复? 我试过这些命令: sudo rm -r
不好意思问,但我正在使用 webapp2,我正在设计一个解决方案,以便更容易定义路由 based on this google webapp2 route function .但这完全取决于能够在子级
我有代表树的数字字符串(我不知道是否有官方名称): 012323301212 上面的例子代表了 2 棵树。根用 0 表示。根的直接子代为“1”,“1”的直接子代为“2”,依此类推。我需要将它们分组到由
是否可以在当前 Activity 之上添加 Activity 。例如,假设我单击一个按钮,然后它将第二个 Activity 添加到当前 Activity 。而第二个 Activity 只覆盖了我当前
我很难思考如何为子资源建模。 以作者的书籍为例。你可以有 N 本书,每本书只有一位作者。 /books GET /books POST /books/id PUT /books/id DELETE 到
有人可以向我解释以下内容(python 2.7) 来自已解析文件的两个字符串数字: '410.9''410.9 '(注意尾随空格) A_LIST = ['410.9 '] '410.9' in '41
背景 在 PowerShell 中构建 hash table 是很常见的通过特定属性快速访问对象,例如以 LastName 为基础建立索引: $List = ConvertFrom-Csv @' I
我真的很难弄清楚如何调用嵌套 Polymer Web 组件的函数。 这是标记: rise-distribution组件有 canPlay我想从 rise-playlist
我写了一个小工具转储(以 dot 格式)一个项目的依赖关系图,其中所有位于同一目录中的文件都聚集在一个集群中。当我尝试生成包含相应图形的 pdf 时,dot开始哭: 命令 dot -Tpdf trim
给定一个 CODE ref,是否可以: 访问该 CODE ref 的解析树 通过指定 CODE ref 的解析树来创建一个新的 CODE ref,该解析树可以包含在 1 中返回的解析树的元素 通常我们
我是一名优秀的程序员,十分优秀!