- r - 以节省内存的方式增长 data.frame
- ruby-on-rails - ruby/ruby on rails 内存泄漏检测
- android - 无法解析导入android.support.v7.app
- UNIX 域套接字与共享内存(映射文件)
我需要运行用户提交的应用程序。我的代码如下所示:
def run_app(app_path):
inp = open("app.in", "r")
otp = open("app.out", "w")
return subprocess.call(app_path, stdout=otp, stdin=inp)
现在,由于我无法控制用户提交的内容,我想限制应用程序输出的大小。 apparmor 规则执行限制了其他事情,例如尝试访问未经授权的系统资源和滥用 CPU 周期。允许运行的最长时间由父进程处理(在 python 中)。现在,恶意应用程序仍然可以尝试通过向其标准输出写入大量数据来淹没服务器系统,因为知道标准输出正在保存到文件中。
我不想对 stdout/stderr 文件使用 AppArmors RLIMIT 或任何内核模式。能够使用标准库从 python 中完成它会很棒。
我目前正在考虑创建文件的子类,并在每次写入时检查已经将多少数据写入流中。或者创建一个设置了最大长度的内存映射文件。
但我觉得可能有一种更简单的方法来限制文件大小,但我还没有看到它。
最佳答案
子类化 file
或创建其他伪文件 Python 对象根本不起作用,因为文件将在子进程中使用 - 因此它必须是操作系统。文件,而不是 Python 类对象。子进程不会将您的 Python 对象发送给其他进程使用。
虽然 Python 通过 mmap
模块对内存映射文件提供了原生且简单的支持,但内存映射并不意味着:您可以指定镜像到内存的文件的大小,但你根本不限制写入文件:多余的数据将简单地写入磁盘而不是映射。 (并且,您再次将磁盘文件而不是 mmap 对象传递给子进程)。有可能在某个时候创建一个带有哨兵值的文件,并保持一个线程检查哨兵是否被覆盖,此时,它可能会终止子进程 - 但我怀疑这是否可靠。
然后,还有磁盘事件监控工具,例如 inotify:您可以使用 pyinotify到主进程上的处理程序,每当访问文件时都会调用该处理程序。缺点:没有“文件写入”事件 - 只是“文件已访问” - 我不确定是否会通过文件的增量写入触发任何可能的事件。而且,尽管如此,如果子进程将在单个系统调用中完成所有写入操作,那么无论如何您都会收到通知,为时已晚。
因此,我认为可行的方法是:在人为限制的文件系统中创建一个文件。这样,当超过最大大小时,操作系统将阻止写入。
在 Linux 下,您可以预先创建一个具有所需大小和一些开销的文件,在其上创建一个 FS,并使用“循环”接口(interface)挂载它 - 然后只需在该文件系统中创建您的 stdout 和 sterr 文件,然后调用你的子进程。
您可以预先创建和预先安装一个这样的文件系统池以供需要时使用 - 或者,您甚至可以动态创建它们 - 但这需要创建 FS 主机文件、创建文件系统的步骤在其上构建 (mkfs) 并安装它——所有这些都可能会产生大量开销。
总而言之,也许您最好只使用 Apparmor 自己的 rlimit 设置。
关于python - 如何在python中限制子进程stdout和stderr的大小,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42172730/
我有以下代码来捕获和处理运行命令输出。 如何修改它以便运行命令窗口显示输出并同时记录输出?更换 @SW_HIDE与 @SW_SHOW (或等效的)只显示一个空白的命令窗口。 类似于linux的东西te
[已编辑] 用于处理 subprocess.Popen 标准输出的 2 个选项是 stdout="a_file_name" 和 stdout=subprocess.PIPE。 stderr 可以通过
c99 的 7.19.3/7 节指出: At program start-up, three text streams are predefined and need not be opened ex
我正在运行以下 proc_open 函数。加载页面时,出现错误: Use of undefined constant STDOUT - assumed 'STDOUT'` 如何正确设置STDOUT和S
我有一个运行多个进程的开发堆栈:网络服务器、自动测试、后台编译等。所有这些都是基本的命令行命令,例如 node app.js 或 lein midje :autotest. 是否可以使用一个脚本在“后
我正在使用 SLURM 在 super 计算机上调度作业。我已设置 --output=log.out 选项,将作业标准输出中的内容放入文件 (log.out)。我发现该文件每 30-60 分钟更新一次
ansible/ansible-playbook 版本:2.1.2.0/2.2.0.0 我正在尝试使用 yum/apt 安装软件包,但由于安装软件包的存储库位于 packagecloud.io 中,有
bala@hp:~$ echo "Hello World" > stdout bala@hp:~$ cat stdout Hello World bala@hp:~$ echo "Hello Worl
在从 Fortran 编写的外部库中调用嘈杂的函数之前,我正在使用如下代码重定向标准输出: // copy standard output out = dup(STDOUT_FILENO); // c
这个问题在这里已经有了答案: How can I pipe stderr, and not stdout? (11 个答案) 关闭 6 年前。 我有一个程序,我想检查其 STDERR 输出并在其上运
我正在从 perl 运行一个 java 应用程序 这是脚本 #!/usr/bin/perl use strict; use warnings; $| = 1; my $args = join (" "
我正在尝试将 python 脚本的 STDOUT 重定向到一个文件。 如果 STDOUT 是从 sys 导入的,脚本的输出不会被重定向到一个文件: from sys import stdout std
我正在尝试使用 PHP 和 Apache(在 Docker 的前台运行)写入 stdout(或 stderr)。 这些作品: file_put_contents( "php://stderr","wo
我正在尝试重定向标准输出,以便 Windows 应用程序中的 printf 将转到我选择的文件。 我这样做: outFile = fopen("log.txt", "w"); *stdout = *o
在 Ruby 中,$stdout(前面有一个美元符号)和 STDOUT(全部大写)有什么区别?在进行输出重定向时,应该使用哪个,为什么? $stderr 和 STDERR 也是如此。 编辑: 刚找到一
让我们看看这个Hello World程序 #include int main(int argc, char ** argv) { printf("Hello, World!"); c
我在 64 位机器上运行 Ubuntu 20.04。 我想将 stdout 重定向到从 memfd_create 获得的描述符。似乎使用 memfd_create 创建的匿名文件只有在 stdout
我想在 Python 脚本末尾捕获控制台输出。也就是说,我既想正常打印到控制台,又想在执行结束时将控制台输出保存到文件中。 我看过各种相关的 SO 问题 1 , 2 , 3尽管他们要么简单地重定向输出
我知道可以将两者都重定向到特定文件: ./command 1> out.log 2> err.log 或 ./command 1>test.log 2>&1 将两者写入文件。但是我不知道在只打印其中一
我知道可以将两者都重定向到特定文件: ./command 1> out.log 2> err.log 或 ./command 1>test.log 2>&1 将两者写入文件。但是我不知道在只打印其中一
我是一名优秀的程序员,十分优秀!