- r - 以节省内存的方式增长 data.frame
- ruby-on-rails - ruby/ruby on rails 内存泄漏检测
- android - 无法解析导入android.support.v7.app
- UNIX 域套接字与共享内存(映射文件)
我想以高效的方式记录进程在其生命周期内进行的所有文件访问。
目前,我们通过使用 LD_PRELOAD 预加载共享库来实现此目的,该共享库拦截处理文件访问的 C 库调用。该方法在没有太多性能开销的情况下是高效的,但不是防漏的。
例如,我们拥有的LD_PRELOAD 共享库有一个dlopen Hook 。此 Hook 用于跟踪对共享库的访问,但该机制无法记录共享库的三级依赖项。
我们确实尝试过使用 strace,但使用 strace 的性能开销对我们来说是行不通的。我很好奇我们是否有其他可以探索的机制来拦截进程及其子进程以有效方式进行的文件访问。我乐于探索内核级别的选项,连接到 VFS 层或其他任何内容。
想法?
最佳答案
We did try using strace but the performance overhead of using strace was a non-starter for us.
strace
很慢,因为它使用古老而缓慢的 ptrace
系统调用来充当应用程序的调试器。应用程序进行的每个系统调用都将被转换为信号,strace 将围绕两个 ptrace 系统调用(还有一些打印、访问其他进程内存以获取字符串/结构值)并继续目标应用程序(2 个上下文切换)。 strace
支持系统调用过滤器,但是过滤器不能为 ptrace 注册,而 strace 在用户空间进行过滤,跟踪所有系统调用。
有更快的基于内核的解决方案,Brendan Gregg (Dtrace Book 的作者 - Solaris、OSX、FreeBSD)对跟踪工具有很多概述(在他的 blog 中:tracing 15 minutes、BPF superpowers、60s of linux perf、Choosing Tracer 2015 (with Magic pony)、page cache stats),例如
您对该图的左侧部分感兴趣,靠近 VFS block 。 perf
(标准工具),dtrace
(仅在某些 linux 中支持,有许可证问题 - CDDL 与 GPL 不兼容),stap
(systemtap ,与像 CentOS 这样的红色 Linux 一起工作得更好)。
有直接替换strace - sysdig tool (需要额外的内核模块,github)它适用于像 tcpdump 这样的系统调用,适用于网络接口(interface)嗅探。这个工具嗅探内核内部的系统调用,无需额外的上下文切换或信号或使用 ptrace 插入其他进程内存(内核已经从用户那里复制了所有字符串),它还使用智能缓冲以大数据包的形式将跟踪转储到用户空间工具。
还有其他通用跟踪框架/工具,如 lttng(out of tree)、ftrace/trace-cmd。带有 eBPF 的 bcc
是现代(4.9+)Linux 内核中包含的非常强大的框架(检查 http://www.brendangregg.com/Slides/SCALE2017_perf_analysis_eBPF.pdf )。 bcc 和 eBPF 允许您编写小的(ans 安全的)代码片段来在跟踪点附近的内核中进行一些数据聚合:
如果您的 Linux 内核足够新,请试试 Brendan 的 VFS 工具:opensnoop
、statsnoop
、syncsnoop
;可能还有一些文件*工具(工具支持使用 -p PID
进行 pid 过滤,或者可能在系统范围内工作)。在 http://www.brendangregg.com/dtrace.html 部分描述了它们并在他的 github 上发布:https://github.com/brendangregg/perf-tools (还有 https://github.com/iovisor/bcc#tools)
As of Linux 4.9, the Linux kernel finally has similar raw capabilities as DTrace. ...
opensnoop is a program to snoop file opens. The filename and file handle are traced along with some process details.
# opensnoop -g
UID PID PATH FD ARGS
100 3528 /var/ld/ld.config -1 cat /etc/passwd
100 3528 /usr/lib/libc.so.1 3 cat /etc/passwd
100 3528 /etc/passwd 3 cat /etc/passwd
100 3529 /var/ld/ld.config -1 cal
100 3529 /usr/lib/libc.so.1 3 calrwsnoop snoop read/write events. This is measuring reads and writes at the application level - syscalls.
# rwsnoop
UID PID CMD D BYTES FILE
0 2924 sh R 128 /etc/profile
0 2924 sh R 128 /etc/profile
0 2924 sh R 128 /etc/profile
0 2924 sh R 84 /etc/profile
0 2925 quota R 757 /etc/nsswitch.conf
0 2925 quota R 0 /etc/nsswitch.conf
0 2925 quota R 668 /etc/passwd
关于linux - 列出进程以有效方式访问的所有文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43242939/
我遇到了一个奇怪的问题。我有这个: $(document).ready(function () {
我正在编写一个程序,它从列表中读取一些 ID,从中找出不同的 URL,然后将图像保存到我的 C: 驱动器中。 如果我在浏览器中导航到图像 URL,它们就会起作用。此外,如果我尝试从不同的服务器获取图像
我编写了一个 REST WCF RIA Silverlight 4.0 兼容服务,我可以从 javascript + jQuery.1.4.2.js + JSON2.js(当然,还可以从 .NET 4
我很确定这个网站实际上还没有得到回答。一劳永逸地,与 32 位有符号整数范围内的数字字符串匹配的最小正则表达式是什么,范围是 -2147483648至 2147483647 . 我必须使用正则表达式进
我有两个data.table;我想从那些与键匹配的元素中随机分配一个元素。我现在这样做的方式相当慢。 让我们具体点;这是一些示例数据: dt1<-data.table(id=sample(letter
我已经安装了 celery 、RabitMQ 和花。我可以浏览到花港。我有以下简单的工作人员,我可以将其附加到 celery 并从 python 程序调用: # -*- coding: utf-8 -
我正在使用 ScalaCheck 在 ScalaTest 中进行一些基于属性的测试。假设我想测试一个函数,f(x: Double): Double仅针对 x >= 0.0 定义的, 并返回 NaN对于
我想检查文件是否具有有效的 IMAGE_DOS_SIGNATURE (MZ) function isMZ(FileName : String) : boolean; var Signature: W
在 Herbert Schildt 的“Java:完整引用,第 9 版”中,有一个让我有点困惑的例子。它的关键点我无法理解可以概括为以下代码: class Test { public stat
我在工作中查看了一些代码,发现了一些我以前没有遇到过的东西: for (; ;) { // Some code here break; } 我们一直调用包含这个的函数,我最近才进去看看它是
在 Herbert Schildt 的“Java:完整引用,第 9 版”中,有一个让我有点困惑的例子。它的关键点我无法理解可以概括为以下代码: class Test { public stat
我试图编写一个函数,获取 2D 点矩阵和概率 p 并以概率 p 更改或交换每个点坐标 所以我问了一个question我试图使用二进制序列作为特定矩阵 swap_matrix=[[0,1],[1,0]]
这个问题在这里已经有了答案: Using / or \\ for folder paths in C# (5 个答案) 关闭 7 年前。 我在某个Class1中有这个功能: public v
PostgreSQL 10.4 我有一张 table : Column | Type ------------------------- id | integer| title
我正在 Postgresql 中编写一个函数,它将返回一些针对特定时区(输入)计算的指标。 示例结果: 主要问题是这只是一个指标。我需要从其他表中获取其他 9 个指标。 对于实现此目标的更简洁的方法有
我需要在 python 中模拟超几何分布(用于不替换采样元素的花哨词)。 设置:有一个装满人口许多弹珠的袋子。弹珠有两种类型,红色和绿色(在以下实现中,弹珠表示为 True 和 False)。从袋子中
我正在使用 MaterializeCSS 框架并动态填充文本输入。我遇到的一个问题是,在我关注该字段之前,valid 和 invalid css 类不会添加到我的字段中。 即使我调用 M.update
是否有重叠 2 个 div 的有效方法。 我有以下内容,但无法让它们重叠。 #top-border{width:100%; height:60px; background:url(image.jpg)
我希望你们中的一位能向我解释为什么编译器要求我在编译单元中重新定义一个静态固定长度数组,尽管我已经在头文件中这样做了。这是一个例子: 我的类.h: #ifndef MYCLASS_H #define
我正在使用旧线程发布试图解决相同问题的新代码。什么是安全 pickle ? this? socks .py from socket import socket from socket import A
我是一名优秀的程序员,十分优秀!