linux - 使用 linux perf 实用程序每秒报告一次计数器，如 vmstat

Question

Linux 中有 perf 命令 linux 实用程序可以访问硬件性能监控计数器，它使用 perf_events 内核子系统工作。

perf 本身基本上有两种模式:perf record/perf top 来记录采样配置文件(示例是每 100000 个 cpu 时钟循环或执行的命令)和perf stat模式来报告应用程序(或整个系统)的循环/执行命令的总数。

是否有 perf 模式来每秒(每 3、5、10 秒)打印系统范围或每个 CPU 的总计数摘要，就像在 vmstat< 中打印的那样 和 systat 系列工具(iostat、mpstat、sar -n DEV... 如 http://techblog.netflix.com/2015/11/linux-performance-analysis-in-60s.html 中所列)？例如，使用周期和指令计数器，我将获得系统每秒(或每个 CPU)的平均 IPC。

是否有任何非 perf 工具(在 https://perf.wiki.kernel.org/index.php/Tutorial 或 http://www.brendangregg.com/perf.html 中)可以通过 perf_events 内核子系统获得此类统计信息？以秒为单位的系统级每进程 IPC 计算怎么样？

Answer 1

-I N 的 perf stat 选项“interval-print”，其中 N 是毫秒间隔，每 N 毫秒 (N>=10) 执行间隔计数器打印: http://man7.org/linux/man-pages/man1/perf-stat.1.html

  -I msecs, --interval-print msecs
       Print count deltas every N milliseconds (minimum: 10ms) The
       overhead percentage could be high in some cases, for instance
       with small, sub 100ms intervals. Use with caution. example: perf
       stat -I 1000 -e cycles -a sleep 5

  For best results it is usually a good idea to use it with interval
   mode like -I 1000, as the bottleneck of workloads can change often.

还有以机器可读形式导入结果，使用-I第一个字段是日期时间:

With -x, perf stat is able to output a not-quite-CSV format output ... optional usec time stamp in fractions of second (with -I xxx)

vmstat、systat系列工具iostat、mpstat等周期性打印是perf的-I 1000 stat(每秒)，例如系统范围(添加 -A 以分隔 cpu 计数器):

  perf stat -a -I 1000

该选项在 builtin-stat.c 中实现 http://lxr.free-electrons.com/source/tools/perf/builtin-stat.c?v=4.8 __run_perf_stat 函数

531 static int __run_perf_stat(int argc, const char **argv)
532 {
533         int interval = stat_config.interval;

对于带有一些程序参数 (forks=1) 的 perf stat -I 1000，例如 perf stat -I 1000 sleep 10是区间循环(ts是毫秒区间转换成struct timespec):

639                 enable_counters();
641                 if (interval) {
642                         while (!waitpid(child_pid, &status, WNOHANG)) {
643                                 nanosleep(&ts, NULL);
644                                 process_interval();
645                         }
646                 }
666         disable_counters();

对于系统范围的硬件性能监视器计数和forks=0的变体，还有其他间隔循环

658                 enable_counters();
659                 while (!done) {
660                         nanosleep(&ts, NULL);
661                         if (interval)
662                                 process_interval();
663                 }
666         disable_counters();

process_interval() http://lxr.free-electrons.com/source/tools/perf/builtin-stat.c?v=4.8#L347来自同一个文件使用 read_counters();它循环事件列表并调用 read_counter()哪个loops over所有已知线程和所有 cpus 并开始实际读取功能:

306         for (thread = 0; thread < nthreads; thread++) {
307                 for (cpu = 0; cpu < ncpus; cpu++) {
...
310                         count = perf_counts(counter->counts, cpu, thread);
311                         if (perf_evsel__read(counter, cpu, thread, count))
312                                 return -1;

perf_evsel__read是程序仍在运行时读取的真实计数器:

1207 int perf_evsel__read(struct perf_evsel *evsel, int cpu, int thread,
1208                      struct perf_counts_values *count)
1209 {
1210         memset(count, 0, sizeof(*count));
1211 
1212         if (FD(evsel, cpu, thread) < 0)
1213                 return -EINVAL;
1214 
1215         if (readn(FD(evsel, cpu, thread), count, sizeof(*count)) < 0)
1216                 return -errno;
1217 
1218         return 0;
1219 }