python - Bash/python/perl 神奇地获取多个日志文件中的聚合日期时间

Question

我有一个目录 (/home/myuser/logs)，其中包含过去 5 天的以下日志文​​件:

applogs_20130402.txt
applogs_20130401.txt
applogs_20130331.txt
applogs_20130330.txt

每个“applog”的每一行都具有相同的结构，只是数据不同:

<timestamp> | <fruit> | <color> | <cost>

例如，applogs_20130402.txt 可能如下所示:

23:41:25 | apple | red | 53
23:41:26 | kiwi | brown | 12
23:41:29 | banana | yellow | 1023
... (etc., every line is pipe delimited like this)

我想创建一个“主日志”，它将所有 5 个日志文件中的所有日志条目(结构化、管道分隔行)合并到一个文件中，其中所有时间戳均按时间顺序排序。此外，我还需要时间戳中反射(reflect)的日期。

例如，如果 applogs_20130402.txt 和 applogs_20130401.txt 是目录中仅有的 2 个应用日志，它们分别如下所示:

applogs_20130402.txt:
=====================
23:41:25 | apple | red | 53
23:41:26 | kiwi | brown | 12
23:41:29 | banana | yellow | 1023

applogs_20130401.txt:
=====================
23:40:33 | blueberry | blue | 4
23:41:28 | apple | green | 81
23:45:49 | plumb | purple | 284

然后，我想要一个 masterlog.txt 文件，如下所示:

2013-04-01 23:40:33 | blueberry | blue | 4
2013-04-01 23:41:28 | apple | green | 81
2013-04-01 23:45:49 | plumb | purple | 284
2013-04-02 23:41:25 | apple | red | 53
2013-04-02 23:41:26 | kiwi | brown | 12
2013-04-02 23:41:29 | banana | yellow | 1023

我使用的是 Ubuntu，可以访问 Bash、python 和 perl，并且不偏好使用哪种解决方案。通常我会尝试“最佳尝试”并将其发布，但我从未在 Linux 上处理过这样的聚合数据。显然，日志的大小有数千行，与我上面的示例不同。因此，手动完成所有操作不是一种选择；-) 提前致谢!

Answer 1

您可以从命令行将 Perl 与 sort 一起使用像这样:

perl -n -e 'printf "%d-%02d-%02d %s", $ARGV =~ m/_(\d{4})(\d\d)(\d\d)/, $_;' *.txt | sort -n

Calling perl with -n 包装 while (<>) { }围绕你的程序，在本例中是 -e '' 中的内容。在其中，我们 printf 当前行( $_ )，在其前面我们放置文件名中的日期，即 is stored in $ARGV 。我们使用regex获取年、月、日，这些可以通过 m// 方便地返回由于 printf 的列表上下文.

我们将文件夹中的所有 txt 文件传递​​给该程序。结果通过管道传输到命令行工具 sort，该工具使用 -n 标志对行进行数字排序。