linux - cut、colrm、awk 和 sed : fail to cut characters from a pipe stream 的奇怪问题

Question

我已经创建了一个脚本来枚举目录及其下的所有文件。我想通过使用 pv 添加一些进度反馈，因为我通常从根目录使用它。

问题是 find 在它的时间输出 (%TT) 中总是包含小数秒，但我不想记录那么多细节。

如果我编写脚本一次完成所有操作，我会得到正确的输出。但是，如果我在“第二次”传递期间使用中间文件进行估算，结果会发生变化，我不明白为什么。

这个版本给出了正确的结果:

#!/bin/bash

find -printf "%11s %TY-%Tm-%Td %TT %p\n" 2> /dev/null |
# - Remove the fractional seconds from the time
# before:       4096 2011-01-19 22:43:51.0000000000 .
# after :       4096 2011-01-19 22:43:51 .
colrm 32 42 |
pv -ltrbN "Enumerating files..." |
# - Sort every thing by filename
sort -k 4

但是排序可能需要很长时间，所以我尝试了这样的方法，以获得更多反馈:

#!/bin/bash

TMPFILE1=$(mktemp)
TMPFILE2=$(mktemp)

# Erase temporary files before quitting
trap "rm $TMPFILE1 $TMPFILE2" EXIT

find -printf "%11s %TY-%Tm-%Td %TT %p\n" 2> /dev/null |
pv -ltrbN "Enumerating files..." > $TMPFILE1
LINE_COUNT="$(wc -l $TMPFILE1)"

#cat $TMPFILE1 | colrm 32 42 |                   #1
#cat $TMPFILE1 | cut -c1-31,43- |                #2
#cut -c1-31,43- $TMPFILE1 |                      #3
#sed s/.0000000000// $TMPFILE1 |                 #4
awk -F".0000000000" '{print $1 $2}' $TMPFILE1 |  #5
pv -lN "Removing fractional seconds..." -s $LINE_COUNT > $TMPFILE2

echo "Sorting list by filenames..." >&2
cat $TMPFILE2 |
sort -k 4

5 个“解决方案”均无效。 “.0000000000”部分留在输出中。

谁能解释一下为什么？

我最终的解决方案是将切割操作与仅查找并使用一个临时文件结合起来。只有排序是单独完成的。

Answer 1

您可以使用字段精度说明符截断 -printf 参数中的秒数(至少使用 GNU find 4.4.2):

find -printf "%11s %TY-%Tm-%Td %.8TT %p\n"

留下“HH:MM:SS”中的八个字符。

我的其余回答可能没有实际意义:

#1-5 不起作用的原因是 wc 的输出包含文件名(尤其是空格)。空格导致 pv 将来自 wc 命令的文件名视为输入文件。命令行参数的优先级高于标准输入。由于它恰好与通过管道传递的输入文件相同，因此输出文件看起来像一个未处理的输入文件(因为它是，因为管道被忽略)。

只捕获没有文件名的计数:

LINE_COUNT=$(wc -l < "$TMPFILE1")

这里有一些小的改进:

< $TMPFILE1 colrm 32 42 |                   #1 No need for cat

或

colrm 32 42 < $TMPFILE1 |                   #1

< $TMPFILE1 cut -c1-31,43- |                #2

或

cut -c1-31,43- < $TMPFILE1 |                #2

sed s/\.0000000000// $TMPFILE1 |            #4 The dot should be escaped