大量文件的 Makefile

Question

我以前从未编写过 Makefile，但我怀疑它对我的情况会有帮助。我有一个文本文件语料库，我需要对其进行预处理以提取机器学习的特征。目录结构可能是这样的:

/
+---Makefile
+---/corpus
|   +-- a.txt
|   +-- b.txt
|   +-- ...
|
+---/wordcounts
|   +-- a.wordcount
|   +-- b.wordcount
|   +-- ...
|
+---/lettercounts
|   +-- a.lettercount
|   +-- b.lettercount
|   +-- ...
|
...

/wordcounts 和/lettercounts 中的文件是从/corpus 中的文件生成的。对于文件 a.txt，我可以像这样编写 make 依赖项:

all: wordcounts/a.wordcount lettercounts/a.lettercount

wordcounts/a.wordcount: corpus/a.txt
    cat corpus/a.txt | wc -w > wordcounts/a.wordcount

lettercounts/a.lettercount: corpus/a.txt
    cat corpus/a.txt | wc -m > lettercounts/a.lettercount

但是，由于 \corpus 中有数千个文件，这个 Makefile 将变得非常长。我想编写一个 Makefile 来适应 \corpus 中的任何文件。这个想法是，无论我在 /corpus 中放入多少文件，Makefile 都会自动生成所有其他文件。我怎样才能做到这一点？这是 automake 的用途吗？

背景 目前，我使用许多脚本来生成大型 csv 文件，为整个语料库运行所有脚本需要几个小时。我需要重组，这样一个文件的变化就不需要重新处理整个语料库。如果我的建议不理想，我欢迎任何有关如何更有效地设置项目的建议。

Answer 1

这里有一种方法可以做到这一点

corpora      := $(wildcard corpus/*.txt)
wordcounts   := $(corpora:corpus/%.txt=wordcounts/%.wordcount)
lettercounts := $(corpora:corpus/%.txt=lettercounts/%.lettercount)

.PHONY: all
all: $(wordcounts) $(lettercounts)

$(wordcounts): wcflags += -w
$(wordcounts): wordcounts/%.wordcount: corpus/%.txt

$(lettercounts): wcflags += -m
$(lettercounts): lettercounts/%.lettercount: corpus/%.txt

$(wordcounts) $(lettercounts):
    cat $< | wc $(wcflags) > $@

使用 -r 标志运行 make 以禁用内置规则以获得最佳性能。