hadoop - Flink 能否将结果写入多个文件(如 Hadoop 的 MultipleOutputFormat)？

Question

我正在使用 Apache Flink 的数据集 API。我想实现一个将多个结果写入不同文件的作业。

我该怎么做？

Answer 1

您可以根据需要向 DataSet 程序添加任意数量的数据接收器。

例如在这样的程序中:

ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

DataSet<Tuple3<String, Long, Long>> data = env.readFromCsv(...);
// apply MapFunction and emit
data.map(new YourMapper()).writeToText("/foo/bar");
// apply FilterFunction and emit
data.filter(new YourFilter()).writeToCsv("/foo/bar2");

您从 CSV 文件中读取了一个 DataSet data。此数据被提供给两个后续转换:

1. 到 MapFunction 并将其结果写入文本文件。
2. FilterFunction 和未过滤的元组被写入 CSV 文件。

您还可以有多个数据源和分支合并数据集(使用union、join、coGroup、cross，或广播集)，只要你喜欢。