apache-flink - 弗林克 : writing to dev/null

Question

我想执行我的Flink Scala程序而不将结果写入文件。运行程序而不保存结果 DataSet进入DataSink不可能的。所以我尝试了<result dataset name>.writeAsText("file:///dev/null", WriteMode.OVERWRITE) 。那行不通。发生以下错误:

> java.io.IOException: Output path 'file:/dev/null' could not be
> initialized. Canceling task...    at
> org.apache.flink.api.common.io.FileOutputFormat.open(FileOutputFormat.java:228)
>   at
> org.apache.flink.api.java.io.TextOutputFormat.open(TextOutputFormat.java:77)
>   at
> org.apache.flink.runtime.operators.DataSinkTask.invoke(DataSinkTask.java:187)
>   at org.apache.flink.runtime.taskmanager.Task.run(Task.java:584)     at
> java.lang.Thread.run(Thread.java:745)

有没有办法将 DataSink 与 dev/null 路径一起使用？

Answer 1

您可以使用DiscardingOutputFormat:

val data: DataSet[(String, Int)]
data.output(new DiscardingOutputFormat[(String, Int)]())