scala - 如何在 Scalding 中定义源字段

Question

一个月前我在 Cascading 工作。现在我们正在尝试在 Scalding 中实现相同的功能。我有一个基本问题。

如何在 Scalding 中定义我的源和接收器模式？

以下是我们在级联中遵循的过程

    SrcFields sourcefields = new SrcFields();
    SinkFields sinkfields = new SinkFields();
    Fields source = sourcefields.sourceFields();
    Fields sink = sinkfields.sinkfields();
    Scheme sourceScheme = new TextDelimited(source,",");
    Scheme sinkScheme = new TextDelimited(sink,",");

Answer 1

在 Scalding 中，您可以使用 Fields based或 Typed接口(interface)，根据Source documentation .以前，您会使用 Csv或 Tsv读或写的类。

对于类型化界面，您将使用 TypedCsv或 TypedTsv类。

您可以在烫毛教程中找到示例:https://github.com/twitter/scalding/blob/develop/tutorial/Tutorial6.scala , https://github.com/twitter/scalding/blob/develop/tutorial/TypedTutorial.scala