java - 烫伤中的垂直分区

Question

我有一个 TypedTipe[(String, String, Long)]其中第一个 String 只能采用有限(~10)个值。我想对我的输出进行分区，以便为每种类型创建一个文件夹(即第一个字符串名称的 10 个文件夹)。这在 Hive 中很容易实现，但是我在 Scalding 中找不到一种优雅的方法来实现它。方法def partition(p: T => Boolean): (TypedPipe[T], TypedPipe[T])将管道分成两部分，但没有按照我的要求进行。

编辑

• 我正在使用 Scalding v0.13.1
• 我需要写一个PackedAvroSource

Answer 1

如果按要分区的字段分组，则可以使用 PartitionedDelimitedSource根据需要编写目录结构。例如:

val pipe: TypedPipe[(String, String, Long)] = ...
pipe
    .groupBy(_._1)
    .write(PartitionedDelimited[String, (String, String, Long)](args("output"), "%s"))