hadoop - 在Spark中按用户ID分组

Question

我有10个具有相同架构的文件:

user_Id，time_stamp，event_type，描述，other_columns

它们存储在10个文件中，因为它们来自10个不同的来源。为了进行一些分析，我需要将同一用户的数据(记录)分组在一起并产生一些值(计算逻辑相当复杂，无法通过reduceByKey来完成)。所以我在Spark中使用groupByKey()。由于混洗，这非常耗时。任何想法如何使它更快？在此阶段，计算将完全在具有相同用户ID的记录中进行。顺便说一句，我可以和数据提供商谈谈，要求他们准备某种格式的数据。

Answer 1

我认为当您将文件读入RDD时，可以在分区中使用相同的用户ID进行相同的记录。例如，假设您要为RDD创建20个分区，则可以在记录中获取用户ID的哈希码，然后使用hashcode % 20将此记录分配给其中一个分区。它可以确保具有相同用户ID的记录进入相同的分区。