apache-spark - 使用 Spark Graphframes 进行分区

Question

我正在使用 Spark Graphframes 处理一个较大的 (?) 图(6000 万个顶点和 95 亿条边)。基础数据并不大——顶点在磁盘上占用大约 500mb，边大约是 40gb。由于 java 堆内存不足的问题，我的容器经常关闭，但我认为根本问题是 graphframe 不断地洗牌数据(我看到洗牌读/写高达 150gb)。有没有办法有效地划分 Graphframe 或底层边/顶点以减少 shuffle？

Answer 1

这是部分解决方案/解决方法 - 创建一个模拟分区函数之一的 UDF，以在其上创建一个新列和分区。

num_parts = 256
random_vertex_cut = udf.register("random_vertex_cut", lambda src, dst: math.abs((src, dst).hashCode()) % num_parts, IntegerType())

edge.withColumn("v_cut", random_vertex_cut(col("src"), col("dst")).repartition(256, "v_cut")

这种方法可以帮助一些人，但不如 GraphX。