python - 为什么 Apache-Spark - Python 本地速度比 pandas 慢？

Question

这里是 Spark 新手。我最近开始使用以下命令在本地计算机上的两个内核上使用 Spark:

pyspark --master local[2]

我有一个 393Mb 的文本文件，其中有近一百万行。我想执行一些数据操作操作。我使用 PySpark 的内置数据帧函数来执行简单的操作，例如 groupBy、sum、max、stddev.

但是，当我在 pandas 中对完全相同的数据集执行完全相同的操作时，pandas 似乎在延迟方面以巨大优势击败了 pyspark。

我想知道这可能是什么原因。我有几个想法。

1. 内置函数的序列化/反序列化过程是否效率低下？如果是，有哪些替代方案？
2. 数据集是否太小，以至于无法超出运行 Spark 的底层 JVM 的开销？

感谢您的浏览。非常感谢。

Answer 1

因为:

• Apache Spark 是一个复杂的框架，旨在跨数百个节点分布处理，同时确保正确性和容错能力。这些属性中的每一个都需要巨大的成本。
• 因为纯粹的内存核心处理 (Pandas) 比磁盘和网络(甚至本地)I/O (Spark) 快几个数量级。
• 因为并行性(和分布式处理)会增加大量开销，而且即使达到最佳(令人尴尬的并行工作负载)也不能保证任何性能改进。
• 因为本地模式并不是为了性能而设计的。它用于测试。
• 最后但并非最不重要的一点 - 在 393MB 上运行的 2 个核心不足以看到任何性能改进，并且单节点不提供任何分发机会
• 还有Spark: Inconsistent performance number in scaling number of cores , Why is pyspark so much slower in finding the max of a column? , Why does my Spark run slower than pure Python? Performance comparison

这样可以持续很长时间...