apache-spark - 选择 PySpark 数据框中的特定列以提高性能

Question

使用从 Hive 导入的 Spark 数据帧，有时我最终会得到几个我不需要的列。假设我不想过滤它们

df = SqlContext.sql('select cols from mytable')

我正在导入整个表

df = SqlContext.table(mytable)

做 select及后续 cache提高性能/减少内存使用，比如

df = df.select('col_1', 'col_2', 'col_3')
df.cache()
df.count()

还是只是浪费时间？我会在 df 上做很多操作和数据操作, 喜欢 avg , withColumn ， 等等。

Answer 1

IMO 事先过滤它们是有意义的:

df = SqlContext.sql('select col_1, col_2, col_3 from mytable')

所以你不会浪费资源...

如果你不能这样做，那么你可以按照你所做的去做......