apache-spark - 仅读取 spark 数据集的前 n 列

Question

我有一个包含超过 5000 列的数据集，并且在尝试读取数据集时抛出 OutOfMemoryException，即使限制为 10 行也是如此。 cause of exception 上还有一个帖子所以我只想阅读前 n 列以避免错误。我找不到执行此操作的 api 调用，并且只能使用 head 或 limit 限制行。有没有办法只限制前几列？谢谢。

Answer 1

鉴于您的数据集是 ds，您可以将前 n 列提取到数组中:

val n = 2
val firstNCols = ds.columns.take(n)

然后仅从数据集中选择这些列:

ds.select(firstNCols.head, firstNCols.tail:_*)