python - 在 pyspark 中读取 TSV 文件

Question

在 pyspark 中读取带有 header 的 .tsv 文件并将其存储在 spark 数据框中的最佳方法是什么。

我正在尝试使用“spark.read.options”和“spark.read.csv”命令，但没有成功。

谢谢。

问候， git

Answer 1

好吧，如果有可用的 header ，您可以直接读取 tsv 文件而无需提供外部模式:

df = spark.read.csv(path, sep=r'\t', header=True).select('col1','col2')

由于 spark 是惰性计算的，因此它只会读取选定的列。希望对您有所帮助。