apache-spark - 如何将数据从数据帧导出到文件数据 block

Question

我现在正在 EdX 上介绍 Spark 类(class)。
是否有可能将 Databricks 中的数据帧保存在我的计算机上。

我问这个问题是因为本类(class)提供了 Databricks 笔记本，类(class)结束后可能无法使用。

在笔记本中使用命令导入数据:

log_file_path = 'dbfs:/' + os.path.join('databricks-datasets', 'cs100', 'lab2', 'data-001', 'apache.access.log.PROJECT')

我找到了这个解决方案，但它不起作用:

df.select('year','model').write.format('com.databricks.spark.csv').save('newcars.csv')

Answer 1

Databricks 运行一个云虚拟机，并且不知道您的本地计算机位于何处。如果要保存 DataFrame 的 CSV 结果，可以运行 display(df)并且有一个下载结果的选项。