python - 如何将 pandas 数据帧写入 Databricks dbfs/FileStore？

Question

我是 Databricks 的新手，需要帮助将 pandas 数据帧写入 databricks 本地文件系统。

我在谷歌中进行了搜索，但找不到任何与此类似的案例，也尝试了databricks(附后)提供的帮助指南，但也不起作用。尝试了以下更改以找到我的运气，命令运行得很好，但文件没有写入目录中(预期创建了 wrtdftodbfs.txt 文件)

1. df.to_csv("/dbfs/FileStore/NJ/wrtdftodbfs.txt")

结果:抛出以下错误

FileNotFoundError: [Errno 2] No such file or directory: '/dbfs/FileStore/NJ/wrtdftodbfs.txt'

df.to_csv("\\dbfs\\FileStore\\NJ\\wrtdftodbfs.txt")

结果:没有错误，但也没有写入任何内容

df.to_csv("dbfs\\FileStore\\NJ\\wrtdftodbfs.txt")

结果:没有错误，但也没有写入任何内容

df.to_csv(path ="\\dbfs\\FileStore\\NJ\\",file="wrtdftodbfs.txt")

Result: TypeError: to_csv() got an unexpected keyword argument 'path'

df.to_csv("dbfs:\\FileStore\\NJ\\wrtdftodbfs.txt")

结果:没有错误，但也没有写入任何内容

df.to_csv("dbfs:\\dbfs\\FileStore\\NJ\\wrtdftodbfs.txt")

结果:没有错误，但也没有写入任何内容

目录存在并且手动创建的文件显示，但 pandas to_csv 永远不会写入也不会出错。

dbutils.fs.put("/dbfs/FileStore/NJ/tst.txt","Testing file creation and existence")

dbutils.fs.ls("dbfs/FileStore/NJ")

Out[186]: [FileInfo(path='dbfs:/dbfs/FileStore/NJ/tst.txt', name='tst.txt', size=35)]

感谢您的宝贵时间，如果所附详细信息不够清楚，请原谅我。

Answer 1

在笔记本数据 block 中尝试使用此方法:

import pandas as pd
from io import StringIO

data = """
CODE,L,PS
5d8A,N,P60490
5d8b,H,P80377
5d8C,O,P60491
"""

df = pd.read_csv(StringIO(data), sep=',')
#print(df)
df.to_csv('/dbfs/FileStore/NJ/file1.txt')

pandas_df = pd.read_csv("/dbfs/FileStore/NJ/file1.txt", header='infer') 
print(pandas_df)