python - python 批量将 json 转换为 csv

Question

类似这个问题batch process text to csv using python

我有一批 json 文件需要转换为 csv，以便可以导入到 Tableau 中。

第一步是让 json2csv ( https://github.com/evidens/json2csv ) 工作，我做到了。我可以通过命令行成功转换单个文件。

现在我需要一个操作来遍历目录中的文件并使用 json2csv 脚本在单个批处理操作中转换每个文件。

TIA

Answer 1

我实际上创建了一个 jsontocsv python 脚本来运行自己。它基本上以 block 的形式读取 json 文件，然后确定 csv 文件的行和列。

查看Opening A large JSON file in Python with no newlines for csv conversion Python 2.6.6了解所做的事情以及如何从 json 构建 .csv 的详细信息。实际的转换取决于您实际的 json 格式。

json parse function用于读取 json 数据的 block 大小为 0x800000。

如果数据在特定时间可用，您可以使用 crontab 进行设置。

我用过

 from optparse import OptionParser

获取输入和输出文件作为参数，并设置分析和映射所需的各种选项。

您还可以在给定目录中使用批处理脚本

for f in *.json; do
  mybase=`basename $f .json`
  json2csv $f -o ${mybase}.csv
done

或者，将 find 与 -exec {} 选项一起使用

如果您希望所有 json 文件都放入一个 .csv 文件中，您可以使用

json2csv *.json -o myfile.csv