gpt4 book ai didi

Python处理CSV、JSON和XML数据的简便方法

转载 作者:qq735679552 更新时间:2022-09-27 22:32:09 26 4
gpt4 key购买 nike

CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Python处理CSV、JSON和XML数据的简便方法由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.

Python处理CSV、JSON和XML数据的简便方法

Python的卓越灵活性和易用性使其成为最受欢迎的编程语言之一,尤其是对于数据处理和机器学习方面来说,其强大的数据处理库和算法库使得python成为入门数据科学的首选语言。在日常使用中,CSV,JSON和XML三种数据格式占据主导地位。下面我将针对三种数据格式来分享其快速处理的方法.

CSV数据

CSV是存储数据的最常用方法。在Kaggle比赛的大部分数据都是以这种方式存储的。我们可以使用内置的Python csv库来读取和写入CSV。通常,我们会将数据读入列表列表.

看看下面的代码。当我们运行csv.reader()所有CSV数据变得可访问时。该csvreader.next()函数从CSV中读取一行; 每次调用它,它都会移动到下一行。我们也可以使用for循环遍历csv的每一行for row in csvreader 。确保每行中的列数相同,否则,在处理列表列表时,最终可能会遇到一些错误.

  1. import csv
  2. filename = "my_data.csv"
  3. fields = []
  4. rows = []
  5. # Reading csv file
  6. with open(filename, 'r') as csvfile:
  7. # Creating a csv reader object
  8. csvcsvreader = csv.reader(csvfile)
  9. # Extracting field names in the first row
  10. fields = csvreader.next()
  11. # Extracting each data row one by one
  12. for row in csvreader:
  13. rows.append(row)
  14. # Printing out the first 5 rows
  15. for row in rows[:5]:
  16. print(row)

在Python中写入CSV同样容易。在单个列表中设置字段名称,并在列表列表中设置数据。这次我们将创建一个writer()对象并使用它将我们的数据写入文件,与读取时的方法基本一样.

  1. import csv
  2. # Field names
  3. fields = ['Name', 'Goals', 'Assists', 'Shots']
  4. # Rows of data in the csv file
  5. rows = [ ['Emily', '12', '18', '112'],
  6. ['Katie', '8', '24', '96'],
  7. ['John', '16', '9', '101'],
  8. ['Mike', '3', '14', '82']]
  9. filename = "soccer.csv"
  10. # Writing to csv file
  11. with open(filename, 'w+') as csvfile:
  12. # Creating a csv writer object
  13. csvcsvwriter = csv.writer(csvfile)
  14. # Writing the fields
  15. csvwriter.writerow(fields)
  16. # Writing the data rows
  17. csvwriter.writerows(rows)

我们可以使用Pandas将CSV转换为快速单行的字典列表。将数据格式化为字典列表后,我们将使用该dicttoxml库将其转换为XML格式。我们还将其保存为JSON文件! 。

  1. import pandas as pd
  2. from dicttoxml import dicttoxml
  3. import json
  4. # Building our dataframe
  5. data = {'Name': ['Emily', 'Katie', 'John', 'Mike'],
  6. 'Goals': [12, 8, 16, 3],
  7. 'Assists': [18, 24, 9, 14],
  8. 'Shots': [112, 96, 101, 82]
  9. }
  10. df = pd.DataFrame(data, columns=data.keys())
  11. # Converting the dataframe to a dictionary
  12. # Then save it to file
  13. data_dict = df.to_dict(orient="records")
  14. with open('output.json', "w+") as f:
  15. json.dump(data_dict, f, indent=4)
  16. # Converting the dataframe to XML
  17. # Then save it to file
  18. xml_data = dicttoxml(data_dict).decode()
  19. with open("output.xml", "w+") as f:
  20. f.write(xml_data)

JSON数据

JSON提供了一种简洁且易于阅读的格式,它保持了字典式结构。就像CSV一样,Python有一个内置的JSON模块,使阅读和写作变得非常简单!我们以字典的形式读取CSV时,然后我们将该字典格式数据写入文件.

  1. import json
  2. import pandas as pd
  3. # Read the data from file
  4. # We now have a Python dictionary
  5. with open('data.json') as f:
  6. data_listofdict = json.load(f)
  7. # We can do the same thing with pandas
  8. data_df = pd.read_json('data.json', orient='records')
  9. # We can write a dictionary to JSON like so
  10. # Use 'indent' and 'sort_keys' to make the JSON
  11. # file look nice
  12. with open('new_data.json', 'w+') as json_file:
  13. json.dump(data_listofdict, json_file, indent=4, sort_keys=True)
  14. # And again the same thing with pandas
  15. export = data_df.to_json('new_data.json', orient='records')

正如我们之前看到的,一旦我们获得了数据,就可以通过pandas或使用内置的Python CSV模块轻松转换为CSV。转换为XML时,可以使用dicttoxml库。具体代码如下:

  1. import json
  2. import pandas as pd
  3. import csv
  4. # Read the data from file
  5. # We now have a Python dictionary
  6. with open('data.json') as f:
  7. data_listofdict = json.load(f)
  8. # Writing a list of dicts to CSV
  9. keys = data_listofdict[0].keys()
  10. with open('saved_data.csv', 'wb') as output_file:
  11. dict_writer = csv.DictWriter(output_file, keys)
  12. dict_writer.writeheader()
  13. dict_writer.writerows(data_listofdict)

XML数据

XML与CSV和JSON有点不同。CSV和JSON由于其既简单又快速,可以方便人们进行阅读,编写和解释。而XML占用更多的内存空间,传送和储存需要更大的带宽,更多存储空间和更久的运行时间。但是XML也有一些基于JSON和CSV的额外功能:您可以使用命名空间来构建和共享结构标准,更好地传承,以及使用XML、DTD等数据表示的行业标准化方法.

要读入XML数据,我们将使用Python的内置XML模块和子模ElementTree。我们可以使用xmltodict库将ElementTree对象转换为字典。一旦我们有了字典,我们就可以转换为CSV,JSON或Pandas Dataframe!具体代码如下:

  1. import xml.etree.ElementTree as ET
  2. import xmltodict
  3. import json
  4. tree = ET.parse('output.xml')
  5. xml_data = tree.getroot()
  6. xmlstr = ET.tostring(xml_data, encoding='utf8', method='xml')
  7. data_dict = dict(xmltodict.parse(xmlstr))
  8. print(data_dict)
  9. with open('new_data_2.json', 'w+') as json_file:
  10. json.dump(data_dict, json_file, indent=4, sort_keys=True)

原文地址:https://mp.weixin.qq.com/s/A7HOW5JXZwtRrZtic7Gdhw 。

最后此篇关于Python处理CSV、JSON和XML数据的简便方法的文章就讲到这里了,如果你想了解更多关于Python处理CSV、JSON和XML数据的简便方法的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com