python - 将字典的字符串表示形式转换为实际的字典

Question

我有一个包含 100K+ 行数据的 CSV 文件，格式如下:

"{'foo':'bar' , 'foo1':'bar1', 'foo3':'bar3'}"


"{'foo':'bar' , 'foo1':'bar1', 'foo4':'bar4'}"

引号位于花括号之前，因为我的数据来自 CSV 文件。

我想提取所有行中的键值对来创建一个数据框，如下所示:

Column Headers: foo, foo1, foo3, foo...


Rows:           bar, bar1, bar3, bar...

我已经尝试实现类似于此处解释的内容 (Python: error parsing strings from text file with Ast module)。

我已经获得了 ast.literal_eval 函数来处理我的文件以将内容转换为字典，但现在如何让 DataFrame 函数起作用？我是一个初学者，所以任何帮助将不胜感激。

import pandas as pd
import ast

with open('file_name.csv') as f:
        for string in f:
            parsed = ast.literal_eval(string.rstrip())
            print(parsed)


pd.DataFrame(???)

Answer 1

您可以使用 pd.DataFrame.from_dict 将字典转换为 pandas 数据框，但它会期望字典中的每个值都在列表中。

for key, value in parsed.items():
   parsed[key] = [value]

df = pd.DataFrame.from_dict(parsed)

您可以通过附加到您的数据框来迭代执行此操作。

df = pd.DataFrame()
for string in f:
    parsed = ast.literal_eval(string.rstrip())
    for key, value in parsed.items():
        parsed[key] = [value]
    df.append(pd.DataFrame.from_dict(parsed))