python-3.x - 使用 pymongo 从 csv 插入数组

Question

我有一个 csv 文件，其中包含如下字符串格式的数组:

date,name,criteria
2018-05-16,John,"[{'age':35},{'birthyear':1983}]"
2018-05-16,Jane,"[{'age':36},{'birthyear':1982}]"

我正在使用带有 pandas 和 numpy 的 Python 来处理这个问题

我需要按以下格式将此文件导入 MongoDB 集合:

{
   "date":'2018-05-16',
   "name":"John",
   "criteria" : [
         {"age":35},
         {"birthyear" : 1983}
   ]
},
{
   "date":'2018-05-16',
   "name":"Jane",
   "criteria" : [
         {"age":36},
         {"birthyear" : 1982}
   ]
 }

`

我尝试使用 json 格式化程序，但在插入 Mongodb 后，我得到的数组与 csv 文件中的数组相同。

我尝试了以下方法:

#Approach 1
import pymongo
from pymongo import MongoClient
import pandas as pd
import numpy as np
import json
from datetime import datetime

df = pd.read_csv("file.csv")
records = json.loads(df.T.to_json()).values()
db.tmp_collection.insert_many(data.to_dict('record'))



#Approach 2
import pymongo
from pymongo import MongoClient
import pandas as pd
import numpy as np
import json
from datetime import datetime

df = pd.read_csv("file.csv")
data_json = json.loads(df.to_json(orient='records'))
db.tmp_collection.insert_many(data_json)

两者都在 Mongodb 集合中提供以下输出:

{
"date" : "2018-05-16",
"name" : "John",
"criteria" : "[{age:35},{birthyear:1983}]"
}

你能推荐一些更好的方法吗？附言我是 Python 新手。

提前致谢。

Answer 1

如前所述，主要问题是 criteria 的“字符串”中的 JSON“类似”数据在键周围缺少引号。正确使用引号后，您可以将字符串解析为列表，数据按照您想要的方式构建。

你实际上可以运行 map和 re.sub()在现有列表上并将 criteria 替换为已解析的版本。

鉴于您声明的形式的源数据:

date,name,criteria
2018-05-16,John,"[{age:35},{birthyear:1983}]"
2018-05-16,Jane,"[{age:36},{birthyear:1982}]"

那么重要的部分是:

df = pd.read_csv("file.csv")
records = json.loads(df.to_json(orient='records'))

pattern = r"({|,)(?:\s*)(?:')?([A-Za-z_$\.][A-Za-z0-9_ \-\.$]*)(?:')?(?:\s*):"

records = map(lambda x:
  dict(x.items() +
    {
      'criteria': json.loads(
        re.sub(pattern, "\\1\"\\2\":", x['criteria'])
      )
    }.items()
  ),
  records
)

这基本上是遍历较早出现的列表中的每个项目，并对“字符串”进行替换以引用对象中的键。然后当然会将现在有效的 JSON 字符串解析为字典对象列表。

这将使数据如下:

[{u'criteria': [{u'age': 35}, {u'birthyear': 1983}],
  u'date': u'2018-05-16',
  u'name': u'John'},
 {u'criteria': [{u'age': 36}, {u'birthyear': 1982}],
  u'date': u'2018-05-16',
  u'name': u'Jane'}]

然后您可以将其传递给 insert_many()在集合中创建文档，保持您想要的格式。

db.tmp_collection.insert_many(records)

归因于 regular expression to add double quotes around keys in javascript对于此处使用的正则表达式模式。

就我个人而言，我会更进一步，至少解析为 datetime:

records = map(lambda x:
  dict(x.items() +
    {
      'date': datetime.strptime(x['date'], '%Y-%m-%d'),
      'criteria': json.loads(
        re.sub(pattern, "\\1\"\\2\":", x['criteria'])
      )
    }.items()
  ),
  records
)

MongoDB 将在插入集合时使用 BSON 日期，这比字符串更有用。

再一次，“个人”我不会在 MongoDB 的列表中使用“命名键”。相反，我宁愿“重新映射”到更标准的东西，如 “k” 和 “v”，如:

records = map(lambda x:
  dict(x.items() +
    {
      'date': datetime.strptime(x['date'], '%Y-%m-%d'),
      'criteria':
      [i for s in map(lambda y: [{ 'k': k, 'v': v } for k,v, in y.iteritems()] , json.loads(
        re.sub(pattern, "\\1\"\\2\":", x['criteria'])
      )) for i in s]
    }.items()
  ),
  records
)

它给出了这样的结构:

[{u'criteria': [{'k': u'age', 'v': 35}, {'k': u'birthyear', 'v': 1983}],
  u'date': datetime.datetime(2018, 5, 16, 0, 0),
  u'name': u'John'},
 {u'criteria': [{'k': u'age', 'v': 36}, {'k': u'birthyear', 'v': 1982}],
  u'date': datetime.datetime(2018, 5, 16, 0, 0),
  u'name': u'Jane'}]

主要原因是，如果路径更一致，那么使用 MongoDB 进行“查询”将会更有用。