python - 如何在 pymongo 中存储和检索 pandas 数据框列表？

Question

我有一个数据框列表。我想将这些存储在 mongodb 中并检索它。

我尝试存储:

for every_df in dfs:
   records = json.loads(every_df.to_json()).values()
   db_connection.insert(records)

但我不确定如何检索。

Answer 1

查看 odo .您可以在一行中执行所有这些操作(追加和检索)，即使您有多个 DataFrame。这是一个例子:

In [1]: from odo import odo, chunks, resource

In [2]: dfs = (pd.DataFrame({'a': [1, 2, 3], 'b':list('abc')}),
   ...:        pd.DataFrame({'a': [2, 3, 4], 'b':list('def')}))

In [3]: dfs
Out[3]:
(   a  b
 0  1  a
 1  2  b
 2  3  c,    a  b
 0  2  d
 1  3  e
 2  4  f)

In [4]: db = resource('mongodb://localhost/mydb')

In [5]: coll = odo(chunks(pd.DataFrame)(dfs), db.mycollection)

In [6]: list(coll.find())
Out[6]:
[{u'_id': ObjectId('55520638362e690439f13dfb'), u'a': 1, u'b': u'a'},
 {u'_id': ObjectId('55520638362e690439f13dfc'), u'a': 2, u'b': u'b'},
 {u'_id': ObjectId('55520638362e690439f13dfd'), u'a': 3, u'b': u'c'},
 {u'_id': ObjectId('55520638362e690439f13dfe'), u'a': 2, u'b': u'd'},
 {u'_id': ObjectId('55520638362e690439f13dff'), u'a': 3, u'b': u'e'},
 {u'_id': ObjectId('55520638362e690439f13e00'), u'a': 4, u'b': u'f'}]

In [7]: whole_df = odo(coll, pd.DataFrame)

In [8]: whole_df
Out[8]:
   a  b
0  1  a
1  2  b
2  3  c
3  2  d
4  3  e
5  4  f