python - 将 pandas 表加载到 dynamoDb

Question

我正在尝试将一个大的 Pandas 表加载到 dynamoDB。

我试过如下的for循环方法

for k in range(1000):
    trans = {}
    trans['Director'] = DL_dt['director_name'][k]
    trans['Language'] = DL_dt['original_language'][k]
    print("add :", DL_dt['director_name'][k] , DL_dt['original_language'][k])
    table.put_item(Item=trans)

它有效，但非常耗时。有没有更快的加载方式？ (相当于 sql 数据库的 to_sql)

我找到了 batchwriteitem 函数，但我不确定它是否有效，我也不知道如何使用它。

非常感谢。

Answer 1

您可以遍历数据帧行，将每一行转换为 json，然后使用 json.loads 将其转换为字典，这也将避免 numpy 数据类型错误。

你可以试试这个:

import json
from decimal import Decimal
DL_dt = DL_dt.rename(columns={
    'director_name': 'Director',
    'original_language': 'Language'
})
with table.batch_writer() as batch:
    for index, row in DL_dt.iterrows():
        batch.put_item(json.loads(row.to_json(), parse_float=Decimal))