amazon-web-services - 如何将 CSV 文件中的批量数据导入 DynamoDB？

Question

我正在尝试将 CSV 文件数据导入 AWS DynamoDB。

这是我的 CSV 文件的样子:

first_name  last_name
sri ram
Rahul   Dravid
JetPay  Underwriter
Anil Kumar  Gurram

Answer 1

您想以哪种语言导入数据？我刚刚在 Node.js 中编写了一个函数，可以将 CSV 文件导入到 DynamoDB 表中。它首先将整个 CSV 解析为一个数组，将数组拆分为 (25) 个块，然后 batchWriteItem入表。

注意:DynamoDB 只允许在 batchinsert 中一次最多写入 25 条记录。 .所以我们必须将我们的数组拆分成块。

    var fs = require('fs');
    var parse = require('csv-parse');
    var async = require('async');

    var csv_filename = "YOUR_CSV_FILENAME_WITH_ABSOLUTE_PATH";

    rs = fs.createReadStream(csv_filename);
    parser = parse({
        columns : true,
        delimiter : ','
    }, function(err, data) {

        var split_arrays = [], size = 25;

        while (data.length > 0) {
            split_arrays.push(data.splice(0, size));
        }
        data_imported = false;
        chunk_no = 1;

        async.each(split_arrays, function(item_data, callback) {
            ddb.batchWriteItem({
                "TABLE_NAME" : item_data
            }, {}, function(err, res, cap) {
                console.log('done going next');
                if (err == null) {
                    console.log('Success chunk #' + chunk_no);
                    data_imported = true;
                } else {
                    console.log(err);
                    console.log('Fail chunk #' + chunk_no);
                    data_imported = false;
                }
                chunk_no++;
                callback();
            });

        }, function() {
            // run after loops
            console.log('all data imported....');

        });

    });
    rs.pipe(parser);