json - 使用 Node.js 加载海量数据

Question

这是我对 Stack overflow 的第一个问题，但在过去的 2 年里我一直在使用 SO，它提供了丰富的信息。

我最近接触了 NodeJS，但遇到了一个难题。我正在尝试找出使用 NodeJS 加载/插入大约 2000 行数据的最佳方法，并在可能的情况下使用首选的异步方法。我必须从 API 获取数据，然后获取 JSON 数据并将数据加载到 3 个表中，以便我以后可以使用这些数据。该文件有 17 个国家对象，然后是 77 个州对象和大约 2000 个县对象。

我正在解析的 JSON 文件格式是:

[{Country:{
    Name: ...
    CountryId: ...
    States: {
      Name: ...
      StateId: ...
      Counties: {
        Name: ...
        CountyId:...
      }
     }
  },{Country+n:{
    Name: ...
    CountryId: ...
    States: {
      Name: ...
      StateId: ...
      Counties: {
        Name: ...
        CountyId:...
      }
     }
  }];

因此，在我的 PHP 背景下，我会立即在 JavaScript 中创建三个这样的函数:

function Country(data){
    for(var z in data){
      var country = data[z];
      InsertInCountryDB(country.CountryId, country.Name);
      State(Country.State);
    }
}

    function State(data){
        for(var z in data){
          var state = data[z];
          InsertInStateDB(state.StateId, state.Name);
          State(Country.State);
        }
    }

    function County(data){
        for(var z in data){
          var county = data[z];
          InsertInCountyDB(county.CountyId, county.Name);
        }
    }

我的第一个尝试是为每个对象创建一个事件，然后使用这些事件向下钻取对象本身，然后插入数据。我发现它可以很好地将国家和州详细信息插入数据库，但是对于县数据，它会出错。

我不是在寻找我的问题的答案，而是在寻找编码技巧，以帮助我摆脱我的三个同步功能，而是使用异步功能。

谢谢

Answer 1

2000应该不会太差。这听起来更像是 10000 次左右的插入。你的大规则是将它们作为单个提交运行(如果你可以做准备好的语句，甚至更好)并在最后提交。

既然你的问题更多是在架构方面，假设你使用的是 PostgreSQL 9.1 或更高版本，(并且可以从源代码安装额外的编译扩展)我的建议会完全不同。

我会创建一个临时表(如果是 9.1，则需要从源扩展):

CREATE TEMPORARY TABLE upload_holding (payload json);

然后我会在其中插入“行”作为 JSON 文档。然后我会在 plv8js 中编写一个存储过程(你必须单独安装，可能来自源代码，但如果你不想在 Javascript 中工作，你可以使用 pl/perl 代替)它会处理 JSON 并提取每个部分.然后，您可以将函数链接在一起以将行作为集合处理并一起执行插入操作。

这里不可能有一个完整的工作示例，但考虑到使用 Perl 或 Javascript，您可以采用 JSON 形式获取每个实体并将其提取到一个元组中，然后获取该元组并进一步处理它，您可以相当轻松地链接您插入到数据库中的 JSON 处理。

这将是相似的，只是您的大部分功能都在数据库中，因此需要更少的计划开销才能有效地利用。