c# - Azure 函数从大 JSON 格式到 SQL

Question

我正在尝试将 50K 行(4MB)的 JSON 转换为 SQL 数据库。我正在下面的代码中尝试这种方法，但函数在完成之前崩溃了。我不擅长 SQL，所以我不知道是否为此我可以遵循任何其他方法。我认为是因为大量的行需要花费大量的时间来执行。我的 dto 的格式是这样的:

{"Data":[ {"name":"Variable A","value":0.321721,"timecreated":"2018-1-15T11:10:7.977Z"}, {"name":"Variable B","value":-8.932533,"timecreated":"2018-1-15T11:10:8.17Z"}, {"name":"Variable C","value":-7.068326,"timecreated":"2018-1-15T11:10:8.58Z"}, {"name":"Variable A","value":-3.580420,"timecreated":"2018-1-15T11:10:8.98Z"},

....50K lines

{"name":"Variable C","value":1.549976,"timecreated":"2018-1-15T11:10:7.977Z"}, {"name":"Variable A","value":-8.701625,"timecreated":"2018-1-15T11:10:8.17Z"}]}

  public static async Task RunAsync([BlobTrigger("Container/Device/{name}", Connection = "AzureWebJobsStorage")]Stream myBlob, string name, TraceWriter log)
    {

        log.Info($"C# Blob trigger Entered\n Name:{name} \n Size: {myBlob.Length} Bytes");
        var sr = new StreamReader(myBlob);
        string strReadBlob = sr.ReadToEnd();
        var dto = JsonConvert.DeserializeObject<Object50KElement>(strReadBlob);
        using (SqlConnection conn = new SqlConnection(cnnString))
        {
            foreach (Variable v in dto)
            {
                //Send to SQL
                conn.Execute(XXXXXXX);

            }
        }
    }

Answer 1

您的 SqlConnection 超时，因为默认设置为 30 秒。因此，您可以增加超时。但您可能会达到 5 分钟函数运行限制。 (如果您使用消费计划)

但是，如果您有 50k 行，则最好使用 SqlBulkCopy将数据流式传输到数据库中，而不是单独插入每一行。它更快，而且会省钱。 :)

您可以使用上面链接中的示例。或者，如果您的 json 字段与数据库列匹配，您可以使用以下代码:

public static int BulkInsert<T>(string connection, string tableName, IEnumerable<T> source)
{
    using (var bulkCopy = new SqlBulkCopy(connection))
    {
        bulkCopy.BatchSize = 10000;
        bulkCopy.DestinationTableName = tableName;

        var reader = new EnumerableDataReader<T>(source);

        for (var i = 0; i < reader.FieldCount; i++)
        {
            var name = reader.GetName(i);
            bulkCopy.ColumnMappings.Add(name, name);
        }
        bulkCopy.WriteToServer(reader);
        return reader.RecordsAffected;
    }
}

您可以“玩弄”BatchSize 以获得更好的性能，或者为每 1000 条记录循环运行上述函数。