azure - 将 Azure Blob 存储中存储的原始 CDN 日志处理到 Azure SQL 数据库的最佳方法

Question

我有一个 Azure CDN，我的所有原始日志(向 CDN 发出的每个请求)都会发送到我的 Azure Blob 存储，格式为“JSON 行”。 (这些是AzureCdnAccessLog)

我希望处理这些日志(每 10-20 分钟一次)，以计算每个资源被访问的次数、访问时间、访问平台等...并将结果输出到我的 Azure SQL 数据库。

在 Azure 上批量处理这些日志的最佳解决方案是什么？

预先感谢您的提问。

Answer 1

听起来像Azure function Blob storage trigger是最好的候选人。但请记住，azure 函数对 how long it can run 有限制。

[FunctionName("BlobTriggerCSharp")]        
public static void Run([BlobTrigger("container/{name}")] Stream myBlob, string name, ILogger log)
{
    log.LogInformation($"C# Blob trigger function Processed blob\n Name:{name} \n Size: {myBlob.Length} Bytes");
}

另一个选项是 Azure Data Factory ，这里是more information关于如何从 blob 导入