azure - 增加 Azure 数据资源管理器(ADX、Kusto)中摄取的最大文件大小

Question

我目前正在将多个 TB 的数据提取到 Azure 数据资源管理器集群的数据库(ADX 又名 Kusto DB)中。我总共迭代了大约 30k 个文件。其中有些只有几 kB，但有些则有 GB 之大。

对于一些大文件，由于文件大小，我遇到了错误:

FailureMessage(
    {
        ...
        "Details":"Blob size in bytes: '4460639075' has exceeded the size limit allowed for ingestion ('4294967296' B)",
        "ErrorCode":"BadRequest_FileTooLarge",
        "FailureStatus":"Permanent",
        "OriginatesFromUpdatePolicy":false,
        "ShouldRetry":false
    })

我可以采取什么措施来增加允许的摄取大小？

Answer 1

存在不可配置的 4GB 限制。

您应该分割源文件(理想情况下，每个文件都有 100MB-1GB 的未压缩数据)。

参见:https://learn.microsoft.com/en-us/azure/data-explorer/kusto/api/netfx/kusto-ingest-best-practices#optimizing-for-throughput