azure - 为 Azure 搜索建立 Blob 内容索引时，"Content"太大

Question

我按照本文所述为 Azure 设置了 Blob 索引和全文搜索:Indexing Documents in Azure Blob Storage with Azure Search .

我的一些文档在索引器中失败，引发返回以下错误:

Field 'content' contains a term that is too large to process. The max length for UTF-8 encoded terms is 32766 bytes. The most likely cause of this error is that filtering, sorting, and/or faceting are enabled on this field, which causes the entire field value to be indexed as a single term. Please avoid the use of these options for large fields.

产生此错误的特定 pdf 大小为 3.68 MB，包含各种内容(文本、表格、图像等)。

索引和索引器的设置与该文章中所述完全相同，但添加了一些文件类型限制。

索引:

{
    "name": "my-index",
    "fields": [{
        "name": "id",
        "type": "Edm.String",
        "key": true,
        "searchable": false
    }, {
        "name": "content",
        "type": "Edm.String",
        "searchable": true
    }]
}

索引器:

{
    "name": "my-indexer",
    "dataSourceName": "my-data-source",
    "targetIndexName": "my-index",
    "schedule": { 
        "interval": "PT2H"
    },
    "parameters": {
        "maxFailedItems": 10,
        "configuration": {
            "indexedFileNameExtensions": ".pdf,.doc,.docx,.xls,.xlsx,.ppt,.pptx,.html,.xml,.eml,.msg,.txt,.text"
        }
    }
}

我尝试搜索他们的文档和其他一些相关文章，但我找不到任何信息。我猜这是因为此功能仍处于预览阶段。

Answer 1

搜索索引中单个术语的大小有限制 - 它也恰好是 32KB。如果搜索索引中的 content 字段被标记为 filterable、facetable 或 sortable，那么您将遇到此问题限制(无论该字段是否标记为可搜索)。通常，对于大型可搜索内容，您希望启用可搜索，有时可检索，但不启用其余内容。这样您就不会达到索引端内容长度的限制。

请参阅this answer还可以了解更多背景信息。