solr - 在Solr中， "text"字段的最大大小是多少？

Question

在您的应用程序中使用Solr客户端时，text多行字段的最大大小是多少？

我可以将巨大的xml文档作为文本发送吗？

例如。

SolrInputDocument document = new SolrInputDocument();
document.addField("id", rec.getId());
document.addField("hugeTextFile_txt", hugeTextFile);        
UpdateResponse response = solr.add(document);
solr.commit();  

Answer 1

更新

我使用text fieldType使用了相同的单元测试。以下是我使用的声明。请注意，我已从声明中删除了分析器部分。

<fieldType name="text" class="solr.TextField"/>

我能够添加 500,000,000个字符并成功将其编入索引。对于更高的值，我得到了 Java heap space错误，该错误与solr不相关。

我试图通过向字段添加大值来执行简单的测试。我发现的限制是 32,766字节。之后，它会抛出 IllegalArgumentException。 fieldType的 email是 string。

<fieldType name="string" class="solr.StrField" sortMissingLast="true" />

@Test
public void test() throws IOException, SolrServerException {
  SolrInputDocument document = new SolrInputDocument();
  document.addField("profileId", TestConstants.PROFILE_ID);
  StringBuilder builder = new StringBuilder();
  for (int i = 0; i<32767; i++) {
    builder.append((char)((i%26)+'a'));
  }
  document.addField("email", builder.toString());
  solrClient.add(document);
  solrClient.commit();
}

上面针对32767及更高版本抛出的异常:

Caused by: java.lang.IllegalArgumentException: Document contains at least one immense term in field="email" (whose UTF8 encoding is longer than the max length 32766), all of which were skipped. Please correct the analyzer to not produce such terms. The prefix of the first immense term is: '[97, 98, 99, 100, 101, 102, 103, 104, 105, 106, 107, 108, 109, 110, 111, 112, 113, 114, 115, 116, 117, 118, 119, 120, 121, 122, 97, 98, 99, 100]...', original message: bytes can be at most 32766 in length; got 32767

我希望这会有所帮助。