java - 如何使用 mysql 优化 solr 索引

Question

我正在使用 Mysql 将数据索引到 SOLR。早期数据较少，因此索引速度很快，没有任何滞后。现在我的数据包含近300万行，mysql查询总是超时，因此SOLR无法相应地索引数据。有没有办法使用mysql快速索引SOLR或者可以在SOLR中进行任何调整？请帮忙。

Answer 1

如果您不使用incremental / delta indexing ，你应该开始这样做。这样，只有自上次索引运行以来发生更改的行才会再次编制索引，从而减少 MySQL 的影响和行数。

另外还有 JDBCDataSource(我猜你正在使用它)supports the batchSize parameter ，它告诉 JDBC 驱动程序限制每个查询中的文档数量 - 并改为发出多个查询。

如果您在检索 SQL 内容时对 SQL 内容执行任何类型的过滤(例如增量导入)，您还应该注意数据上有可用的索引。