java - Solr SimplePostTool : IOException while reading response: java.net.SocketException:来自服务器的意外文件结尾

Question

我正在尝试使用 Solr 6.1.0 的 simpleposttool (bin/post) 为大型文件存储库(阳光下各种格式的 10,000 多个文档)建立索引。它会运行很长一段时间而没有任何问题，然后崩溃并出现以下情况:

POSTing file ThingsGoingWellUpToHere.pdf (application/pdf) to [base]/extract
POSTing file EXAMPLE1.pdf (application/pdf) to [base]/extract
SimplePostTool: WARNING: IOException while reading response: java.net.SocketException: Unexpected end of file from server
POSTing file EXAMPLE2.pptx (application/vnd.openxmlformats-officedocument.presentationml.presentation) to [base]/extract
SimplePostTool: FATAL: Connection error (is Solr running at http://localhost:8983/solr/sample/update ?): java.net.ConnectException: Connection refused

此时 Solr 也宕机了:

$ solr status
Found 1 Solr nodes:
Solr process 26499 from /opt/solr-6.1.0/bin/solr-8983.pid not found.

每当发生这种情况时，我都必须重新启动 solr。还有其他人遇到类似的问题吗？

请注意，如果我不得不大胆猜测的话，这与损坏的文件有关。我正在使用的集合约为 25Gb，并且在不稳定的连接上通过了两层 SCP。如果事实确实如此，我会亲自结束此 Activity 。

编辑:尝试发布 SimplePostTool 失败的单个文档，并且进展顺利，因此不太可能是损坏问题。搜索仍在继续...

Answer 1

这完全是一个内存问题。如果您看到此错误，则假设您没有为 Solr 实例分配足够的内存。只需在使用 solr start 时使用 -Xmx 标志来提高它即可。