mysql - 重建 Sphinx 索引失败

Question

我们在为我们的一个 MySQL 数据库重建 Sphinx 索引时遇到问题。轮转重建索引多次失败，系统继续使用旧索引。数据库大小在过去几个月中翻了一番，现在包含超过 1000 万行的表。在使用

重建 Sphinx 索引期间

indexer --config our_config.conf --rotate --all

(由此处使用的 UltraSphinx 插件生成)，我们在 Sphinx 守护程序日志文件 searchd.log 中得到以下错误

WARNING: rotating index 'main': preread failed: failed to open 
~/etc/sphinx//sphinx_index_main.new.spi: No such file or directory; 
using old index
WARNING: rotating index 'main': preread failure reported

随着数据库变大，错误消息出现的频率也越来越高。完整索引现在大约需要 1 1/2 小时，索引文件加起来超过 1 GB。我们将 Sphinx 版本从 0.9.8.1 更新到 2.0.4 来解决这个问题，但它仍然存在。服务器内存约4GB，配置文件以

开头

indexer {
  mem_limit = 1024M
}

searchd {
  read_timeout = 5
  max_children = 300
  log = ~/etc/sphinx/log/searchd.log
  port = 3313
  max_matches = 100000
  query_log = ~/etc/sphinx/log/query.log
  seamless_rotate = 1
  pid_file = ~/etc/sphinx/log/searchd.pid
  address = 127.0.0.1
}
..

有人知道如何解决这个问题吗？我想似乎有某种索引大小限制与 2 GB 限制有关，这是带符号的 32 位整数的最大值和某些文件系统上文件大小的最大值。我们在 Ubuntu/Debian 系统上使用的 ext3 文件系统允许最多 16 GB 的文件，但某些库实际上可能会将文件大小限制为 2 GB(请参阅 here 和 here)。

Answer 1

检查索引器本身的输出 - 它显示索引期间的进度，并可能提供有关问题的线索。