caching - Solr 中良好的自动预热查询的要素是什么？它们是如何工作的？

Question

此问题是 this question 的后续问题关于 solr 安装中不常见的、孤立的读取超时。

发现新搜索者的自动预热查询可能存在缺失/错误的问题。

现在我对自动加热查询应该“看起来如何”感到困惑。

我阅读了但找不到任何关于此的好的文档。

他们应该访问索引中的大量文档吗？或者它们应该在索引中存在的所有不同字段中都有匹配项吗？

*:* 不就是最好的自动预热查询吗？为什么不呢？

示例 solr 配置包含以下示例查询:

<lst><str name="q">solr</str> <str name="start">0</str> <str name="rows">10</str></lst>
<lst><str name="q">rocks</str> <str name="start">0</str> <str name="rows">10</str></lst>

我将它们更改为:

<lst><str name="q">george</str> <str name="start">0</str> <str name="rows">10</str></lst>

为什么？因为该索引包含带有标题和 Actor 字段的电影实体。这些是搜索次数最多的。乔治出现在标题和 Actor 中。

我真的不知道这是否有意义。所以我的问题是:

• 对于我的索引来说，什么是好的自动预热查询？为什么？
• 什么才是好的自动预热查询？

这是索引中的示例文档。该索引包含大约 70,000 个文档，它们都如下所示(当然只是不同的值):示例文档:

 <doc> 
  <arr name="actor"><str>Tommy Lee Jones</str><str>Will Smith</str><str>Rip Torn</str> 
    <str>Lara Flynn Boyle</str><str>Johnny Knoxville</str><str>Rosario Dawson</str><str>Tony Shalhoub</str> 
    <str>Patrick Warburton</str><str>Jack Kehler</str><str>David Cross</str><str>Colombe Jacobsen-Derstine</str> 
    <str>Peter Spellos</str><str>Michael Rivkin</str><str>Michael Bailey Smith</str><str>Lenny Venito</str> 
    <str>Howard Spiegel</str><str>Alpheus Merchant</str><str>Jay Johnston</str><str>Joel McKinnon Miller</str> 
    <str>Derek Cecil</str></arr> 
  <arr name="affiliate"><str>amazon</str></arr> 
  <arr name="aka_title"><str>Men in Black II</str><str>MIB 2</str><str>MIIB</str> 
    <str>Men in Black 2</str><str>Men in black II (Hombres de negro II)</str><str>Hombres de negro II</str><str>Hommes en noir II</str></arr> 
  <bool name="blockbuster">false</bool> 
  <arr name="country"><str>US</str></arr> 
  <str name="description">Agent J (Will Smith) muss die Erde wieder vor einigem Abschaum bewahren, denn in Gestalt des verführerischen Dessous-Models Serleena (Lara Flynn Boyle) will ein Alien den Planeten unterjochen. Dabei benötigt J die Hilfe seines alten Partners Agent K (Tommy Lee Jones). Der wurde aber bei seiner "Entlassung" geblitzdingst, und so muß J seine Erinnerung erst mal etwas auffrischen bevor es auf die Jagd gehen kann.</str> 
  <arr name="director"><str>Barry Sonnenfeld</str></arr> 
  <int name="film_id">120912</int> 
  <arr name="genre"><str>Action</str><str>Komödie</str><str>Science Fiction</str></arr> 
  <str name="id">120912</str> 
  <str name="image_url">/media/search/filmcovers/105x/kf/false/F6Q1XW.jpg</str> 
  <int name="imdb_id">120912</int> 
  <date name="last_modified">2011-03-01T18:51:35.903Z</date> 
  <str name="locale_title">Men in Black II</str> 
  <int name="malus">3238</int> 
  <int name="parent_id">0</int> 
  <arr name="product_dvd"><str>amazon</str></arr> 
  <arr name="product_type"><str>dvd</str></arr> 
  <int name="rating">49</int> 
  <str name="sort_title">meninblack</str> 
  <int name="type">1</int> 
  <str name="url">/film/Men-in-Black-II-Barry-Sonnenfeld-Tommy-Lee-Jones-F6Q1XW/</str> 
  <int name="year">2002</int> 
 </doc> 

大多数查询都是针对参与者字段的完全匹配查询，并设置了一些过滤器。

示例:

INFO: [] webapp=/solr path=/select/ params={facet=true&sort=score+asc,+malus+asc,+year+desc&hl.simple.pre=starthl&hl=true&version=2.2&fl=*,score&facet.query=year:[1900+TO+1950]&facet.query=year:[1951+TO+1980]&facet.query=year:[1981+TO+1990]&facet.query=year:[1991+TO+2000]&facet.query=year:[2001+TO+2011]&bf=div(sub(10000,malus),100)^10&hl.simple.post=endhl&facet.field=genre&facet.field=country&facet.field=blockbuster&facet.field=affiliate&facet.field=product_type&qs=5&qt=dismax&hl.fragsize=200&mm=2&facet.mincount=1&qf=actor^0.1&f.blockbuster.facet.mincount=0&f.genre.facet.limit=20&hl.fl=actor&wt=json&f.affiliate.facet.mincount=1&f.country.facet.limit=20&rows=10&pf=actor^5&start=0&q="Josi+Kleinpeter"&ps=3} hits=1 status=0 QTime=4

Answer 1

变暖有两种类型。查询缓存预热和文档缓存预热(还有过滤器，但它们与查询类似)。查询缓存预热可以通过一个设置来完成，该设置将在重新加载索引之前重新运行 X 个最近的查询。文档缓存预热是不同的。

文档缓存预热的目标是将大量最常访问的文档放入文档缓存中，这样就不必从磁盘读取它们。因此，您的查询应该集中于此。您需要尝试找出最常搜索的文档是什么并加载它们。最好有最少数量的查询。这与字段的实际内容无关。编辑:澄清一下。当预热文档缓存时，您的主要兴趣是最常出现在搜索结果中的文档，无论它们是如何查询的。

就我个人而言，我会搜索以下内容:

• 如果您的大部分搜索都是美国电影，则按国家/地区加载。
• 如果您的大部分搜索都是针对较新的电影，则按年份加载。
• 如果您有一个简短的搜索频繁的类型列表，则按类型加载。

最后一种可能性是将它们全部加载。您的文档看起来很小。对于现在的服务器内存而言，70,000 个根本不算什么。如果您的文档缓存足够大，并且有足够的可用内存，请使用它。附带说明一下，您最大的一些好处将来自文档缓存。查询缓存仅对重复查询有益，而且其速度可能低得令人失望。您几乎总能从大型文档缓存中受益。