个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
26
4
我们正在实现一个大型 Lucene/Solr 设置，文档数量超过 1.5 亿。我们还将每天进行适度数量的文件更新。
我的问题实际上分为两部分:
在 Solr 中使用另一个缓存实现有什么含义，即 EHCache 而不是 native Solr LRUCache/FastLRUCache？
Terracotta 宣布了 BigMemory，旨在与 EHCache 一起用作进程内堆外缓存。根据 TC 的说法，这允许您在没有 JVM 的 GC 开销的情况下存储大量数据。这是与 Solr 一起使用的好主意吗？它真的会有帮助吗？
我会特别。喜欢听取具有 EHCache/BigMemory 和/或 Solr Cache 调优实际生产经验的人的意见。
最佳答案
关于这个话题有很多想法。虽然我的回答没有以任何方式利用 EhCache。
首先，我不认为文档应该存储在您的搜索索引中。搜索内容应该存储在那里，而不是整个文档。我的意思是，从您的搜索查询返回的应该是文档 ID。不是文件本身的内容。文档本身应该从第二个系统中存储和检索，可能是从它们开始索引的原始文件存储。这将减少索引大小，减少文档缓存大小，减少主从复制时间(如果您经常更新，这可能会成为瓶颈)，并减少编写搜索响应的开销。
接下来，考虑在 Solr 前面放置一个反向 HTTP 代理。尽管查询缓存允许 Solr 快速响应，但是像位于 Solr 前面的 Varnish 这样的缓存甚至更快。这会卸载 Solr，允许它花时间响应它以前从未见过的查询。第二个效果是您现在可以将大部分内存扔到文档缓存而不是查询缓存。如果您遵循我的第一个建议，您的文档将非常小，允许您将大部分(如果不是全部)保存在内存中。
快速回顾文档大小的信封计算。我可以轻松提供 32 位 int 作为 1.5 亿个文档的 ID。我仍然有 10 倍的文档增长空间。 1.5 亿个 ID 占用 600MB。为 Solr 包装文档添加一个模糊因素，您可能可以轻松地将所有 Solr 文档缓存在 1-2GB 中。考虑到现在获得 12GB-24GB 或 RAM 很容易，我想说您可以在 1 个盒子上完成所有这些并获得令人难以置信的性能。不需要像 EhCache 这样的无关紧要的东西。只需要确保尽可能有效地使用搜索索引。
关于 GC:我没有看到在我的 Solr 服务器上花费了很多 GC 时间。大部分需要收集的是与 HTTP 请求和响应周期相关的非常短的生命周期对象，这些对象永远不会超出 eden 空间。正确调整后，缓存的周转率并不高。唯一的大变化是在加载新索引和刷新缓存时发生的，但这并不是经常发生的。
编辑:作为背景，我花了大量时间为一家销售控制台并每天从他们的 Solr 服务器提供数百万次搜索的大公司调整 Solr 缓存。
关于garbage-collection - Solr 缓存与 EHCache/BigMemory，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/4886127/
26
4
0
是否有带有索引的.collect？我想做这样的事情: def myList = [ [position: 0, name: 'Bob'], [position: 0, name: 'J
我创建了一个 Collection 类，它扩展了 ArrayList 以添加一些有用的方法。它看起来像这样: public class Collection extends ArrayList {
我知道如果我有元素，我想得到 List/Set/Map 我可以调用这个元素: Collections.singleton()/Collections.singletonList()/Collectio
我刚刚在我的 pom 文件中看到 Apache commons-collections 有两个不同的组 ID: commons-collections commons-collect
我们可以对所有 Collections 类型的对象(如 Set 和 List)使用 Collections.synchronizedCollection(Collection c)，这就是为什么我们有
我有List>我想让它把上一个集合中的所有人复制到List收藏。 我是这样做的: var People = new List>{ new List{...},... };
我想做的是使用良好的旧循环非常简单。 假设我有一个包含 B 列表的对象 A。 public class A { public List myListOfB; } 在其他一些方法中，我有一个 As
在 Capgemini 的采访中，我被问到一个我无法回答的问题。所有集合类和接口(interface)共有的那些方法是什么？ 最佳答案 所有 java 对象类(包括所有集合)都派生自名为 Object
我有一系列存储估计信息的数据库表。当设置某些边界时，我试图从所有数据库表中返回所有数据。 收藏 $estimateItems = new Collection(); $esti
为什么 Haskell 实现如此专注于链表？ 例如，我知道 Data.Sequence 效率更高 大多数列表操作(cons 操作除外)，并且被大量使用； 但是，从语法上讲，它“几乎不受支持”。 Has
我试图简单地将我在 PHP 中请求的内容返回到 JSON。我的问题是每个库存尚未完成。事实上，它是“渲染”，但“this.collection.models”尚未完成，因为请求尚未完成。 我应该如何解
本质上，作为Powershell脚本的一部分，我需要实现广度优先搜索。因此，我需要队列，并且认为System.Collections.Queue与其他任何队列一样好。但是，当我从队列中取出一个对象时，
已关闭。这个问题是 off-topic 。目前不接受答案。 想要改进这个问题吗？ Update the question所以它是 on-topic用于堆栈溢出。 已关闭10 年前。 Improve t
嗨，我不明白为什么这不起作用？ Notifications.update({'userId':Meteor.userId(), 'notifyUserId':notifyFriendId}, {$se
假设我有一个闭包: def increment = {value, step -> value + step } 现在我想遍历我的整数集合的每个项目，用 5 递增，并将新元素保存到一个新集合中:
使用逐页 View 时，我的 plone 集合文件夹未显示所有项目。基本上我有 9 页包含元素，但第 6 - 8 页显示的内容完全相同。因此，并非所有项目都会显示，即使项目总数对应于应该在集合中的元素
private Map> map ，其中 ProgramCourse 是我的项目中的域类，上面的 map 是我运行项目时域类 Program 的字段以下异常即将到来。 Use of @OneToMan
三者的主要区别是什么？现在，我想分别使用字符串/字符串创建一个键/值对。这三个似乎都有我可以使用的选项。 编辑:我只想创建一个简单的哈希表 - 没什么特别复杂的。 最佳答案 通用集合几乎完全取代了基础
我正在为 NodeJs 使用 mongodb 驱动程序，其中有 3 个方法: 1) db.collection.insert 2) 数据库.collection.insertOne 3) db.col
我有一个集合，我正在尝试使用 Distinct 方法删除重复项。 public static Collection imagePlaylist imagePlaylist = imagePlaylis
我是一名优秀的程序员,十分优秀！