- Java 双重比较
- java - 比较器与 Apache BeanComparator
- Objective-C 完成 block 导致额外的方法调用?
- database - RESTful URI 是否应该公开数据库主键?
我正在构建一个由执行以下操作的用户组成的网络应用程序:
浏览和搜索包含数百万条目的 Solr 服务器。 (应用程序的这一部分运行得非常好。)
选择该数据的一个特权部分(某些特定搜索的结果),并将其临时保存为“数据集”。 (我希望将数据集大小限制在非常的范围内,例如 50 万个结果。)
对该数据集执行一些杂项操作。
(前端内置在 Rails 中,但我怀疑这与解决这个特定问题的方式是否真的相关。)
第二步,以及如何检索第三步的数据,是给我带来麻烦的地方。我需要能够临时保存数据集,在需要时恢复它们,并在一段时间后使它们过期。问题是,我的结果有 SHA1 校验和 ID,所以每个 ID 都是 48 个字符。一个 500,000 条记录的数据集,即使我只存储 ID,也是 22 MB 的数据。所以我不能只有一个数据库表,然后在其中为用户构建的每个数据集添加一行。
以前有人需要这样的东西吗?解决这个问题的最佳方法是什么?我应该为用户构建的每个数据集生成一个单独的表吗?如果是这样,一段时间后过期/删除这些表的最佳方法是什么?如果需要,我可以部署一个 MySQL 服务器(虽然我还没有启动,所有数据都在 Solr 中),如果其他东西符合要求,我也愿意使用一些更疯狂的软件。
编辑:一些更详细的信息,以回应下面的 Jeff Ferland。
数据对象是不可变的、静态的,并且完全驻留在 Solr 数据库中。它可能作为文件更有效率,但我更愿意(出于搜索和浏览的原因)将它们保留在原处。数据和数据集都不需要分布在多个系统中,我不认为我们会得到那种负载。现在,整个该死的东西都在单个 VM 中运行(如果我到达那里,我可以跨过那座桥)。
所谓“在需要时恢复”,我的意思是这样的:用户运行精心设计的搜索查询,结果为他们提供了一些对象集。然后他们决定要操纵该集合。当他们(作为一个随机示例)单击“按年绘制这些对象的图表”按钮时,我需要能够检索完整的对象 ID 集,以便将它们带回 Solr 服务器并运行更多查询。我宁愿存储对象 ID(而不是搜索查询),因为随着我们添加更多对象,结果集可能会在用户下发生变化。
“while”大致是用户 session 的长度。不过,有一个复杂的问题可能很重要:我可能最终需要实现一个作业队列,以便我可以推迟处理,在这种情况下,“while”需要“只要它处理你的作业所需的时间”。
感谢 Jeff 督促我提供正确的详细信息。
最佳答案
第一个技巧:不要将 SHA1 表示为文本,而是表示它占用的 20 个字节。您看到的十六进制值是一种以人类可读形式显示字节的方式。如果正确存储它们,大小为 9.5MB 而不是 22MB。
其次,您还没有真正解释您所做工作的性质。您保存的数据集是否引用了现有数据库中的不可变对象(immutable对象)?在需要时恢复它们是什么意思?当你谈论到期时,“一段时间”是多长时间?您引用的基础数据是静态的还是动态的?您可以保存搜索模式和偏移量,还是需要保存个人引用?
是否需要将与 session 相关的数据插入到数据库中?它在文件中可能更有效率吗?是否需要分布在多个系统中?
我的回答还有很多问题。为此,您需要更好地表达甚至定义超出您提供的技术概述的要求。
更新:对此有许多可能的解决方案。这里有两个:
关于mysql - 存储大型 session 级数据集?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7296466/
是否为每个 Shiny session 分配了 session ID/ session key (如果部署在 Shiny 服务器上)?如果是,我如何访问该信息?我已阅读文档here然而上网查了一下,并
我正在使用 this koajs session 模块。 我检查了源代码,但我真的无法理解。 我想知道它保存 session 数据的位置,因为我没有看到创建的文件,并且当服务器重新启动时, sessi
实现高可扩展性的一种方法是使用网络负载平衡在多个服务器之间分配处理负载。 这种方法提出的一个挑战是服务器是否具有状态意识 - 将用户状态存储在“ session ”中。 此问题的一个解决方案是“粘性
在负载平衡服务器的上下文中, session 亲和性和粘性 session 之间有什么区别? 最佳答案 我见过这些术语可以互换使用,但有不同的实现方式: 在第一个响应中发送 cookie,然后在后续响
我希望其他人向我解释哪种方法更好:使用 session 或设计无 session 。我们正在开始开发一个新的 Web 应用程序,但尚未决定要遵循什么路径。 无 session 设计在我看来更可取: 优
现在用户在他的权限中有很多角色,我将允许他点击 href 并在新窗口中扮演另一个角色。每个角色都有自己的 session 。 既然浏览器打开窗口不能用新 session 打开,我必须在服务器端想办法。
我正在尝试为express.js Node 应用程序实现 session 存储我的问题是: 如何删除具有浏览器 session 生命周期的 cookie(根据连接文档标记有 expires = fal
在开始在 golang 中使用 session 之前,我需要回答一些问题 session 示例 import "github.com/gorilla/sessions" var store = ses
我读过 Namespaced Attributes . 我尝试使用此功能: #src/Controller/CartController.php public function addProduct(
我正在努力完成以下工作: 根据用户的类型更改用户的 session cookie 到期日期。 我有一个 CakePHP Web 应用程序,其中我使用 CakePHP session 创建了我的身份验证
这是我在这里的第一个问题,我希望我做对了。 我需要处理一个 Java EE 项目,所以在开始之前,我会尝试做一些简单的事情,看看我是否能做到。 我坚持使用有状态 session Bean。 这是问题:
ColdFusion session 与 J2EE session 相比有什么优势吗? ColdFusion session documentation提到了 J2EE session 的优点,但没有
在执行任何任务之前,我需要准确地在创建 session 时创建一个 session 范围变量(因为我的所有任务都需要一个初始 session 范围变量才能运行)。因为,创建 session 时,gra
我们当前的应用使用 HTTP session ,我们希望将其替换为 JWT。 该设置仅允许每个用户进行一次 session 。这意味着: 用户在设备 1 上登录 用户已在设备 1 上登录(已创建新 s
很难说出这里问的是什么。这个问题是含糊的、模糊的、不完整的、过于宽泛的或修辞性的,无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开它,visit the help center 。 已关
假设我在两个或更多设备上打开了两个或更多用户 session (同一用户没有管理员权限)。 在当前 session 中,如果我注销,是否意味着所有其他 session 也会关闭?如果没有,有没有办法通
我正在评估在 tomcat 中使用带有 session 复制的粘性 session 的情况。根据我的初步评估,我认为如果我们启用 session 复制,那么在一个 tomcat 节点中启动的 sess
我开始使用 golang 和 Angular2 构建一个常规的网络应用程序,最重要的是我试图在 auth0.com 的帮助下保护我的登录.我从 here 下载快速入门代码并尝试运行代码,它运行了一段时
我在 Spring Controller 中有一个方法,它接受两个相同类型的参数其中一个来自 session ,另一个来自表单提交(UI)。 问题是在 Controller 方法中我的非 sessio
在我登录之前,我可以点击我的安全约束目录之外的任何内容。如果我尝试转到安全约束目录内的某个位置,它会将我重定向到表单登录页面。如您所料。 登录后,我可以继续我的业务,并访问我的安全约束内外的资源。
我是一名优秀的程序员,十分优秀!