gpt4 book ai didi

redis - 准备上传到 Redis 服务器的数据

转载 作者:可可西里 更新时间:2023-11-01 10:55:39 25 4
gpt4 key购买 nike

我有一个 10GB 的 .xml 文件,我想使用批量插入将其上传到 Redis 服务器。我需要关于如何将此 .xml 数据转换为某些键、值或 Redis 支持的任何其他数据结构的建议?我正在处理堆栈流转储,例如,如果我使用 comments.xml。

数据模式:row Id="5"PostId="5"Score="9"Text="这是一个超理论的 AI 问题。一个有趣的讨论!但不合时宜..."CreationDate="2014-05-14T00:23: 15.437"UserId="34"

假设我想检索特定用户 ID 或特定日期所做的所有评论,我该怎么做?

首先,

  1. 如何将这个 .xml 日期准备成适合 Redis 的数据结构。

  2. 如何将其上传到 Redis。我在 Windows 上使用 Redis。命令 pipe 和 cat 似乎不起作用。我厌倦了使用 centos,但我更喜欢在 Windows 上使用 Redis。

最佳答案

在选择合适的数据结构之前,您需要了解您将进行何种类型的查询。例如,如果您有特定于用户的数据,并且需要对每个用户的不同用户事件进行分组并获得聚合结果,则您需要采用不同的结构、构建索引、将数据拆分成 block 等。

相对于大量聚合数据 (45GB),我发现 ZRANGE 可用的 SortedSets 因为它比 LRANGE 具有更好的复杂性。您可以根据数据大小将数据分成 block ,并在线程中单独处理每个 ZRANGE,然后合并结果。

在该结构之上,您可以使用 LISTS 添加索引,您只需要为相对少量的数据迭代数据。

关于redis - 准备上传到 Redis 服务器的数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43013343/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com