python - 为什么在 Socket 和 TCP 上从 Redis 获取数据非常慢？

Question

我有 365 集。每个都是指从 2011-01-01 到 2012-01-01 的一天。在每个 SET 中，我都有 8000 个值。它最多有 3 到 5 个字符，例如:271。

当我在 python 中发出 SMEMBERS 命令时，大约需要 17.7 秒!

redis-cli 中的示例结果:

 $ SMEMBERS prefix:2011-01-01
    1) "2442"
    2) "5483"
    ...
    7999) "7911"
    8000) "42968"

在带有 Redis version = '2.10.3' 的 python 中，我使用套接字而不是 TCP 以获得更好的性能。

INFO 命令提供有关服务器、内存的以下信息:

# Server
redis_version:2.8.19
redis_git_sha1:00000000
redis_git_dirty:0
redis_build_id:70633d1af7244f5e
redis_mode:standalone
os:Darwin 14.4.0 x86_64
arch_bits:64
multiplexing_api:kqueue
gcc_version:4.2.1
process_id:2186
run_id:b12ff3e92969904fcd5050f4b26308be34898512
tcp_port:0
uptime_in_seconds:949
uptime_in_days:0
hz:10
lru_clock:1445239
config_file:/usr/local/etc/redis.conf

# Clients
connected_clients:1
client_longest_output_list:0
client_biggest_input_buf:0
blocked_clients:0

# Memory
used_memory:172002960
used_memory_human:164.03M
used_memory_rss:217276416
used_memory_peak:216397792
used_memory_peak_human:206.37M
used_memory_lua:35840
mem_fragmentation_ratio:1.26
mem_allocator:libc

# Persistence
loading:0
rdb_changes_since_last_save:0
rdb_bgsave_in_progress:0
rdb_last_save_time:1444284866
rdb_last_bgsave_status:ok
rdb_last_bgsave_time_sec:-1
rdb_current_bgsave_time_sec:-1
aof_enabled:0
aof_rewrite_in_progress:0
aof_rewrite_scheduled:0
aof_last_rewrite_time_sec:-1
aof_current_rewrite_time_sec:-1
aof_last_bgrewrite_status:ok
aof_last_write_status:ok

# Stats
total_connections_received:3
total_commands_processed:1873
instantaneous_ops_per_sec:0
total_net_input_bytes:78549
total_net_output_bytes:53268971
instantaneous_input_kbps:0.00
instantaneous_output_kbps:0.00
rejected_connections:0
sync_full:0
sync_partial_ok:0
sync_partial_err:0
expired_keys:0
evicted_keys:0
keyspace_hits:504
keyspace_misses:1364
pubsub_channels:0
pubsub_patterns:0
latest_fork_usec:0

# Replication
role:master
connected_slaves:0
master_repl_offset:0
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

# CPU
used_cpu_sys:0.46
used_cpu_user:3.51
used_cpu_sys_children:0.00
used_cpu_user_children:0.00

# Keyspace
db0:keys=368,expires=0,avg_ttl=0

我使用的python代码如下:

unix_socket_path = '/tmp/redis.sock'
redis_client = redis.Redis(unix_socket_path=unix_socket_path)
pipe = redis_client.pipeline()
for date in daily_date_range:
    pipe.smembers('paying:' + date)

redis_result = pipe.execute()

我做错了什么吗？

Answer 1

你没有做错任何事，SMEMBERS对于大集合来说就是那么慢。一个调用只需要大约 50 毫秒，但您执行了 365 个调用 - 这是许多兆字节的数据。

要提高性能，请考虑以下事项:

1. 您真的需要读取全年的所有数据吗？也许您无需全面扫描即可实现目标。

2. 如果您正在计算一些聚合，请考虑为此编写一个 Redis 端 Lua 脚本，并仅返回这些聚合。

3. 缓存结果。假设这是只读历史数据，17 秒不算什么 - 您只需运行一次算法，然后使用缓存的结果。