gpt4 book ai didi

ruby - ruby 中的大数组操作非常慢

转载 作者:数据小太阳 更新时间:2023-10-29 06:54:22 27 4
gpt4 key购买 nike

我有以下场景:

我需要在一个非常大的集合中找出唯一的 ID 列表。

例如,我有 6000 个 id 数组(关注者列表),每个数组的大小范围在 1 到 25000(他们的关注者列表)之间。

我想获得所有这些 ID 数组中的唯一 ID 列表(关注者的唯一关注者)。完成后,我需要减去另一个 ID 列表(另一个人的关注者列表)并获得最终计数。

最后一组唯一 ID 增长到大约 60,000,000 条记录。在 ruby​​ 中,将数组添加到大数组时,它开始变得非常慢,大约几百万。添加到集合中一开始需要 0.1 秒,然后增长到 200 万时需要超过 4 秒(离我需要去的地方不远)。

我用 java 编写了一个测试程序,它在不到一分钟的时间内完成了整个过程。

也许我在 ruby​​ 中效率低下,或者还有其他方法。由于我的主要代码是专有的,因此我编写了一个简单的测试程序来模拟该问题:

big_array = []
loop_counter = 0
start_time = Time.now
# final target size of the big array
while big_array.length < 60000000
loop_counter+=1
# target size of one persons follower list
random_size_of_followers = rand(5000)
follower_list = []
follower_counter = 0
while follower_counter < random_size_of_followers
follower_counter+=1
# make ids very large so we get good spread and only some amt of dupes
follower_id = rand(240000000) + 100000
follower_list << follower_id
end
# combine the big list with this list
big_array = big_array | follower_list
end_time = Time.now

# every 100 iterations check where we are and how long each loop and combine takes.
if loop_counter % 100 == 0
elapsed_time = end_time - start_time
average_time = elapsed_time.to_f/loop_counter.to_f
puts "average time for loop is #{average_time}, total size of big_array is #{big_array.length}"
start_time = Time.now
end
end

有什么建议吗,是时候切换到 jruby 并将这样的东西移到 java 了吗?

最佳答案

您在那里使用的方法效率极低,所以速度很慢也就不足为奇了。当您尝试跟踪独特的事物时,数组比等效的哈希需要更多的处理。

这是一个将速度提高大约 100 倍的简单重构:

all_followers = { }
loop_counter = 0
start_time = Time.now

while (all_followers.length < 60000000)
# target size of one persons follower list
follower_list = []

rand(5000).times do
follower_id = rand(240000000) + 100000
follower_list << follower_id
all_followers[follower_id] = true
end

end_time = Time.now

# every 100 iterations check where we are and how long each loop and combine takes.
loop_counter += 1

if (loop_counter % 100 == 0)
elapsed_time = end_time - start_time
average_time = elapsed_time.to_f/loop_counter.to_f
puts "average time for loop is #{average_time}, total size of all_followers is #{all_followers.length}"
start_time = Time.now
end
end

散列的好处在于它不可能有重复项。如果您需要随时列出所有关注者,请使用 all_followers.keys 获取 ID。

哈希比数组占用更多的内存,但这是您必须为性能付出的代价。我还怀疑这里的大内存消耗者之一是生成的许多单独的关注者列表,这些列表似乎从未使用过,因此也许您可以完全跳过该步骤。

这里的关键是 Array | 运算符不是很有效,尤其是在对非常大的数组进行运算时。

关于ruby - ruby 中的大数组操作非常慢,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7838093/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com