ruby-on-rails - ruby rails : Anemone and Redis issues

Question

我正在创建某种网络爬虫，当我使用没有存储空间的 Anemone 来爬网网站时，它最终会因内存问题而崩溃。

所以我安装了 Redis、redis-rb 等，并更改了我的代码以使用 redis 存储。现在我从 rails 收到一个错误，它没有完成抓取。它确实连接到 Redis，因为我在监视它时可以看到事件，但它停止了抓取。

我确实测试了 redis，它工作正常......

有什么想法吗？？？

错误

RuntimeError (-ERR wrong number of arguments for 'hgetall' command): /usr/lib/ruby/gems/1.8/gems/ezmobius-redis-rb-0.1/lib/redis.rb:274:in read_reply' /usr/lib/ruby/gems/1.8/gems/ezmobius-redis-rb-0.1/lib/redis.rb:198:inraw_call_command' /usr/lib/ruby/gems/1.8/gems/ezmobius-redis-rb-0.1/lib/redis.rb:196:in map' /usr/lib/ruby/gems/1.8/gems/ezmobius-redis-rb-0.1/lib/redis.rb:196:inraw_call_command' /usr/lib/ruby/gems/1.8/gems/ezmobius-redis-rb-0.1/lib/redis.rb:161:in call_command' /usr/lib/ruby/gems/1.8/gems/ezmobius-redis-rb-0.1/lib/redis.rb:151:inmethod_missing' anemone (0.5.0) lib/anemone/storage/redis.rb:82:in rget' anemone (0.5.0) lib/anemone/storage/redis.rb:41:ineach' anemone (0.5.0) lib/anemone/storage/redis.rb:40:in each' anemone (0.5.0) lib/anemone/storage/redis.rb:57:inkeys' anemone (0.5.0) lib/anemone/storage/redis.rb:12:in initialize' anemone (0.5.0) lib/anemone/storage.rb:30:innew' anemone (0.5.0) lib/anemone/storage.rb:30:in Redis' app/controllers/processpages_controller.rb:332:incrawlnewsite'

Redis监控结果:

+1297028372.281985 “键” “ Anemone :页面:*”

版本/环境:

redis:尝试过版本 2 和 2.0.4 - 相同的 problem 任一版本 rails 。 2.3.8， ruby 1.8.7 补丁 174操作系统:centos 5redis - 默认端口 6379hostgator vps/控制面板 x

已安装的 gem

Anemone 0.5.0 和依赖项(noko 等..)redis gem (2.1.1)redis-命名空间(0.8.0)

代码

需要' Anemone '

需要'redis'

需要'redis-命名空间'

Anemone.crawl(主页) 做 |anemone|

anemone.storage = Anemone::Storage.Redis

anemone.on_every_page 做 |page|

...大量的代码

结束

配置/redis.yml

默认值:&defaults主机:localhost 端口:6379

发展:<<: *默认值

测试:<<: *默认值

分期:<<: *默认值

制作:<<: *默认值

Answer 1

你的问题是

RuntimeError (-ERR wrong number of arguments for 'hgetall' command):

在您的代码中的某处，您正在尝试调用“hgetall”，但未传递 key 或者您传递的参数过多。只需检查您的代码，找到调用该命令的位置，然后传递正确的参数数量 (1)

http://redis.io/commands/hgetall