Scrapy Torproject

Question

在 Ubuntu 上，

[guy@guy-laptop tmp]$ sudo /etc/init.d/tor status
tor is running
[guy@guy-laptop tmp]$ sudo /etc/init.d/polipo start
Starting polipo: /usr/bin/polipo already running -- doing nothing
polipo.

还有:

$ python -c 'import urllib; print urllib.getproxies()'
{'ftp': 'ftp://127.0.0.1:8118/', 'all': 'socks://127.0.0.1:8118/',
'http': 'http://127.0.0.1:8118/', 'https': 'https://127.0.0.1:8118/',
'no': 'localhost,127.0.0.0/8,*.local'}

运行 scrapy 时我得到:

ERROR: Error downloading https://registration.example.com/login.fcc: [Failure instance: Traceback (failure with no frames): : [('SSL routines', 'SSL23_READ', 'ssl handshake failure')] ]

与此同时，FireFox 成功地正确获取了页面通过代理

任何帮助将不胜感激，谢谢，盖伊

Answer 1

您是否尝试过通过代理链运行脚本？在 ubuntu 上安装:

:~$ sudo apt-get install proxychains

然后配置/etc/proxychains.conf 文件以与 TOR (socks4/5) 配合使用。

# defaults set to "tor"

socks4 127.0.0.1 9050

然后你就可以通过 TOR 运行任何东西

:~$ proxychains scriptwhatever.py target

一旦您知道 TOR 正常工作，我建议在 proxychains.conf 文件中使用安静模式。

# Quiet mode (no output from library).
quiet_mode