linux - 无法访问亚马逊服务上的某些网站

Question

描述

我正在抓取网站:bjx.com并且所有代码都可以在本地运行。然后我把代码放在亚马逊服务上运行，失败了。

我做了什么

我猜可能是网站屏蔽了服务器，我尝试了一些方法:

1) curl http://guangfu.bjx.com.cn/xtgc/List.aspx?classid=583

2) wget http://guangfu.bjx.com.cn/xtgc/List.aspx?classid=583

错误消息如下:

Resolving news.bjx.com.cn (news.bjx.com.cn)... 114.113.145.103
Connecting to news.bjx.com.cn (news.bjx.com.cn)|114.113.145.103|:80... failed: Connection timed out.
Retrying.

--2019-04-23 05:45:00--  (try: 2)  http://news.bjx.com.cn/list
Connecting to news.bjx.com.cn (news.bjx.com.cn)|114.113.145.103|:80... 

一些引用:

https://serverfault.com/questions/124952/testing-a-website-from-linux-command-line

我的问题:

如何确认网站是否屏蔽了我，如果屏蔽了，我该如何解决问题并抓取网站，谢谢

Answer 1

如何通过特定的超时设置使程序失败？

例如，如果curl在10秒内无法得到响应，则使curl失败

curl -m 10

并且，要解决这些问题，您可以尝试使用 VPN 网络代理运行蜘蛛