delphi - tidhttp 获取程序不适用于某些网址

Question

我在 delphi Tidhttp 组件中遇到一个问题，其中 GET 过程无法获取特定的 url，但在其他 url 上它正在工作。示例:此代码返回一个空的response.datastring。仅对于此 error_url，Response.datastring 为空，但对于其他 url，response.datastring 具有值。我需要获取该 error_url 的内容来解决此问题。

procedure TForm1.Button1Click(Sender: TObject);
var
  Response : TStringStream;
  error_url: string;
begin
  error_url := 'http://www.chefscatalog.com/international/home.aspx'; //error url
  Response := TStringStream.Create;
  try
    IdHTTP1.Get(error_url, Response);
    Memo1.Text := Response.DataString;
  finally
    FreeAndNil(Response);
  end;
end;

顺便说一下，idHTTP1 重定向属性在这里设置为 true，因此重定向不是问题。

这是我遇到的异常:1.http/1.1 302 找到2. EDecompressionError 并显示消息“ZLib 错误 (-3)”

您可以在此链接http://www.yourfilelink.com/get.php?fid=534933下载该项目的源代码(indytest.zip)

请大家帮帮我。预先感谢:)

Answer 1

原因是您尝试访问的网站正在寻找 cookie，如果未设置它，它会尝试设置它，然后执行 302 重定向回其自身。

因为您没有连接 cookie 管理器，所以您最终会陷入 302 重定向循环，因为网站会不断检查 cookie、设置然后重定向。

处理 cookie，只需一个 302 就可以正常工作。

<小时/>

但是，由于某种原因，Indy 似乎忽略了该网站发送的 cookie。如果我点击http://www.google.com，我就会编写一些测试代码我明白了

New cookie: PREF
New cookie: NID
Redirecting (1) to: http://www.google.co.nz/
New cookie: PREF
New cookie: NID

这是 Google 发送的 header

Set-Cookie: PREF=ID=3c7e441914b902ae:TM=1268686477:LM=1268686477:S=Z-Gwqx52jK0V1rYR; expires=Wed, 14-Mar-2012 20:54:37 GMT; path=/; domain=.google.com
Set-Cookie: NID=32=vsOZvkr4AOZ7320d_OBPf2zR2jau4E6pupbOe_ZaaX4DNjahTzSV-mSA55naTk-5cXQcn7SNEp7uSxbE_cFrL9ZftGApTGZMPGKzcz3_NZE_2MYpWG5PGbwWFw9t2d_R; expires=Tue, 14-Sep-2010 20:54:37 GMT; path=/; domain=.google.com; HttpOnly

但是对于其他站点，我在调试输出中得到了这个

Redirecting (1) to: http://www.chefscatalog.com/error.aspx?impsid=0
Redirecting (2) to: http://www.chefscatalog.com/error.aspx?impsid=0

最多尝试 15 次..如果我们查看网站发回的 header

Set-Cookie: ASP.NET_SessionId=4o0bpi45evee0d45qos1uy55; path=/; HttpOnly
Set-Cookie: ChefsSite=CartID=00000000-0000-0000-0000-000000000000&cst=f4t8YpBpAAkNiRUd9BEf2luKAA%3d%3d&act=c0f2VBCSbv30F4kasnvWS5OfJQ%3d%3d&CookiesEnabled=False; expires=Wed, 14-Apr-2010 20:54:22 GMT; path=/

我注意到该网站缺少 Set-Cookie 末尾的域，这很奇怪，但我不认为 RFC 必须这样做。如果我们查看 idCookieManager 的 AddCookie/2 方法，它需要该参数上的主机，因此它可能无法在任何不提供域的 Set-Cookie 上工作。

我已经在另外几个网站上对此进行了测试，如果 Set-Cookie 包含domain=.google.com，则一切正常；

值得注意的是，如果您查看 idHttp.OnRedirect

idHttp.Response.RawHeaders.Text

对于不起作用的网站，您看不到 Set-Cookies，但在起作用的网站上，您确实会看到 Set-Cookies...

但是，如果我将 idhttp useragent 设置为

    Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.2.1) Gecko/20100122 firefox/3.6.1

(来自另一个答案)

然后它似乎就可以很好地拾取 cookies

    New cookie: ASP.NET_SessionId
    New cookie: ChefsSite
    Redirecting (1) to: http://www.chefscatalog.com/international/home.aspx
    New cookie: ChefsSite

奇怪。