javascript - 在网页抓取期间发现奇怪的、无休止的 XHR 请求

Question

我打算从 stooq.pl 网页上抓取股票数据。我发现它们是实时更新的，所以认为必须有一些 AJAX 请求才能做到这一点，并且总体上更容易分析这个 XHR，而不是每 ~1s 抓取网页以获取新数据。然而，我发现了一个奇怪的请求(唯一存在的请求): 1.(几乎)永无止境； 2. 当直接在浏览器中打开时，返回ERR_EMPTY_RESPONSE。然而，网页上的数据以某种方式得到了更新。我试图对缩小后的 js 进行逆向工程，但没有引起我的注意。这是什么魔法，我能让它按预期工作吗？

下面是我测试的示例网页的URL，工作中的请求截图和来自chrome dev-tools的请求数据:

http://stooq.pl/q/?s=eurpln&c=10d&t=l&a=ln&b=0

**General**
Remote Address:178.32.86.87:80
Request URL:http://aq.stooq.net/?q=aqdat1+wig201+eurpln3+grl1+cig1+usdpln1+chfpln1+eurusd1+gbppln1
Request Method:POST
Status Code:200 OK

**Response Headers**
HTTP/1.1 200 OK
Date: Thu, 01 Oct 2015 09:37:25 GMT
Server: Apache
Expires: Sat, 1 Jan 2000 12:00:00 GMT
Cache-Control: no-store, no-cache, must-revalidate
Pragma: no-cache
Access-Control-Allow-Origin: *
Keep-Alive: timeout=3
Connection: Keep-Alive
Transfer-Encoding: chunked
Content-Type: text/event-stream

**Request Headers**
POST /?q=aqdat1+wig201+eurpln3+grl1+cig1+usdpln1+chfpln1+eurusd1+gbppln1 HTTP/1.1
Host: aq.stooq.net
Connection: keep-alive
Content-Length: 0
Accept: text/event-stream
Origin: http://stooq.pl
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36
Content-type: application/x-www-form-urlencoded
Referer: http://stooq.pl/q/?s=eurpln&c=10d&t=l&a=ln&b=0
Accept-Encoding: gzip, deflate
Accept-Language: pl,en-US;q=0.8,en;q=0.6,es;q=0.4

**Query String Parameters**
q=aqdat1+wig201+eurpln3+grl1+cig1+usdpln1+chfpln1+eurusd1+gbppln1

Answer 1

这是你的线索:

Content-Type: text/event-stream

这是一种通过普通的旧 HTTP 连接从服务器流式传输数据的标准化方法。

https://html.spec.whatwg.org/multipage/comms.html#server-sent-events