gpt4 book ai didi

Goquery 从明显不是空的响应中加载空文档

转载 作者:行者123 更新时间:2023-12-01 22:17:35 25 4
gpt4 key购买 nike

我一直在尝试将响应加载到 goquery 文档中,但它似乎失败了(尽管它没有引发错误)。

我试图加载的响应来自:

https://www.bbcgoodfood.com/search_api_ajax/search/recipes?sort=created&order=desc&page=4

虽然它不会抛出任何错误,但当我调用 fmt.Println(goquery.OuterHtml(doc.Contents()))我得到输出:
<html><head></head><body></body></html>

同时,如果我不尝试将其加载到 goquery 文档中,而是调用
s, _ := ioutil.ReadAll(resp.Body)
fmt.Println(string(s))

我得到:
<!doctype html>
<!--[if IE 7]> <html class="no-js lt-ie9 lt-ie8 no-touch" lang="en"> <![endif]-->
<!--[if IE 8]> <html class="no-js lt-ie9 no-touch" lang="en"> <![endif]-->
<!--[if gt IE 8]> <html class="no-js gt-ie-8 no-touch" lang="en"> <![endif]-->
<!--[if !IE]><!-->
<html class="no-js no-touch" lang="en">
<!--<![endif]-->

<head>
<meta charset="utf-8">
<title>Search | BBC Good Food</title>
<!--[if IE]><![endif]-->
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<link rel="prev" href="https://www.bbcgoodfood.com/search/recipes?page=3&amp;sort=created&amp;order=desc" />
<link rel="next" href="https://www.bbcgoodfood.com/search/recipes?page=5&amp;sort=created&amp;order=desc" />
<meta name="robots" content="noindex" />
<style>
.async-hide {
opacity: 0 !important
}
... etc

我正在做的基本逻辑如下:
package main

import (
"fmt"
"net/http"
"github.com/PuerkitoBio/goquery"
"io/ioutil"
)

func main() {
baseUrl := "https://www.bbcgoodfood.com/search_api_ajax/search/recipes?sort=created&order=desc&page="
i := 4

// Make a request
req, _ := http.NewRequest(http.MethodGet, fmt.Sprintf("%s%d", baseUrl, i), nil)

// Create a new HTTP client and execute the request
client := &http.Client{}
resp, _ := client.Do(req)

// Print out response
s, _ := ioutil.ReadAll(resp.Body)
fmt.Println(string(s))

// Load into goquery doc
doc, _ := goquery.NewDocumentFromReader(resp.Body)
fmt.Println(goquery.OuterHtml(doc.Contents()))
}

完整回复可见 here .是否有任何特殊原因导致无法加载?

最佳答案

Go 的 html 解析器似乎不喜欢你得到的 html - <html>标签都在评论中,所以我认为它永远不会进行解析。

如果您在文档前添加 <html>从那里一切正常。一种方法是使用 reader-wrapper,如下所示,它第一次写入 html 标签 Read被调用并委托(delegate)给 resp.Body在随后的通话中。

import "io"

var htmlTag string = "<html>\n"

type htmlAddingReader struct {
sentHtml bool
source io.Reader
}

func (r *htmlAddingReader) Read(b []byte) (n int, err error) {
if !r.sentHtml {
copy(b, htmlTag)
r.sentHtml = true
return len(htmlTag), nil
} else {
return r.source.Read(b)
}
}

要在您的示例代码中使用它,请像这样更改最后一部分:

    // Load into goquery doc
wrapped := &htmlAddingReader{}
wrapped.source = resp.Body
doc, _ := goquery.NewDocumentFromReader(wrapped)
fmt.Println(goquery.OuterHtml(doc.Contents()))

关于Goquery 从明显不是空的响应中加载空文档,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58557464/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com