gpt4 book ai didi

html - 我需要 html.Parse() 无法解析的 HTML

转载 作者:IT王子 更新时间:2023-10-29 01:40:21 24 4
gpt4 key购买 nike

我正在编写一个 Go 函数来读取 HTML 响应正文并提取页面标题。总的来说,这个函数工作得很好,但我想测试响应主体根本不是正确 HTML 的代码路径。我为单元测试创​​建一些无效 HTML 的简单尝试已经化为乌有。

显然,根据 html.Parse documentation ,这是因为:

the HTML5 parsing algorithm […] is very complicated. The resultant tree can contain implicitly created nodes that have no explicit <tag> listed in r's data, and nodes' parents can differ from the nesting implied by a naive processing of start and end <tag>s. Conversely, explicit <tag>s in r's data can be silently dropped, with no corresponding node in the resulting tree.

下面是一些代码,展示了我一直采用的那种方法:

https://play.golang.org/p/T5WjdtjNcqq

package main

import (
"bytes"
"fmt"
"golang.org/x/net/html"
)

func main() {
inputs := []string{ "",
"~",
"<",
"<ht",
"<html",
"<html>",
"<html><",
"<html><titl",
"<html><title",
"<html><title>",
"<html><title>The C Progr",
"<html><title>The C Programming Language",
"<html><title>The C Programming Language<",
"<html><title>The C Programming Language</",
"<html><title>The C Programming Language</ti",
"<html><title>The C Programming Language</title",
"<html><title>The C Programming Language</title>",
"<html><title>The C Programming Language</title><",
"<html><title>The C Programming Language</title></",
"<html><title>The C Programming Language</title></ht",
"<html><title>The C Programming Language</title></html",
"<html><title>The C Programming Language</title></html>",
}

for _, in := range inputs {
fmt.Printf("%s\n", in)

r := bytes.NewReader([]byte(in))
_, err := html.Parse(r)
if err != nil {
fmt.Printf("COULD NOT PARSE HTML\n")
panic(err)
}
}
}

愚蠢的我,我本以为其中很多会产生错误,因为从表面上看它们是无效的 HTML,但上面的代码在没有 panic 的情况下遍历所有输入字符串。 'ing——也就是说,没有非 nil err来自 html.Parse() .

我想我很感谢一个宽松/宽容的 HTML 解析器,但是:有没有人有一个文本示例,当输入到 Go 的 html.Parse() 时会产生错误? ?

编辑 1

结合 Ferrybig 和 CreationTribe 评论的想法,我什至尝试了一个巨大的随机字节流:

    rand.Seed(time.Now().UnixNano())

in := make([]byte, 0)
for i := 0; i < 2147483647; i++ {
in = append(in, byte(rand.Intn(255)))
}
fmt.Printf("len(in) : %d\n", len(in))

r := bytes.NewReader(in)
_, err := html.Parse(r)

...它仍然没有错误。

是否没有输入会导致html.Parse()出错了?

最佳答案

快速阅读 https://github.com/golang/net/blob/master/html/token.go ,似乎唯一返回的错误可能是:

  • io.EOF 一旦 r 完全读取成功;
  • 底层 io.Reader 返回的任何其他错误;或
  • html.ErrBufferExceeded

在初步阅读如何触发 ErrBufferExceeded 后,对我来说并不明显,但您可以通过提供虚拟阅读器从 html.Parse 触发错误:

type ErrReader struct { Error error }

func (e *ErrReader) Read([]byte) (int, error) {
return nil, e.Error
}

https://play.golang.org/p/s78HpfMLAI8

希望对你有帮助

关于html - 我需要 html.Parse() 无法解析的 HTML,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57437477/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com