Go Colly 不从网站返回任何数据

Question

我正在尝试制作一个简单的网络抓取工具，但我似乎无法从 colly 获得最简单的功能。我从 colly 文档中获取了基本示例，虽然它适用于他们使用的 hackernews.org 网站，但不适用于我试图抓取的网站。我尝试了 url 的几次迭代，即 https://、www。 ，最后有/等等，似乎没有任何效果。我尝试用 python 中的 beatiful soup 抓取同一个站点并得到了所有内容，所以我知道该站点可以被抓取。任何帮助表示赞赏。谢谢。

package main

import (
    "fmt"

    "github.com/gocolly/colly"
)

// main function  
func main() {
    /* instatiate colly */
    c := colly.NewCollector(
        colly.AllowedDomains("www.bjjheroes.com/"),
    )

    // On every a element which has href attribute call callback
    c.OnHTML("a[href]", func(e *colly.HTMLElement) {
        fmt.Printf("Link found: %q \n", e.Text)
    })

    c.Visit("www.bjjheroes.com/a-z-bjj-fighters-list")
}

Answer 1

• “错误”是我的部分，因为允许的域在添加之后需要更多变化

        colly.AllowedDomains(
                  "www.bjjheroes.com/", 
                  "bjjheroes.com/",
                  "https://bjjheroes.com/",
                  "www.bjjheroes.com", 
                  "bjjheroes.com",
                  "https://bjjheroes.com",
                ),

一切正常