regex - 使用 awk sed 或 grep 从网页源解析 URL

Question

我正在尝试解析下载网页的来源以获得链接列表。单线可以正常工作。这是我迄今为止尝试过的:

这似乎从一些页面名称中遗漏了部分 URL。

$ cat file.html | grep -o -E '\b(([\w-]+://?|domain[.]org)[^\s()<>]+(?:\([\w\d]+\)|([^[:punct:]\s]|/)))'|sort -ut/ -k3

这将获取所有 URL，但我不想包含具有/是 anchor 链接的链接。此外，我希望能够指定 domain.org/folder/:

$ awk 'BEGIN{
RS="</a>"
IGNORECASE=1
}
{
  for(o=1;o<=NF;o++){
    if ( $o ~ /href/){
      gsub(/.*href=\042/,"",$o)
      gsub(/\042.*/,"",$o)
      print $(o)
    }
  }
}' file.html

Answer 1

如果你只是解析类似 < a > 标签的东西，你可以像这样匹配 href 属性:

$ cat file.html | grep -o -E 'href="([^"#]+)"' | cut -d'"' -f2 | sort | uniq

这将忽略 anchor ，并保证您拥有唯一性。这确实假设页面具有格式良好的 (X)HTML，但您可以先通过 Tidy 传递它。