PHP XPath 查询-6ren

PHP XPath 查询

转载作者：行者123 更新时间：2023-12-03 17:36:38

我想从页面中找到所有未嵌套在斜体标签中的 anchor 。
这就是我所拥有的，它可以工作，但是链接没有按正确的顺序处理(根据页面源)

@$dom->loadHTML($this->html);
$xpath = new DOMXpath($dom);
$anchorlinks = $xpath->query('//a/@href[not(. = //i//a/@href)]');

任何关于我应该如何继续区分 xpath 查询中的两组的建议将不胜感激。

谢谢。

$phil = gettingToPhilosophy("http://en.wikipedia.org/Yarn");
for($i=0; $i<30; $i++)
{
  $phil->hop();
  $phil->processHTML();
}

<?php
class gettingToPhilosophy
{
  public $base_url; //base_url to start with
  public $target_url; //url to hop to
  public $previous_link; //keep track of last link
  public $lookup; //cached array of visited links
  public $curl; //curl object to execute
  public $html; //html retrieved from curl request
  public $conn; //database connection resource
  public $hoplimit; //maximum number of hops (23 was the median as per the wikipedia article)
  public $hop_num; //the number of hops taken to reach the philosophy page  
  public $id; //id of current link (Primary Key)
  public $child_id; //id of next link  

  function __construct($base_url)
  {
    $this->base_url = filter_var($base_url, FILTER_VALIDATE_URL);

    //determine if url is valid
    if (!($this->base_url))
    {
      die("<font color='red'>Invalid URL</font>");
    }

    $this->target_url = parse_url($base_url, PHP_URL_PATH);
    $this->previous_link = '';
    $this->lookup = array();
    $this->curl = curl_init();

    // Create a user agent as to not get blocked by wikipedia
    $userAgent = 'Googlebot/2.1 (http://www.google.bot.com/bot.html)';

    // Initialize curl and following options
    //curl_setopt($this->curl, CURLOPT_USERAGENT, $userAgent);
    //curl_setopt($this->curl, CURLOPT_FAILONERROR, true);
    //curl_setopt($this->curl, CURLOPT_FOLLOWLOCATION, true);
    //curl_setopt($this->curl, CURLOPT_AUTOREFERER, true);
    //curl_setopt($this->curl, CURLOPT_RETURNTRANSFER,true);
    //curl_setopt($this->curl, CURLOPT_TIMEOUT, 10);

    //$this->conn = pg_connect("dbname=Wesley user=Wesley host=localhost") or die("Can't connect to database".pg_last_error());
    $this->hoplimit = 30;
    $this->hop_num = 0;
    $this->id = 1;
    $this->child_id = 0;
  }

  function __destruct()
  {
    $this->base_url = null;
    $this->target_url = null;
    $this->previous_link = null;
    $this->curl = null;
    $this->lookup = null;
    //pg_close($this-conn);
    $this->conn = null;
    $this->id = null;
    $this->child_id = null;
  }

  function hop()
  {
    //Error handling for cached results of links
    if (isset($this->lookup[$this->target_url]))
    {
      //printLinks();
      die("<font color='red'>Never ending loop: $this->target_url has already been seen</font>");
    }

    $this->lookup[$this->target_url] = 1; //cache the link

    $this->child_id++;
    $sql = "insert into Philosophy (base_url, childid, link) values('$this->base_url', $this->child_id, '$this->target_url')";
    //pg_execute($conn,$sql);
    echo "$sql <br/>";

    //append nodeValue to wikipedia url scheme
    $this->target_url = "http://en.wikipedia.org".$this->target_url;

    // Reset url
    $userAgent = 'Googlebot/2.1 (http://www.google.bot.com/bot.html)';    

    // Initialize curl and following options
    curl_setopt($this->curl, CURLOPT_USERAGENT, $userAgent);
    curl_setopt($this->curl, CURLOPT_FAILONERROR, true);
    curl_setopt($this->curl, CURLOPT_FOLLOWLOCATION, true);
    curl_setopt($this->curl, CURLOPT_AUTOREFERER, true);
    curl_setopt($this->curl, CURLOPT_RETURNTRANSFER,true);
    curl_setopt($this->curl, CURLOPT_TIMEOUT, 10);
    curl_setopt($this->curl, CURLOPT_URL,$this->target_url);

    // Get html from the page
    $this->html = curl_exec($this->curl);

    // Error handling for invalid link
    if(!$this->html)
    {
      //$this->printLinks();

      //target_url was invalid or not reachable
      die("<font color='red'>$this->target_url is invalid or unreachable - Hopped $this->hop_num times</font>");
    }
    $this->hop_num++;
  }

  function processHTML()
  {
    $dom = new DOMDocument();
    @$dom->loadHTML($this->html);

    $xpath = new DOMXpath($dom);
    $anchorlinks = $xpath->query('//a[not(ancestor::i)]/@href');

    //$anchorlinks = $dom->getElementsByTagName('a');
    echo "<pre>"; print_r(iterator_to_array($anchorlinks)); echo "</pre>"; exit;    

    foreach($anchorlinks as $anchorlink)
    {
      if (!$this->isValid($anchorlink->nodeValue)){ continue; }

      $this->previous_link = $this->target_url;
      $this->target_url = "$anchorlink->nodeValue";
      $flag = true;
      break;

      /*foreach($anchorlink->attributes as $attribute)
      {
        //skip erroneous links
        if ($attribute->nodeName !== 'href') {continue;}
        if (!$this->isValid($attribute->nodeValue)){ continue; }

        $this->target_url = "$attribute->nodeValue";
        $flag = true;
        break;
      }*/
    }
  }

  function isValid($link)
  {
    if ($link === $this->previous_link){ return false; }

    //links to ignore
    if (strstr($link, '#') || stristr($link, 'Help:') || stristr($link, 'navigation') || stristr($link,'[note')
     || strstr($link, '(') || stristr($link, 'File:') || strstr($link, '.jpg') || strstr($link, '?') || stristr($link, 'http')
     || strstr($link, '//') || stristr($link, 'Portal:') || stristr($link, 'Special:') || stristr($link, 'Wikipedia:')
     || stristr($link, 'Talk:') || stristr($link, 'Category:') || stristr($link, 'Main_Page'))
    {
      return false;
    }

    return true;
  }

  function printLinks()
  {
    $sql = "select childid, link from philosophy where base_url='$this->base_url'";
    if ($result = pg_execute($conn, $sql))
    {
      while ($row = pg_fetch_assoc($result))
      {
        echo "{$row['childid']}) {$row['link']} <br/>";
      }
    }
  }  
}
?>

最佳答案

I'd like to find all anchors from a page that are NOT nested in an italics tag

那么你应该宁愿使用

//a[not(ancestor::i)]/@href

正是这样做的，如果它们不是 href 元素的后代，则查找 a 元素的所有 i 属性。

结果集中的节点顺序可能因 XPath 1.0 的实现而异。使用兼容的 XPath 处理器将上述 XPath 表达式应用于 http://en.wikipedia.org/wiki/Wikipedia:Getting_to_Philosophy 结果(由 ----- 分隔的单个结果):

 href="#mw-head"
-----------------------
href="#p-search"
-----------------------
href="/wiki/File:Essay.svg"
-----------------------
href="/wiki/Wikipedia:Wikipedia_essays"
-----------------------
href="/wiki/Wikipedia:Policies_and_guidelines"
-----------------------
href="/wiki/Hyperlink"
-----------------------
href="/wiki/Wikipedia"
-----------------------
href="/wiki/Philosophy"
-----------------------
href="/wiki/Philosophy"
-----------------------
href="#cite_note-1"
-----------------------
href="/wiki/File:Crawl_on_Wikipedia_from_random_article_to_Philosophy..gif"
-----------------------
href="/wiki/File:Crawl_on_Wikipedia_from_random_article_to_Philosophy..gif"
-----------------------
href="/wiki/Document_classification"
-----------------------
href="/wiki/Wikipedia:MOSBEGIN"
-----------------------
href="/wiki/Mathematics"
-----------------------
href="/wiki/Science"
-----------------------
href="/wiki/Language"
-----------------------
href="/wiki/Philosophy"
-----------------------
href="#Method_summarized"
-----------------------
href="#Origins"
-----------------------
href="#Examples_of_exceptions_to_the_Getting_to_Philosophy_rule"
-----------------------
href="#See_also"
-----------------------
href="#References"
-----------------------
href="#External_links"
-----------------------
href="/w/index.php?title=Wikipedia:Getting_to_Philosophy&amp;action=edit&amp;section=1"
-----------------------
href="/w/index.php?title=Wikipedia:Getting_to_Philosophy&amp;action=edit&amp;section=2"
-----------------------
href="/wiki/Phenomenon"
-----------------------
href="/wiki/User:Mark_J"
-----------------------
href="#cite_note-2"
-----------------------
href="/wiki/Wikipedia:WikipediaWeekly/Episode50"
-----------------------
href="/wiki/Podcast"
-----------------------
href="#cite_note-3"
-----------------------
href="/w/index.php?title=Wikipedia:Getting_to_Philosophy&amp;action=edit&amp;section=3"
-----------------------
href="/wiki/Yarn"
-----------------------
href="/wiki/Fibres"
-----------------------
href="/wiki/Rope"
-----------------------
href="/w/index.php?title=Wikipedia:Getting_to_Philosophy&amp;action=edit&amp;section=4"
-----------------------
href="/wiki/Small-world_network"
-----------------------
href="/wiki/Attractor"
-----------------------
href="/wiki/Wikipedia:Wiki_Game"
-----------------------
href="/w/index.php?title=Wikipedia:Getting_to_Philosophy&amp;action=edit&amp;section=5"
-----------------------
href="#cite_ref-1"
-----------------------
href="/wiki/User:Ilmari_Karonen/First_link"
-----------------------
href="/wiki/Help:CS1_errors#cite_web_url"
-----------------------
href="#cite_ref-2"
-----------------------
href="http://en.wikipedia.org/w/index.php?title=Wikipedia:Getting_to_Philosophy&amp;oldid=215744293"
-----------------------
href="#cite_ref-3"
-----------------------
href="http://huffduffer.com/psd/42471"
-----------------------
href="/w/index.php?title=Wikipedia:Getting_to_Philosophy&amp;action=edit&amp;section=6"
-----------------------
href="http://www.xefer.com/wikipedia"
-----------------------
href="http://www.youtube.com/watch?v=vehDe2lSptU"
-----------------------
href="/wiki/Philosophy"
-----------------------
href="http://matpalm.com/blog/2011/08/13/wikipedia-philosophy/"
-----------------------
href="http://xkcd.com/903/"
-----------------------
href="/wiki/Xkcd"
-----------------------
href="/wiki/Tooltip"
-----------------------
href="http://wikiloopr.com/"
-----------------------
href="http://www.guardian.co.uk/technology/2011/jul/10/only-way-essex-wikipedia-philosophy"
-----------------------
href="/wiki/The_Guardian"
-----------------------
href="http://www.huffingtonpost.com/2011/11/14/wikipedia-philosophy_n_1093460.html"
-----------------------
href="http://en.wikipedia.org/w/index.php?title=Wikipedia:Getting_to_Philosophy&amp;oldid=645649870"
-----------------------
href="/wiki/Help:Category"
-----------------------
href="/wiki/Category:Wikipedia_essays"
-----------------------
href="/wiki/Category:Pages_using_web_citations_with_no_URL"
-----------------------
href="/w/index.php?title=Special:UserLogin&amp;returnto=Wikipedia:Getting+to+Philosophy&amp;type=signup"
-----------------------
href="/w/index.php?title=Special:UserLogin&amp;returnto=Wikipedia:Getting+to+Philosophy"
-----------------------
href="/wiki/Wikipedia:Getting_to_Philosophy"
-----------------------
href="/wiki/Wikipedia_talk:Getting_to_Philosophy"
-----------------------
href="#"
-----------------------
href="/wiki/Wikipedia:Getting_to_Philosophy"
-----------------------
href="/w/index.php?title=Wikipedia:Getting_to_Philosophy&amp;action=edit"
-----------------------
href="/w/index.php?title=Wikipedia:Getting_to_Philosophy&amp;action=history"
-----------------------
href="#"
-----------------------
href="/wiki/Main_Page"
-----------------------
href="/wiki/Main_Page"
-----------------------
href="/wiki/Portal:Contents"
-----------------------
href="/wiki/Portal:Featured_content"
-----------------------
href="/wiki/Portal:Current_events"
-----------------------
href="/wiki/Special:Random"
-----------------------
href="https://donate.wikimedia.org/wiki/Special:FundraiserRedirector?utm_source=donate&amp;utm_medium=sidebar&amp;utm_campaign=C13_en.wikipedia.org&amp;uselang=en"
-----------------------
href="//shop.wikimedia.org"
-----------------------
href="/wiki/Help:Contents"
-----------------------
href="/wiki/Wikipedia:About"
-----------------------
href="/wiki/Wikipedia:Community_portal"
-----------------------
href="/wiki/Special:RecentChanges"
-----------------------
href="//en.wikipedia.org/wiki/Wikipedia:Contact_us"
-----------------------
href="/wiki/Special:WhatLinksHere/Wikipedia:Getting_to_Philosophy"
-----------------------
href="/wiki/Special:RecentChangesLinked/Wikipedia:Getting_to_Philosophy"
-----------------------
href="/wiki/Wikipedia:File_Upload_Wizard"
-----------------------
href="/wiki/Special:SpecialPages"
-----------------------
href="/w/index.php?title=Wikipedia:Getting_to_Philosophy&amp;oldid=645649870"
-----------------------
href="/w/index.php?title=Wikipedia:Getting_to_Philosophy&amp;action=info"
-----------------------
href="//www.wikidata.org/wiki/Q14605740"
-----------------------
href="/w/index.php?title=Special:Book&amp;bookcmd=book_creator&amp;referer=Wikipedia:Getting+to+Philosophy"
-----------------------
href="/w/index.php?title=Special:Book&amp;bookcmd=render_article&amp;arttitle=Wikipedia:Getting+to+Philosophy&amp;oldid=645649870&amp;writer=rdf2latex"
-----------------------
href="/w/index.php?title=Wikipedia:Getting_to_Philosophy&amp;printable=yes"
-----------------------
href="//fr.wikipedia.org/wiki/Wikip&#xE9;dia:Se_rendre_&#xE0;_l'article_philosophie"
-----------------------
href="//uk.wikipedia.org/wiki/&#x412;&#x456;&#x43A;&#x456;&#x43F;&#x435;&#x434;&#x456;&#x44F;:&#x412;&#x441;&#x456;_&#x43F;&#x43E;&#x441;&#x438;&#x43B;&#x430;&#x43D;&#x43D;&#x44F;_&#x432;&#x435;&#x434;&#x443;&#x442;&#x44C;_&#x434;&#x43E;_&#x444;&#x456;&#x43B;&#x43E;&#x441;&#x43E;&#x444;&#x456;&#x457;"
-----------------------
href="#"
-----------------------
href="//www.wikidata.org/wiki/Q14605740#sitelinks-wikipedia"
-----------------------
href="//en.wikipedia.org/wiki/Wikipedia:Text_of_Creative_Commons_Attribution-ShareAlike_3.0_Unported_License"
-----------------------
href="//creativecommons.org/licenses/by-sa/3.0/"
-----------------------
href="//wikimediafoundation.org/wiki/Terms_of_Use"
-----------------------
href="//wikimediafoundation.org/wiki/Privacy_policy"
-----------------------
href="//www.wikimediafoundation.org/"
-----------------------
href="//wikimediafoundation.org/wiki/Privacy_policy"
-----------------------
href="/wiki/Wikipedia:About"
-----------------------
href="/wiki/Wikipedia:General_disclaimer"
-----------------------
href="//en.wikipedia.org/wiki/Wikipedia:Contact_us"
-----------------------
href="https://www.mediawiki.org/wiki/Special:MyLanguage/How_to_contribute"
-----------------------
href="//en.m.wikipedia.org/w/index.php?title=Wikipedia:Getting_to_Philosophy&amp;mobileaction=toggle_view_mobile"
-----------------------
href="//wikimediafoundation.org/"
-----------------------
href="//www.mediawiki.org/"

关于PHP XPath 查询，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/28399920/

文章推荐： html - 通过XPath获取包装元素

文章推荐： xml - 当节点文本包含xPath时获得同级节点

文章推荐： regex - 通过正则表达式在Google Analytics(分析)中排除字符

Mysql 查询 JOIN 查询
我有三张 table 。表 A 有选项名称(即颜色、尺寸)。表 B 有选项值名称(即蓝色、红色、黑色等)。表C通过将选项名称id和选项名称值id放在一起来建立关系。我的查询需要显示值和选项的名称，而
查询
在mysql中，如何计算一行中的非空单元格？我只想计算某些列之间的单元格，比如第 3-10 列之间的单元格。不是所有的列...同样，仅在该行中。最佳答案如果你想这样做，只能在 sql 中使用名称而
sql - 查询、 native 查询、命名查询和类型化查询之间的区别
关闭。这个问题需要多问focused 。目前不接受答案。想要改进此问题吗？更新问题，使其仅关注一个问题 editing this post . 已关闭 7 年前。 Improve this ques
elasticsearch - 在Elasticsearch查询中没有为[查询]注册的[查询]
我正在为版本7.6进行Elasticsearch查询我的查询是这样的: { "query": { "bool": { "should": [ {
sql - 查询、 native 查询、命名查询和类型化查询之间的区别
关闭。这个问题需要多问focused 。目前不接受答案。想要改进此问题吗？更新问题，使其仅关注一个问题 editing this post . 已关闭 7 年前。 Improve this ques
php - Mysql WHERE NOT EXISTS(查询)OR(查询)
是否可以编写一个查询来检查任一子查询(而不是一个子查询)是否正确？ SELECT * FROM employees e WHERE NOT EXISTS (
javascript - 查询。为表中的每一行发送 ajax 查询
我找到了很多关于我的问题的答案，但问题没有解决我有表格，有数据，例如: Data 1 Data 2 Data 3
salesforce - SOQL 查询 - 如何通过将字段设为小写并进行比较来编写 SOQL 查询？
以下查询返回错误: 查询: SELECT Id, FirstName, LastName, OwnerId, PersonEmail FROM Account WHERE lower(PersonEm
salesforce - SOQL 查询 - 如何通过将字段设为小写并进行比较来编写 SOQL 查询？
以下查询返回错误: 查询: SELECT Id, FirstName, LastName, OwnerId, PersonEmail FROM Account WHERE lower(PersonEm
Android SQLite 查询(我想解析一般的 SQL 查询)
我从 EditText 中获取了 String 值。以及提交查询的按钮。 String sql=editQuery.getText().toString();// SELECT * FROM empl
mysql 查询 - 为一个巨大的表优化现有的 MAX-MIN 查询
我有一个或多或少有效的查询(关于结果)，但处理大约需要 45 秒。这对于在 GUI 中呈现数据来说肯定太长了。所以我的需求是找到一个更快/更高效的查询(几毫秒左右会很好)我的数据表大约有 3000
SQL 查询 - 将 NULL 结果添加到 SELECT 查询
这是我第一次使用 Stack Overflow，所以我希望我以正确的方式提出这个问题。我有 2 个 SQL 查询，我正在尝试比较和识别缺失值，尽管我无法将 NULL 字段添加到第二个查询中以识别缺失
sql - 什么是动态 SQL 查询？何时需要使用动态 SQL 查询？
什么是动态 SQL 查询？何时需要使用动态 SQL 查询？我使用的是 SQL Server 2005。最佳答案这里有几篇文章: Introduction to Dynamic SQL Dynami
php - 在另一个 mysql 查询 while 循环中调用 mysql 查询
include "mysql.php"; $query= "SELECT ID,name,displayname,established,summary,searchlink,im
java - MySQL 查询 "select top 5"查询
我有一个查询要“转换”为 mysql。这是查询: select top 5 * from (select id, firstName, lastName, sum(fileSize) as To
c# - Entity Framework 查询 ToString 不会产生 SQL 查询
通过我的研究，我发现至少从 EF 4.1 开始，EF 查询上的 .ToString() 方法将返回要运行的 SQL。事实上，这对我来说非常有用，使用 Entity Framework 5 和 6。但
MySQL 查询(或 Doctrine 1.2 查询)- 从连接表和过滤器中获取最新项目
我在构造查询来执行以下操作时遇到问题: 按activity_type_id过滤联系人，仅显示最近事件具有所需activity_type_id或为NULL(无事件)的联系人表格结构如下: 一个联系人可
php - 如何在执行另一个 SQL 查询 x 分钟后执行一个 SQL 查询？
如何让我输入数据库的信息在输入数据 5 分钟后自行更新？假设我有一张 table : +--+--+-----+ |id|ip|count| +--+--+-----+ |
database - 如何在 N1QL 查询(Couchbase 查询)中使用 LENGTH() 字符串函数
我正在尝试搜索正好是 4 位数字的 ID，我知道我需要使用 LENGTH() 字符串函数，但找不到如何使用它的示例。我正在尝试以下(和其他变体)但它们不起作用。 SELECT max(car_id)
php - 将 SQL 查询 (+JOIN) 转换为 Symfony Propel 查询
我有一个在 mysql 上运行良好的 sql 查询(查询 + 连接): select sum(pa.price) from user u , purchase pu , pack pa where (

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

PHP XPath 查询