- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我在使用 XPath 从表中通过 Scrapy 选择 HTML 元素时遇到问题。我使用的示例是来自 Scrapy 网站的非常基本的示例:http://doc.scrapy.org/en/latest/intro/tutorial.html我要解析的网站是 http://www.euroleague.net/main/results/showgame?gamecode=5&gamenumber=1&phasetypecode=RS&seasoncode=E2013#!playbyplay
一开始我用的是这段代码:
from basketbase.items import BasketbaseItem
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from scrapy.http import HtmlResponse
class Basketspider(CrawlSpider):
name = "playbyplay"
download_delay = 0.5
allowed_domains = ["www.euroleague.net"]
start_urls = ["http://www.euroleague.net/main/results/showgame?gamenumber=1&phasetypecode=RS&gamecode=4&seasoncode=E2013"]
rules = (
Rule(SgmlLinkExtractor(allow=(),),callback='parse_item',),
)
def parse(self,response):
response = HtmlResponse(url=response.url, status=response.status, headers=response.headers, body=response.body)
return super(Basketspider,self).parse(response)
def parse_item(self, response):
response = HtmlResponse(url=response.url, status=response.status, headers=response.headers, body=response.body)
sel = HtmlXPathSelector(response)
items=[]
item = BasketbaseItem()
item['game_time'] = sel.select('//div[@style="overflow: auto; height: 250px; width: 800px;"]/table/tbody/tr/td[1]/text()').extract() #
item['game_event'] = sel.select('//div[@style="overflow: auto; height: 250px; width: 800px;"]/table/tbody/tr/td[2]/text()').extract() #
item['game_event_res_home'] = sel.select('//div[@style="overflow: auto; height: 250px; width: 800px;"]/table/tbody/tr/td[3]/text()').extract() #
item['game_event_res_visitor'] = sel.select('//div[@style="overflow: auto; height: 250px; width: 800px;"]/table/tbody/tr/td[3]/text()').extract() #
item['game_event_team'] = sel.select('//div[@style="overflow: auto; height: 250px; width: 800px;"]/table/tbody/tr/td[4]/text()').extract() #
item['game_event_player'] = sel.select('//div[@style="overflow: auto; height: 250px; width: 800px;"]/table/tbody/tr/td[5]/text()').extract() #
items.append(item)
return items
嗯,这是基本的,目前规则不是很正确,但这个例子的主要问题是 XPath。
它可以工作,但不是我想要的方式。我希望每个项目只提取每个 tr 的一个 td 值,但使用此代码,它会立即将所有 td 元素提取到项目中。项目 game_event_res_visitor:
'game_event_res_visitor': [u'0-0',
u'0-0',
u'0-0',.......(list goes on and on)
为了得到我想要的结果,我决定使用循环(就像在 Scrapy 教程中一样(http://doc.scrapy.org/en/latest/intro/tutorial.html)),但它根本不返回任何值。这是代码:
def parse(self,response):
response = HtmlResponse(url=response.url, status=response.status, headers=response.headers, body=response.body)
return super(Basketspider,self).parse(response)
def parse_item(self, response):
response = HtmlResponse(url=response.url, status=response.status, headers=response.headers, body=response.body)
sel = HtmlXPathSelector(response)
sites = sel.xpath('//div[@style="overflow: auto; height: 250px; width: 800px;"]/table/tbody/tr')
items=[]
item = BasketbaseItem()
for site in sites:
item = BasketbaseItem()
item['game_time'] = sel.select('td[1]/text()').extract() #
item['game_event'] = sel.select('td[2]/text()').extract() #
item['game_event_res_home'] = sel.select('td[3]/text()').extract() #
item['game_event_res_visitor'] = sel.select('td[3]/text()').extract() #
item['game_event_team'] = sel.select('td[4]/text()').extract() #
item['game_event_player'] = sel.select('td[5]/text()').extract() #
items.append(item)
return items
和终端输出:
2014-03-07 16:57:45+0200 [playbyplay] DEBUG: Scraped from <200 http://www.euroleague.net/main/results/showgame?gamecode=9&gamenumber=1&phasetypecode=RS&seasoncode=E2013>
{'game_event': [],
'game_event_player': [],
'game_event_res_home': [],
'game_event_res_visitor': [],
'game_event_team': [],
'game_time': []}
2014-03-07 16:57:45+0200 [playbyplay] DEBUG: Scraped from <200 http://www.euroleague.net/main/results/showgame?gamecode=9&gamenumber=1&phasetypecode=RS&seasoncode=E2013>
{'game_event': [],
'game_event_player': [],
'game_event_res_home': [],
'game_event_res_visitor': [],
'game_event_team': [],
'game_time': []}
我知道我的 XPath 有问题,但我不明白是什么。如果我在项目元素中使用相对 XPath,它会给出与第一个示例相同的结果。所以它就在那里,但我无法用我拥有的代码访问它。我什至尝试过“通配符”。
item['game_time'] = sel.select('*/text()').extract() #
item['game_event'] = sel.select('*/text()').extract() #
item['game_event_res_home'] = sel.select('*/text()').extract() #
item['game_event_res_visitor'] = sel.select('*/text()').extract() #
item['game_event_team'] = sel.select('*/text()').extract() #
item['game_event_player'] = sel.select('*/text()').extract() #
它没有得到任何文本结果。
2014-03-07 19:11:14+0200 [playbyplay] DEBUG: Scraped from <200 http://www.euroleague.net/main/results/showgame?gamecode=7&gamenumber=1&phasetypecode=RS&seasoncode=E2013>
{'game_event': [u' \r\n', u'\r\n'],
'game_event_player': [u' \r\n', u'\r\n'],
'game_event_res_home': [u' \r\n', u'\r\n'],
'game_event_res_visitor': [u' \r\n', u'\r\n'],
'game_event_team': [u' \r\n', u'\r\n'],
'game_time': [u' \r\n', u'\r\n']}
我很困惑,我不明白我的 XPath 或我的代码有什么问题。
最佳答案
这是对我有用的:
def parse_item(self, response):
response = HtmlResponse(url=response.url, status=response.status, headers=response.headers, body=response.body)
sel = HtmlXPathSelector(response)
rows = sel.select('//div[@style="overflow: auto; height: 250px; width: 800px;"]/table/tbody/tr')
for row in rows:
item = BasketbaseItem()
item['game_time'] = row.select("td[1]/text()").extract()[0]
item['game_event'] = row.select("td[2]/text()").extract()[0]
result = row.select("td[3]/text()").extract()[0]
item['game_event_res_home'], item['game_event_res_visitor'] = result.split('-')
item['game_event_team'] = row.select("td[4]/text()").extract()[0]
item['game_event_player'] = row.select("td[5]/text()").extract()[0]
yield item
这是我得到的示例项目:
{'game_event': u'Steal',
'game_event_player': u'DJEDOVIC, NIHAD',
'game_event_res_home': u'0 ',
'game_event_res_visitor': u' 0',
'game_event_team': u'FC Bayern Munich',
'game_time': u'2'}
对您来说,这只是一个开始 - 有时项目不会由于 IndexError
异常而产生 - 正确处理它。
希望对您有所帮助。
关于python - XPath 不指向正确的 HTML 表格元素与迭代器 (Scrapy),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22257429/
编辑:为什么这被否决了?我真的不知道...顺便说一句 ../不起作用,因为我不想要 Table 的父级但实际上想要 ../td+1 我不知道这是否可能? 嗨,大家好。 我手头有一个相当复杂的问题..
我很难找到需要单击的输入(复选框)元素的 xpath。我正在尝试使用其他跨度元素来定位它。元素包含 Angular 属性,不知道这是否重要? 元素的结构如下: Company name
我正在尝试构建一个包含许多 XPath 作为参数的 DSL。我是 XPath 的新手,我需要一个 XPath 语法中从未使用过的字符,这样我就可以在脚本的一行中分隔 n 个 XPath。我的问题:哪些
使用xpath在父标签内找到特定标签: 输入样例:
我需要构造一个通用XPath来找到正确的节点,其中的标准是日期和时间。例如查找“ 5 May”,“ 12:17:44”的节点 XML具有日期和时间标签。 不方便地,日期标签仅在当天的第一次出现时填充。
我正在尝试获取xPath几个月内两个日期之间的差异。 几天之内我就没问题了(1127) days-from-duration(xs:date('2012-06-17')-xs:date('2009-0
我试图选择一个包含一段文本的元素,但是我不想选择包含该文本加上其他文本的元素。我通常会使用text()='abc def',但是这个特定元素在前后都包含空格。 这是一个示例片段:
亲爱的,您能帮我用这个XPATH吗?可以说我有以下HTML代码 text value1 value2 text 我需要构建一
我正在尝试提取带有排除项的 xpath,但无法执行此操作。 (//div[@class='row site country-names']/following-sibling::div)[1]/di
response.xpath('//*[@id="blah"]//text()') 假设我的html是 This is a simple text foo and this is after tag.
除了那些具有"//ul/li[not(@*)][count(*)=0]"父项的人以外,我需要全部接受。我已经尝试过,但是不幸的是它不起作用。 有谁知道,我该怎么处理? 提前致谢。 最佳答案 我认为您需
我使用XPath的问题是,每当我使用“子字符串”功能时,我只会得到一个匹配项,而我想全部获得它们。 另一个问题是,每当我使用“子字符串”和运算符的组合时它只是行不通(没有匹配项)。 例如:http:/
我正在尝试通过其位置和属性获取项目,但不知道如何做。 我要实现的是将这一点统一起来: Xpath("//h4/a[contains(@href,'#vuln_')]") 还有这个: Xpath
我有一个xpath如下: .//*[text()='Name:']/../child::select | .//*[text()='Name:']/../child::span 但是对我来说,它既不紧
我拼命试图在xpath中组合几个过滤器。假设我的数据如下所示: DELETE 1 This is my title my sh
我想在已经通过 xpath 设置的其他元素中使用 xpath 来指示元素的位置。 下面的一个已经通过 xpath 设置(我没有改变) //Base_Code
是否可以使用xpath直接在括号内抓取信息?还是以后再用正则表达式过滤? HTML如下所示: Product name (UN1QU3 C0D3) 使用以下Xpath表达式,我可以在此中获取所有内容:
我试图使用一个XPath表达式来选择一个节点,该节点的子节点与文档中的另一个节点匹配。 匹配将意味着该节点的所有属性都相同。因此,如果将一个节点与多个属性进行比较,则无法进行单独的属性比较。 作为示例
我想在 XPath 表达式中使用 Iverson 括号(即映射 true => 1,false => 0)。 示例:而不是书写 someNumber+(if(elem1/elem2[@attr='12
是否可以以类似方式选择节点? './tr[position() in (1, 3, 7)]' 我只找到以下解决方案: './tr[position() = 1 or position() = 3 or
我是一名优秀的程序员,十分优秀!