- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我创建了一个简单的蜘蛛来抓取 disneyfoodblog.com
帖子并返回帖子标题和帖子永久链接。
我的项目没有显示任何错误。调试输出(见下文)显示所有起始链接都已访问,但这些页面上的链接没有被抓取。起始页是存放每天帖子的页面。从那里,我试图抓取实际的帖子。
我的爬虫代码:
import datetime
import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy import log
from dfbScrape.items import *
class dfbSpider(CrawlSpider):
name="dfb"
base="http://disneyfoodblog.com/"
allowed_domains=[base]
start_urls=[]
startDate=datetime.date(2014,6,1)
endDate=datetime.date.today()
while startDate<endDate:
start_urls.append(base+str(startDate.year)+"/"+startDate.strftime("%m")+"/"+startDate.strftime("%d")+"/")
startDate+=datetime.timedelta(days=1)
rules = [Rule(SgmlLinkExtractor(allow=["\d+/\d+/\d+/.+/"]), callback='parse_item')]
def parse_item(self, response):
self.log('Hi, this is an item page! %s' % response.url)
item =DfbscrapeItem()
item['title']=response.xpath('/html/body/div[3]/div[3]/div/div/main/article/header/h1').extract()
item['link']=response.url
print "t: %s l: %s" % (item['title'],item['link'])
return item
可以在 pastebin 上查看调试输出.
让我知道我是否应该在此处包含实际输出。我没有,因为它差不多有 800 行长。
我唯一的想法是恕我直言,这不是一个很好的想法。这可能是已弃用的链接提取器的问题。我在 lxml 上选择了这个,因为我没有发现使用 lxml 的示例,而且有很多使用旧的示例。即使您无法回答我的问题,也非常感谢 lxml 的优势和示例。一如既往地欢迎建设性的批评和编辑。请询问您需要的任何其他信息。
最佳答案
如果您更仔细地查看输出,您会看到“已过滤的异地请求”消息:
2015-06-07 10:00:01-0500 [dfb] DEBUG: Filtered offsite request to 'www.disneyfoodblog.com': http://www.disneyfoodblog.com/2013/03/26/best-disney-world-restaurants-for-first-time-disney-visitors/>
这意味着“链接提取器”完成了它的工作。
但是,您的allowed_domains
设置未正确定义,应定义为:
allowed_domains = ["www.disneyfoodblog.com"]
(为我工作)。
关于python - 为什么我的 linkExtractor 在 scrapy spider 中无法抓取允许的链接?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30697468/
我有一个网站,并且我使用 javascript sdk 添加了“点赞”按钮。 这是代码 (function(d, s, id) { var js, fjs = d.g
我知道 HTML 是逐行读取的。当您链接多个 css 文件(如规范化文件和样式表文件)时,由于 CSS 重要性特异性和源顺序,样式表文件应链接在规范化文件之后。看起来这不会影响链接的 JavaScri
我正在使用官方 Bootstrap site 提供的 CDN 链接在我的网络应用程序中使用面板进行测试 在彻底检查我的代码后,面板没有显示。 但是我在 SO 上看到了类似的帖子并且 CDN 链接不同
这里是编码初学者。我正在尝试为我的移动设备网站设置断点,以便我的网站适合小屏幕。我只是想检查如果我缩小视口(viewport)的宽度,背景颜色是否会改变,但没有发生任何变化。也许我只是对一个简单的错误
举一个我想要的例子,想象一下这个字符串: $text = 'lorem ipsum About us lorem ipsum'; 如果此字符串包含一个 href 以 / 开头的 anchor 链接,则
如何链接到 LaTeX 文档的另一部分或子部分?这种链接的常规范式是什么,像[链接名称]那样写,或者像网页超链接那样写? 最佳答案 链接到另一个部分需要您的部分进行一些额外的标记。要使用的命令是: \
我有一个订单表,其中包含订单号、客户 ID 和代理 ID。然后有一个带有 id 的客户表和一个带有 id 的代理表。 我需要获取所有具有来自代理 ID 'a03' 和代理 ID 'a05' 的订单的客
假设我有: dic = {"z":"zv", "a":"av"} ## Why doesn't the following return a sorted list of keys? keys = d
我在尝试链接到外部库时得到了一些奇怪的结果。如果我从命令行运行以下命令: gcc fftwTest.c -I../extlib/fftw-3.3.5-dll32 -L../extlib/fftw-3.
我认为我没有正确理解 jQuery 链接。我正在遍历一个数组并尝试将 div 元素添加到我的包装器 CSS 类中,每个 div 元素都有一个“click”类和自定义 css top 和 left 属性
HTML 使用超级链接与网络上的另一个文档相连。几乎可以在所有的网页中找到链接。点击链接可以从一张页面跳转到另一张页面。 HTML 超链接(链接) HTML使用标签 a 来设置超文本链接。 超链
这个问题在这里已经有了答案: How do I link to part of a page? (hash?) (7 个答案) Scroll Automatically to the Bottom
我想创建一个 Docker Swarm 集群,运行一个 Elasticsearch 实例、一个 MongoDB 实例和一个 grails 应用程序,每个都在单独的机器上。我正在使用 Docker Ma
我正在尝试将 CakePHP HTML Linker 用于以下代码 Add Cuisine 由于 span 标签需要在 a 标签内。我无法根据需要获得输出。关于如何完成它的任何建议? 最佳答案 禁用链
大家好, 我最近开发了一个应用程序,很快就会提交到 App Store。我想免费提交这个应用程序,并想知道我是否可以实现一个带有 PayPal 捐赠标志的按钮,上面基本上写着“捐赠用于开发”或与此相关
我想尝试在 dlang 中使用 libuv。我下载了这样的 dlang 绑定(bind): git clone git@github.com:tamediadigital/libuv.git 现在我接
我有一个节点(节点 a),各种其他节点(节点 b/c/d/e)与之引用。 我可以创建一个带有参数的 View 作为我正在查看的节点(节点 a),并获取引用该节点的节点列表。 基本上在节点 a 查看节点
我正在尝试建立一个常见问题页面,上面有目录,下面有答案。我想点击目录中的一个问题,并在同一页面上链接到相应的答案。我如何在 CakePHP 中使用 $this->Html->link() 执行此操作方
在 WooCommerce 3.0+ 中,我使用 js 创建了一些选项卡,每个选项卡中包含来自不同类别的产品。我已经设法修改了简单产品的添加到购物车链接,其中点击了 addtocart 按钮它进入下一
Delphi 2007/2009 奇怪的问题在这里: 根据设计时定义的组件属性,是否可以在链接中包含文件或保留文件? 示例:如果我将 SomeProperty 保留为真,则在编译时,单元 SomeUn
我是一名优秀的程序员,十分优秀!