- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在使用图像管道从不同网站下载所有图像。
所有图像均已成功下载到我定义的文件夹,但在保存到硬盘之前我无法命名我选择的下载图像。
这是我的代码
class jellyImagesPipeline(ImagesPipeline):
def image_key(self, url, item):
name = item['image_name']
return 'full/%s.jpg' % (name)
def get_media_requests(self, item, info):
print'Entered get_media_request'
for image_url in item['image_urls']:
yield Request(image_url)
<小时/>
Image_spider.py
def getImage(self, response):
item = JellyfishItem()
item['image_urls']= [response.url]
item['image_name']= response.meta['image_name']
return item
我需要在代码中进行哪些更改?
更新1
<小时/>管道.py
class jellyImagesPipeline(ImagesPipeline):
def image_custom_key(self, response):
print '\n\n image_custom_key \n\n'
name = response.meta['image_name'][0]
img_key = 'full/%s.jpg' % (name)
print "custom image key:", img_key
return img_key
def get_images(self, response, request, info):
print "\n\n get_images \n\n"
for key, image, buf, in super(jellyImagesPipeline, self).get_images(response, request, info):
yield key, image, buf
key = self.image_custom_key(response)
orig_image = Image.open(StringIO(response.body))
image, buf = self.convert_image(orig_image)
yield key, image, buf
def get_media_requests(self, item, info):
print "\n\nget_media_requests\n"
return [Request(x, meta={'image_name': item["image_name"]})
for x in item.get('image_urls', [])]
更新2
<小时/>def image_key(self, image_name):
print 'entered into image_key'
name = 'homeshop/%s.jpg' %(image_name)
print name
return name
def get_images(self,request):
print '\nEntered into get_images'
key = self.image_key(request.url)
yield key
def get_media_requests(self, item, info):
print '\n\nEntered media_request'
print item['image_name']
yield Request(item['image_urls'][0], meta=dict(image_name=item['image_name']))
def item_completed(self, results, item, info):
print '\n\nentered into item_completed\n'
print 'Name : ', item['image_urls']
print item['image_name']
for tuple in results:
print tuple
最佳答案
在pipelines.py
from scrapy.contrib.pipeline.images import ImagesPipeline
from scrapy.http import Request
from PIL import Image
from cStringIO import StringIO
import re
class jellyImagesPipeline(ImagesPipeline):
CONVERTED_ORIGINAL = re.compile('^full/[0-9,a-f]+.jpg$')
# name information coming from the spider, in each item
# add this information to Requests() for individual images downloads
# through "meta" dictionary
def get_media_requests(self, item, info):
print "get_media_requests"
return [Request(x, meta={'image_name': item["image_name"]})
for x in item.get('image_urls', [])]
# this is where the image is extracted from the HTTP response
def get_images(self, response, request, info):
print "get_images"
for key, image, buf, in super(jellyImagesPipeline, self).get_images(response, request, info):
if self.CONVERTED_ORIGINAL.match(key):
key = self.change_filename(key, response)
yield key, image, buf
def change_filename(self, key, response):
return "full/%s.jpg" % response.meta['image_name'][0]
在settings.py
中,确保您有
ITEM_PIPELINES = ['jelly.pipelines.jellyImagesPipeline']
IMAGES_STORE = '/path/to/where/you/want/to/store/images'
蜘蛛示例:从Python.org的主页获取图像,保存图像的名称(和路径)将遵循站点结构,即位于名为www.python.org
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from scrapy.item import Item, Field
import urlparse
class CustomItem(Item):
image_urls = Field()
image_names = Field()
images = Field()
class ImageSpider(BaseSpider):
name = "customimg"
allowed_domains = ["www.python.org"]
start_urls = ['http://www.python.org']
def parse(self, response):
hxs = HtmlXPathSelector(response)
sites = hxs.select('//img')
items = []
for site in sites:
item = CustomItem()
item['image_urls'] = [urlparse.urljoin(response.url, u) for u in site.select('@src').extract()]
# the name information for your image
item['image_name'] = ['whatever_you_want']
items.append(item)
return items
关于image - Strapi:通过重命名默认图像名称来自定义图像管道,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18081997/
我正在使用 Assets 管道来管理我的 Grails 3.0 应用程序的前端资源。但是,似乎没有创建 CoffeeScript 文件的源映射。有什么办法可以启用它吗? 我的 build.gradle
我有一个我想要的管道: 提供一些资源, 运行一些测试, 拆资源。 我希望第 3 步中的拆卸任务运行 不管 测试是否通过或失败,在第 2 步。据我所知 runAfter如果前一个任务成功,则只运行一个任
如果我运行以下命令: Measure-Command -Expression {gci -Path C:\ -Recurse -ea SilentlyContinue | where Extensio
我知道管道是一个特殊字符,我需要使用: Scanner input = new Scanner(System.in); String line = input.next
我再次遇到同样的问题,我有我的默认处理方式,但它一直困扰着我。 有没有更好的办法? 所以基本上我有一个运行的管道,在管道内做一些事情,并想从管道内返回一个键/值对。 我希望整个管道返回一个类型为 ps
我有三个环境:dev、hml 和 qa。 在我的管道中,根据分支,阶段有一个条件来检查它是否会运行: - stage: Project_Deploy_DEV condition: eq(varia
我有 Jenkins Jenkins ver. 2.82 正在运行并想在创建新作业时使用 Pipeline 功能。但我没有看到这个列为选项。我只能在自由式项目、maven 项目、外部项目和多配置之间进
在对上一个问题 (haskell-data-hashset-from-unordered-container-performance-for-large-sets) 进行一些观察时,我偶然发现了一个奇
我正在寻找有关如何使用管道将标准输出作为其他命令的参数传递的见解。 例如,考虑这种情况: ls | grep Hello grep 的结构遵循以下模式:grep SearchTerm PathOfFi
有没有办法不因声明性管道步骤而失败,而是显示警告?目前我正在通过添加 || exit 0 来规避它到 sh 命令行的末尾,所以它总是可以正常退出。 当前示例: sh 'vendor/bin/phpcs
我们正在从旧的 Jenkins 设置迁移到所有计划都是声明性 jenkinsfile 管道的新服务器……但是,通过使用管道,我们无法再手动清除工作区。我如何设置 Jenkins 以允许 手动点播清理工
我在 Python 中阅读了有关 Pipelines 和 GridSearchCV 的以下示例: http://www.davidsbatista.net/blog/2017/04/01/docume
我有一个这样的管道脚本: node('linux'){ stage('Setup'){ echo "Build Stage" } stage('Build'){ echo
我正在使用 bitbucket 管道进行培训 这是我的 bitbucket-pipelines.yml: image: php:7.2.9 pipelines: default:
我正在编写一个程序,其中输入文件被拆分为多个文件(Shamir 的 secret 共享方案)。 这是我想象的管道: 来源:使用 Conduit.Binary.sourceFile 从输入中读取 导管:
我创建了一个管道,它有一个应该只在开发分支上执行的阶段。该阶段还需要用户输入。即使我在不同的分支上,为什么它会卡在这些步骤的用户输入上?当我提供输入时,它们会被正确跳过。 stage('Deplo
我正在尝试学习管道功能(%>%)。 当试图从这行代码转换到另一行时,它不起作用。 ---- R代码--原版----- set.seed(1014) replicate(6,sample(1:8))
在 Jenkins Pipeline 中,如何将工件从以前的构建复制到当前构建? 即使之前的构建失败,我也想这样做。 最佳答案 Stuart Rowe 还在 Pipeline Authoring Si
我正在尝试使用 执行已定义的作业构建 使用 Jenkins 管道的方法。 这是一个简单的例子: build('jenkins-test-project-build', param1 : 'some-
当我使用 where 过滤器通过管道命令排除对象时,它没有给我正确的输出。 PS C:\Users\Administrator> $proall = Get-ADComputer -filter *
我是一名优秀的程序员,十分优秀!