python - 我如何使用 scrapy shell 来使用 url 上的参数

Question

我想废弃招聘网站。我想在 scrapy shell 中做一些测试。

因此如果我输入这个

scrapy shell http://www.seek.com.au

如果我输入

从 scrapy.contrib.linkextractors.sgml 导入 SgmlLinkExtractor

然后它工作正常

但如果我这样做

scrapy shell http://www.seek.com.au/JobSearch?DateRange=31&SearchFrom=quick&Keywords=python&nation=3000

如果我输入

从 scrapy.contrib.linkextractors.sgml 导入 SgmlLinkExtractor

然后它说 invalid bash command from 并且它退出 scrapy 作业并作为停止的作业出现在屏幕上

>>> from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
-bash: from: command not found

[5]+  Stopped                 scrapy shell http://www.seek.com.au/JobSearch?DateRange=31
[7]   Done                    Keywords=php

Answer 1

显然，您需要用双引号将您的网址括起来:

scrapy shell "http://www.seek.com.au/JobSearch?DateRange=31&SearchFrom=quick&Keywords=python&nation=3000"
>>> from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
>>> lx = SgmlLinkExtractor() 

然后一切顺利(以上是我实际的 shell 输出)

在没有双引号的情况下尝试过，不起作用(获取线程继续运行并且第一次按键退出到 bash 而没有改变我的视觉输出，因此给我同样的错误)