- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我正在尝试抓取保险网站 www.ehealthinsurance.com。它的主页有一个 POST 依赖的形式,它采用特定的值和生成下一页。我正在尝试传递值但看不到我想要的所需标签的 HTML 源代码。任何建议都会有很大帮助。
内联是 scrapy 代码:
class ehealthSpider(BaseSpider):
name = "ehealth"
allowed_domains = ["ehealthinsurance.com/"]
start_urls = ["http://www.ehealthinsurance.com/individual-health-insurance"]
def parse(self, response):
yield FormRequest.from_response(response,
formname='main',
formdata={'census.zipCode': '48341',
'census.requestEffectiveDate': '06/01/2013',
'census.primary.gender': 'MALE',
'census.primary.month': '12',
'census.primary.day': '01',
'census.primary.year': '1971',
'census.primary.tobacco': 'No',
'census.primary.student': 'No'}, callback=self.parseAnnonces)
def parseAnnonces(self, response):
hxs = HtmlXPathSelector(response)
data = hxs.select('//div[@class="main-wrap"]').extract()
#print encoding
print data
这是终端响应中的爬虫
2013-04-30 16:34:16+0530 [elyse] DEBUG: Crawled (200) <GET http://www.ehealthin
urance.com/individual-health-insurance> (referer: None)
2013-04-30 16:34:17+0530 [elyse] DEBUG: Filtered offsite request to 'www.ehealt
insurance.com': <POST http://www.ehealthinsurance.com/individual-health-insuran
e;jsessionid=F5A1123CE731FDDDC1A7A31CD46CC132.prfo23a>
2013-04-30 16:34:17+0530 [elyse] INFO: Closing spider (finished)
2013-04-30 16:34:17+0530 [elyse] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 257,
'downloader/request_count': 1,
'downloader/request_method_count/GET': 1,
'downloader/response_bytes': 32561,
'downloader/response_count': 1,
'downloader/response_status_count/200': 1,
'finish_reason': 'finished',
'finish_time': datetime.datetime(2013, 4, 30, 11, 4, 17, 22000),
'log_count/DEBUG': 8,
'log_count/INFO': 4,
'request_depth_max': 1,
'response_received_count': 1,
'scheduler/dequeued': 1,
'scheduler/dequeued/memory': 1,
'scheduler/enqueued': 1,
'scheduler/enqueued/memory': 1,
'start_time': datetime.datetime(2013, 4, 30, 11, 4, 10, 494000)}
你能帮我得到想要的数据吗?
最佳答案
中间请求的小技巧并且有效。还更正了表单名称。 Scrapy 很棒的调试工具是 inspect_response(response)
from scrapy.selector import Selector
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.spiders import CrawlSpider, Rule
from healthinsspider.items import HealthinsspiderItem
from scrapy.shell import inspect_response
from scrapy.http import FormRequest
from scrapy.http import Request
import time
class EhealthspiderSpider(CrawlSpider):
name = 'ehealthSpider'
allowed_domains = ['ehealthinsurance.com']
start_urls = ["http://www.ehealthinsurance.com/individual-health-insurance"]
def parse(self, response):
yield FormRequest.from_response(response,
formname='form-census',
formdata={'census.zipCode': '48341',
'census.requestEffectiveDate': '06/01/2013',
'census.primary.gender': 'MALE',
'census.primary.month': '12',
'census.primary.day': '01',
'census.primary.year': '1971',
'census.primary.tobacco': 'No',
'census.primary.student': 'No'}, callback=self.InterRequest,
dont_filter=True)
def InterRequest(self, response):
# sleep so, that our request can be processed by the server, than go to results
time.sleep(10)
return Request(url='https://www.ehealthinsurance.com/ehi/ifp/individual-family-health-insurance!goToScreen?referer=https%3A%2F%2Fwww.ehealthinsurance.com%2Fehi%2Fifp%2Findividual-health-insurance%3FredirectFormHTTP&sourcePage=&edit=false&ajax=false&screenName=best-sellers', dont_filter=True, callback=self.parseAnnonces)
def parseAnnonces(self, response):
inspect_response(response)
hxs = Selector(response)
data = hxs.select('//div[@class="main-wrap"]').extract()
#print encoding
print data
附言应在 settings.py 中启用 Cookie:COOKIES_ENABLED=True
关于http - 如何使用 scrapy 爬取依赖于帖子的网站,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16299054/
我在字符串中有一个大词。例子白 Wine 额外优惠。 我想在第一行使用“White”,在第二行使用“wine extra offer”。使用下面的代码: string value="White win
我想在无符号中执行一些算术运算,需要取负整数的绝对值,比如 do_some_arithmetic_in_unsigned_mode(int some_signed_value) { unsign
我正在努力使用 data.table 来总结向量函数的结果,这在 ddply 中很容易。 问题 1:使用带有矢量输出的(昂贵的)函数聚合 dt dt[ , as.list(quantile(x)),
我有两个分数列表; 说 A = [ 1/212, 5/212, 3/212, ... ] 和 B = [ 4/143, 7/143, 2/143, ... ] . 如果我们定义 A' = a[0] *
我已经使用 numpy 从 csv 文件中获取数据。 numpy 数组的尺寸为:100*20。我如何取列的平均值(比如 col 3,5,8)并用包含这 3 个 cols 平均值的新列替换它们 如果
在 Rust 中取任意数的 n 次根的最佳方法是什么?例如,num crate 只允许取整数类型的第 n 个主根,即 floor'ed 或 ceil'ed 值......如何最好地接近实际值? 最佳答
看起来这应该很容易,但我很困惑。我已经掌握了使用 dplyr 进行编程的大致技巧0.7,但为此苦苦挣扎:How do Iprogram in dplyr我想要编程的变量是否是一个字符串? 我正在抓取数
在 Rust 中取任意数的 n 次根的最佳方法是什么?例如,num crate 只允许取整数类型的第 n 个主根,即 floor'ed 或 ceil'ed 值......如何最好地接近实际值? 最佳答
我有一个 pandas 数据框,其中有一列名为“coverage”。对于一系列特定索引值,我想获取前 100 行的平均“覆盖率”值。例如,对于索引位置 1001,我想要第 901-1000 行的平均“
import pandas as pd data = {'date': ['1998-03-01', '2001-04-01','1998-06-01','2001-08-01','2001-05-0
我有一个包含 100 个数字的 NSArray。我想创建一个 5 个数字的 NSArray。第二个数组中的第一个数字是第一个数组中前 20 个数字的平均值。第二个数字是第一个数组中第二组 20 个数字
我该怎么做?我试过 abs() 但它只适用于整数。有内置的方法吗? CGFloat flo = -123; abs(flo) 返回 0 最佳答案 使用 fabs() CGFloat f = -123.
我正在采用以下计算的 log2: tl_out.a.bits.size := log2Ceil(s1_row * s2_column * 4.U) 其中,s1_row 和 s2_column 是 UI
如何从 m 个元素集合中取出 n 个元素,以便在元素用完时从头开始? List list = new List() {1, 2, 3, 4, 5, 6, 7, 8, 9, 10}; List newL
我已经完成了研究,但似乎找不到有关该主题的足够文档。 在 Object streams 上尝试一些代码时,我注意到将 BufferedOutputStream 放入 ObjectOutputStrea
我需要计算数据中连续时间组之间的差异,如下所示 from io import StringIO import pandas as pd strio = StringIO("""\
我在 Mongo 数据库中有以下文档: { _id: 1, question: "Blue or red?", __v: 0, votes: [9, 5] } 我想在后
好吧,宇宙中一定有人知道这个问题的答案。 我已经在这里问过这个问题,但仍然没有解决方案。 我需要保留和换行 div 中的文本。到目前为止,我很难想出解决方案。我找到的最佳解决方案并不适用于所有浏览器。
我正在尝试采用 3 个单独的整数输入(年、月、日)并采用这 3 个条目并从中形成一个日期对象,以便我可以使用它来比较其他日期。 这是我目前所拥有的,不知从何而来: public void compar
在我的 IOS 项目中,我有一个包含该函数的自定义 Logger 类(单例) - (void)log:(NSString *)domain logLevel:(int)level logMessage
我是一名优秀的程序员,十分优秀!