gpt4 book ai didi

python - 如何用 Python 编写一个简单的蜘蛛?

转载 作者:太空宇宙 更新时间:2023-11-04 11:05:11 25 4
gpt4 key购买 nike

几周来我一直在尝试编写这个蜘蛛,但没有成功。我用 Python 编写此代码的最佳方式是什么:

1) 初始网址:http://www.whitecase.com/Attorneys/List.aspx?LastName=A

2) 从初始 url 使用此正则表达式获取这些 url:

hxs.select('//td[@class="altRow"][1]/a/@href').re('/.a\w+')

[u'/cabel', u'/jacevedo', u'/jacuna', u'/aadler', u'/zahmedani', u'/tairisto', u
/zalbert', u'/salberts', u'/aaleksandrova', u'/malhadeff', u'/nalivojvodic', u'
....

3) 转到每个 url 并使用此正则表达式抓取学校信息

hxs.select('//td[@class="mainColumnTDa"]').re('(?<=(JD,\s))(.*?)(\d+)'

[u'JD, ', u'University of Florida Levin College of Law, <em>magna cum laude</em>
, Order of the Coif, Symposium Editor, Florida Law Review, Awards for highest
grades in Comparative Constitutional History, Legal Drafting, Real Property and
Sales, ', u'2007']

4) 将抓取的学校信息写入schools.csv文件

你能帮我用 Python 写这个蜘蛛吗?我一直在尝试用 Scrapy 编写它,但没有成功。看我之前的question .

谢谢。

最佳答案

http://www.ibm.com/developerworks/linux/library/l-spider/具有良好描述的 IBM 文章

http://code.activestate.com/recipes/576551/ Python 食谱,更好的代码但更少的解释

关于python - 如何用 Python 编写一个简单的蜘蛛?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/1805231/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com