- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在 python3
中使用 dryscrape
编写一个scraper。我试图在 __scraping __session 期间访问数百个不同的 url,并在每个 url 上单击大约 10 个 ajax 页面(不访问每个 ajax 页面的不同 url)。我需要像 dryscrape
这样的东西,因为我需要能够与 javascript 组件交互。我为自己的需要编写的类可以工作,但是当我访问大约 50 或 100 页时,我的内存就用完了(所有 4Gbs 的内存都被使用了,4Gbs 的交换磁盘空间几乎 100% 满了)。我查看了内存占用情况,似乎是 webkit_server
进程负责所有内存。为什么会发生这种情况,我该如何避免?
下面是我的类和我的主要方法的相关片段。
这是使用 dryscape
的类,您可以准确地看到我正在使用的设置。
import dryscrape
from lxml import html
from time import sleep
from webkit_server import InvalidResponseError
import re
from utils import unugly, my_strip, cleanhtml, stringify_children
from Profile import Profile, Question
class ExampleSession():
def __init__(self, settings):
self.settings = settings
# dryscrape.start_xvfb()
self.br = self.getBrowser()
def getBrowser(self):
session = dryscrape.Session()
session.set_attribute('auto_load_images', False)
session.set_header('User-agent', 'Google Chrome')
return session
def login(self):
try:
print('Trying to log in... ')
self.br.visit('https://www.example.com/login')
self.br.at_xpath('//*[@id="login_username"]').set(self.settings['myUsername'])
self.br.at_xpath('//*[@id="login_password"]').set(self.settings['myPassword'])
q = self.br.at_xpath('//*[@id="loginbox_form"]')
q.submit()
except Exception as e:
print(str(e))
print('\tException and couldn\'t log in!')
return
print('Logged in as %s' % (str(self.settings['myUsername'])))
def getProfileQuestionsByUrl(self, url, thread_id=0):
self.br.visit(str(url.rstrip()) + '/questions')
tree = html.fromstring(self.br.body())
questions = []
num_pages = int(my_strip(tree.xpath('//*[@id="questions_pages"]//*[@class="last"]')[0].text))
page = 0
while (page < num_pages):
sleep(0.5)
# Do something with each ajax page
# Next try-except tries to click the 'next' button
try:
next_button = self.br.at_xpath('//*[@id="questions_pages"]//*[@class="next"]')
next_button.click()
except Exception as e:
pass
page = page + 1
return questions
def getProfileByUrl(self, url, thread_id=0):
missing = 'NA'
try:
try:
# Visit a unique url
self.br.visit(url.rstrip())
except Exception as e:
print(str(e))
return None
tree = html.fromstring(self.br.body())
map = {}
# Fill up the dictionary with some things I find on the page
profile = Profile(map)
return profile
except Exception as e:
print(str(e))
return None
这是主要方法(片段):
def getProfiles(settings, urls, thread_id):
exampleSess = ExampleSession(settings)
exampleSess.login()
profiles = []
'''
I want to visit at most a thousand unique urls (but I don't care if it
will take 2 hours or 2 days as long as the session doesn't fatally break
and my laptop doesn't run out of memory)
'''
for url in urls:
try:
profile = exampleSess.getProfileByUrl(url, thread_id)
if (profile is not None):
profiles.append(profile)
try:
if (settings['scrapeQuestions'] == 'yes'):
profile_questions = exampleSess.getProfileQuestionsByUrl(url, thread_id)
if (profile_questions is not None):
profile.add_questions(profile_questions)
except SocketError as e:
print(str(e))
print('\t[Thread %d] SocketError in getProfileQuestionsByUrl of profile...' % (thread_id))
except Exception as e:
print(str(e))
print('\t[Thread %d] Exception while getting profile %s' % (thread_id, str(url.rstrip())))
okc.br.reset()
exampleSession = None # Does this kill my dryscrape session and prevents webkit_server from running?
return profiles
我是否正确设置了dryscrape
? dryscrape
的 webkit_server
如何在我使用 getProfileByUrl
和 getProfileQuestionsByUrl
?是否有任何我遗漏的设置可能会增加内存使用量?
最佳答案
我无法解决内存问题(我可以在另一台笔记本电脑上重现此问题)。我最终从 dryscrape
切换到 selenium
(然后切换到 phantomjs
)。 PhantomJS
在我看来更胜一筹,而且它也没有占用大量内存。
关于python-3.x - Webkit_server(从 python 的 dryscrape 调用)在访问每个页面时使用越来越多的内存。如何减少使用的内存?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32211733/
我是一名优秀的程序员,十分优秀!