python - BeautifulSoup 对象不会 Pickle，导致解释器悄无声息地崩溃

Question

我有汤来自 BeautifulSoup我不能 pickle 。当我尝试 pickle 对象时，python 解释器静默崩溃(这样它就不能作为异常处理)。我必须能够 pickle 对象才能使用 multiprocessing 返回对象包( pickle 对象以在进程之间传递它们)。我如何解决/解决问题？不幸的是，我无法发布该页面的 html(它不是公开的)，而且我一直无法找到该问题的可重现示例。我试图通过遍历汤和 pickle 单个组件来隔离问题，产生错误的最小的东西是 <class 'BeautifulSoup.NavigableString'> .当我打印它打印出的对象时 u'\n' .

Answer 1

NavigableString 类不能用 multiprocessing 使用的 pickle 或 cPickle 序列化。但是，您应该能够使用 dill 序列化此类。 dill 具有 pickle 接口(interface)的超集，并且可以序列化大多数 python。 multiprocessing 仍然会失败，除非您使用 dill 的 multiprocessing 分支，称为 pathos.multiprocessing。

在此处获取代码:https://github.com/uqfoundation .

---

更多信息见: What can multiprocessing and dill do together?

http://matthewrocklin.com/blog/work/2013/12/05/Parallelism-and-Serialization/

http://nbviewer.ipython.org/gist/minrk/5241793