python - 使用 sklearn 和 Python 进行大型应用程序分类/抓取练习

Question

我正在处理一个相对较大的基于文本的网络分类问题，我计划在 python 的 sklearn 中使用多项式朴素贝叶斯分类器，并使用 scrapy 框架进行抓取。然而，我有点担心 sklearn/python 对于可能涉及数百万网站分类的问题来说可能太慢了。我已经在 DMOZ 的数千个网站上训练了分类器。研究框架如下:

1) 爬虫登陆一个域名并从网站上的 20 个链接(深度不大于 1)中抓取文本。 (对于爬虫的样本运行，此处标记化单词的数量似乎在几千到最多 150K 之间变化)2) 运行sklearn multionmial NB分类器，具有大约50,000个特征，并根据结果记录域名

我的问题是基于 Python 的分类器是否能够胜任如此大规模应用程序的任务，或者我是否应该尝试在更快的环境中重写分类器(也许还有抓取器和分词器)？如果是的话，那个环境可能是什么？或者如果伴随着代码的一些并行化，Python 就足够了？谢谢

Answer 1

使用 HashingVectorizer 和支持 partial_fit API 的线性分类模块之一，例如 SGDClassifier、Perceptron 或 PassiveAggresiveClassifier 以增量方式学习模型，而无需预先将所有数据矢量化并加载到内存中，您在学习具有数十万(散列)的数亿文档的分类器时应该没有任何问题) 特征。

然而，您应该加载适合内存的小子样本(例如 100k 文档)，并使用 Pipeline 对象和 master 分支的 RandomizedSearchCV 类为矢量化器网格搜索好的参数。您还可以使用相同的 RandomizedSearchCV 或适合内存的更大的预矢量化数据集(例如几百万)来微调正则化参数的值(例如 C 表示 PassiveAggressiveClassifier 或 alpha 表示 SGDClassifier)文档)。

还可以对线性模型进行平均(平均 2 个线性模型的 coef_ 和 intercept_)，这样您就可以划分数据集，独立学习线性模型，然后平均模型得到最终模型。