python - 为什么 sklearn 的 LabelBinarizer 速度慢或不慢？

Question

我正在尝试将 sklearn 中的 LabelBinarizer 与简单字典的性能进行比较:

from sklearn.preprocessing import LabelBinarizer
import time

sample_list = list('abcdefg')
lb = LabelBinarizer()
lb.fit(dep_tag_list)
lb_t = lb.transform(sample_list)
sample_dict = {key:value for (key,value) in zip(sample_list, lb_t)}

此代码运行: --- 2.9169740676879883 秒 ---

start_time = time.time()
result = lb.transform(sample_list*1000000)
print("--- %s seconds ---" % (time.time() - start_time))

这段代码运行了: --- 0.6299951076507568 秒 ---

start_time = time.time()
result = [sample_dict[el] for el in sample_list*1000000]
print("--- %s seconds ---" % (time.time() - start_time))

我是在比较苹果吗？为什么 LableBinarizer 这么慢？

Answer 1

LabelBinarizer 是 label_binarize 的包装器。也可以在其他一些 scikit 实用程序内部使用。因此它需要注意传递给它的数据是否合适。

为此，它对传递的数据执行多次检查。请看transform() function here的源码:

y_is_multilabel = type_of_target(y).startswith('multilabel')
if y_is_multilabel and not self.y_type_.startswith('multilabel'):
    raise ValueError("The object was not fitted with multilabel"
                     " input.")

return label_binarize(y, self.classes_,
                      pos_label=self.pos_label,
                      neg_label=self.neg_label,
                      sparse_output=self.sparse_output)

因此您会看到它检查传递的 y 是否是可以由 scikit 算法处理的合适类型。之后，数据被传递到label_binarize，其 source code is ，对其执行其他附加检查。在我看来，这就是其缓慢的原因。