Python 复杂对象的决策树分类

Question

我有一组具有各种属性的服装/配饰产品(由 Python 对象表示)。这些产品是通过查询外部 API 和抓取商家网站以获取各种属性相结合来生成的。

我的目标是开发一个分类器，使用这些属性对产品进行正确分类(即分为裤子、T 恤、连衣裙等类别)。

我有一个训练数据集和一个测试数据集，它们是随机均匀选择的整个数据集的子集，并已手动分类。

我和一位专门研究机器学习的前大学同事交谈过，他建议使用决策树。然而，Python 中的决策树库似乎非常注重数字(而不是专注于基于文本属性对数据进行分类)。

我知道像 Scikit Learn 这样的库但从我的简要分析来看，它们通常涉及比我要求的更简单的规则逻辑。

任何有关方法、库、代码结构等的建议将不胜感激。然而，这个问题的主要焦点是哪个Python机器学习库(如果有)最适合这项任务。

产品属性包括以下内容:

• 名称(str)
• 描述(str)
• available_sizes ([str, str...])
• available_colours ([str, str...])
• 价格( float )
• 网址 (str)
• category_name (str)
• 图像([str, str...] - url)

产品示例:

{   'category': u"Men's Accessories",
    'colours': [u'White'],
    'description': u'Keep your formal style looking classic with this white short sleeve Oxford shirt with roll up sleeve detailing.',
    'ean': u'',
    'gender': u'M',
    'images': [   u'http://media.topman.com/wcsstore/TopMan/images/catalog/83D21DWHT_large.jpg',
                  u'http://media.topman.com/wcsstore/TopMan/images/catalog/83D21DWHT_2_large.jpg',
                  u'http://media.topman.com/wcsstore/TopMan/images/catalog/83D21DWHT_3_large.jpg',
                  u'http://media.topman.com/wcsstore/TopMan/images/catalog/83D21DWHT_4_large.jpg'],
    'last_scraped': datetime.datetime(2014, 11, 1, 7, 13, 28, 943000),
    'merchant_id': 2479L,
    'merchant_uri': u'http://www.topman.com/en/tmuk/product/white-oxford-short-sleeve-shirt-157702?geoip=noredirect',
    'name': u'White Oxford Short Sleeve Shirt',
    'price': 26.0,
    'sizes': [u'XXS', u'XS', u'S', u'M', u'L', u'XL', u'XXL']}

Answer 1

您可以使用 scikit-learn，但您需要预处理数据。决策树的其他实现可以直接处理分类数据，但这并不能解决您的问题。您仍然需要预处理数据。

首先，我会省略图像，因为使用它们有点复杂。对于所有其他变量，您需要以适合机器学习的方式对其进行编码。例如，可用大小可以编码为 0 或 1，具体取决于给定大小是否可用。如果颜色来自一组固定的字符串，则可以将它们编码为分类。如果这是一个自由文本字段，那么使用分类可能不太好(例如人们可能使用灰色和灰色，这将是两个完全不相关的值，或者有拼写错误等)

每个产品的描述和名称可能都是唯一的，因此使用分类变量没有意义，因为每个产品只会被看到一次。对于这些，最好使用词袋方法对它们进行编码。

您可以在 tutorials section of the scikit-learn documentation 中找到有关文本分类的教程。 。您可能还想看看其他教程。

最后，我建议从线性分类器开始，例如朴素贝叶斯或 LinearSVC。如果您想提取实际规则，单树最有用，并且很少用于文本处理(通常有数万或数十万个特征/单词，因此提取有意义的规则很困难)。如果您想使用基于树的方法，那么使用随机森林或梯度提升等集成很可能会产生更好的结果。