python - 如何导入预定义的决策树并将其用于分类

Question

长话短说

作为输入，我有一个包含简单决策树文本表示的文件:

Region in [ "someregion" ]
    Revenue <= 1020.30
        group in [ "audio" ] => 123.456
        group in [ "disc" ] => 123.456
            volume <= 1 => 734.25
...

程序应该将其作为分类器导入并能够预测对象的值。换句话说，对于如下对象:

{"Region": "someregion", "Revenue": 100, "group": "disc", "volume": 0.5}

预测将为 734.25。

我可以使用哪些现有的决策树实现来创建分类器？ SciKit 树几乎就是这样，但我没有找到一种方法来构建自定义的预定义树而不是适合数据集。

我的尝试

现在我实现了一个简单的树解析器:

import re

def parse_condition(row):
    # try with leaf regex
    condition = re.search(
        r'^(?P<field>.*?) (?P<statement>.*?) (?P<value>.*?)(?: => )(?P<target>\d*\.\d*)',
        row
    ) or re.search(
        r'^(?P<field>.*?) (?P<statement>.*?) (?P<value>.*?)',
        row)
    return condition.groupdict()

f = open('tree.txt', 'r')

for row in f.readlines():
    level = len(re.search(r'^(\t*)', row).group(0))
    row = row.strip()
    condition = parse_condition(row)
    el = (level, condition)
    print(el)

提取节点级别、条件和目标值。

(0, {'field': 'Region', 'statement': 'in', 'value': ''})
(1, {'field': 'Revenue', 'statement': '<=', 'value': ''})
(2, {'field': 'group', 'statement': 'in', 'value': '[ "audio" ]', 'target': '123.456'})
(2, {'field': 'group', 'statement': 'in', 'value': '[ "disc" ]', 'target': '123.456'})
(3, {'field': 'volume', 'statement': '<=', 'value': '1', 'target': '734.25'})

虽然我可以从头开始开发自定义决策树和条件解析器，但这似乎是在重新发明轮子。

Answer 1

它存在一个名为 PMML, Predictive Model Markup Language 的格式.您可以以这种格式存储决策树，以避免重新发明轮子。

例如，knime software能够处理这种格式 Example for Learning a Decision Tree . PMML 决策树看起来像 this example :

<?xml version="1.0" encoding="UTF-8"?>
<PMML version="4.1" xmlns="http://www.dmg.org/PMML-4_1">
  <Header copyright="dani">
    <Application name="KNIME" version="2.7.2"/>
  </Header>
  <DataDictionary numberOfFields="7">
    <DataField name="nom_nivell" optype="categorical" dataType="string">
      <Value value="ESO"/>
      ...
      <Value value="CFGM Infor"/>
    </DataField>
    <DataField name="hora_inici" optype="categorical" dataType="string">
      <Value value="09:15:00"/>
      ...
      <Value value="13:45:00"/>
    </DataField>
    ...
  </DataDictionary>
  <TreeModel modelName="DecisionTree" functionName="classification" splitCharacteristic="multiSplit" missingValueStrategy="lastPrediction" noTrueChildStrategy="returnNullPrediction">
    <MiningSchema>
      <MiningField name="nom_nivell" invalidValueTreatment="asIs"/>
      <MiningField name="hora_inici" invalidValueTreatment="asIs"/>
      <MiningField name="assistenciaMateixaHora1WeekBefore" invalidValueTreatment="asIs"/>
      <MiningField name="assistencia" invalidValueTreatment="asIs" usageType="predicted"/>
    </MiningSchema>
    <Node id="0" score="Present" recordCount="244770.0">
      <True/>
      <ScoreDistribution value="Present" recordCount="211657.0"/>
      <ScoreDistribution value="Absent" recordCount="24925.0"/>
          ...

在 Knime 上它看起来像这样:

然后，从 PMML 中计算结果的简单方法是使用树遍历。我张贴在 my githup repo lightpmmlpredictor一个实用程序来做到这一点。核心很简单，同时使用 lxml 中的 etree 遍历节点:

while True:

    try:        

        fill = next( e for e in Node 
                     if etree.QName(e).localname == 'Node' and
                        unicode(values[ e[0].get('field') ]) == e[0].get('value') )

        try:
            Node = fill
            predict = Node.get("score")
            n_tot = Node.get("recordCount")
            n_predict = max(  x.get( 'recordCount' ) 
                              for x in Node 
                              if etree.QName(x).localname == 'ScoreDistribution'   
                                 and x.get('value') == predict )
        except IndexError:
            break

        try:
            pct = float(n_predict) / float(n_tot)
        except:
            pct = 0.5
    except StopIteration:
        break

可以自由地贡献或 fork 我的代码库。