algorithm - 从函数自动构建决策树

Question

(抱歉，如果这个问题感觉有点头脑 Storm )

我有一个函数 F带有参数 a_1, a_2...和 b输出 x .该函数也由一系列 p_1, p_2... 定义。在我工作期间可能会改变的参数。

F(a_1, a_2... , b) = x

给定a_1, a_2...我想构建一个决策树算法，找到最小化 x 的 b对于函数 F .我想自动化此决策树构建器以适应 F 的变化(通过 p_1, p_2... )。

自动化过程非常重要，因为在实践中 a_x可以是任何东西(整数、连续数、离散参数)和 F是高度非线性的。

我的一个直觉想法是构建假样本并在数据集上学习决策树，这将为我提供所需的决策树。但是，这似乎过于复杂，因为我可以访问生成此问题的函数。

如果有人有任何想法或指出任何可以帮助我解决问题的方向，我将不胜感激。

编辑:

我正在改变我的问题范围:

假设您从最初的问题得到了函数 F'哪些 map a_1, a_2...至 b ( b 是离散的)。会不会有一种算法试图“简化”F'通过带有 a_1, a_2... 的决策树作为节点。

例如决策树会说 if a_2 = "type2" and a_1 < 6 -> 3等。我不是在寻找精确的划分，一个合适的估计就足够了。

我正在考虑使用 ML 算法构建决策树，使用 F' 的蒙特卡洛模拟生成的假样本.这有意义吗？

Answer 1

如果您想要 F' 的快速和贪婪近似，您的想法是有道理的，但您应该注意正确实现它:

1) 当您声明您的变量可能是分类变量和数值变量时，您应该考虑对变量进行分箱的方式。对于高度非线性函数，广泛接受的线性装箱不会是 optimal .

2) 由于决策树难以处理相关变量，一些预处理可能有助于提升问题。尝试从 PCA 开始。

至于使用真实数据还是从原始函数生成它，我认为应该没有显着差异。如果您发现在某些“区域”中您的数据代表性不足，您可能想要在这里和那里增加初始训练数据集。