machine-learning - 预测分析-“为什么”因素和模型的可解释性

Question

我有包含大量x变量的数据，这些变量主要是分类/标称的，而我的目标变量是多类标签。我能够建立几个模型来预测多类变量并比较每个变量的执行情况。我有训练和测试数据。培训和测试数据都给了我很好的结果。

现在，我试图找出模型“为什么”预测了某些Y变量？表示是否有天气数据：X变量：城市，州，邮政编码，温度，年份； Y变量：雨，太阳，阴天，雪。我想找出模型预测的“原因”：分别是降雨，阳光，多云或下雪。我使用了多名词，决策树等分类算法

这可能是一个广泛的问题，但是我需要一个可以开始研究的地方。我可以预测“什么”，但看不到“为什么”被预测为雨，日，多云或下雪标签。基本上，我试图找到导致预测变量的变量之间的链接。

到目前为止，我考虑过使用相关矩阵，主成分分析（在模型构建过程中发生）...至少是要查看哪些是好的预测变量，而哪些不是。有没有办法找出“为什么”因素？

谢谢一群！

Answer 1

模型的可解释性是当前研究的一个活跃而又热闹的领域（认为是圣杯之类的东西），最近提出来的原因不仅仅在于深度学习模型在各种任务中的（通常是巨大的）成功，还有算法公平性和责任制的必要性...

除了深入的理论研究之外，最近还有一些实用的工具箱和库，既用于神经网络，也用于其他通用ML模型。以下是部分清单，可以说应该让您忙一段时间：


Google的What-If工具是开源TensorBoard Web应用程序的一项全新功能（2018年9月），使用户无需编写代码即可分析ML模型（project page，blog post）
神经网络（paper，project page，code，TF Slim wrapper）的逐层相关性传播（LRP）工具箱
FairML：Cloudera Fast Forward Labs（blog post，paper，code）审核黑匣子预测模型
LIME：不可解释的本地模型解释（paper，code，blog post，R port）
Black Box Auditing和Certifying and Removing Disparate Impact（作者的Python code）
Geoff Hinton（Distilling a Neural Network Into a Soft Decision Tree）最近（2017年11月）的论文，其中有独立的PyTorch implementation
SHAP：解释模型预测的统一方法（paper，作者的Python code，R package）
可解释的卷积神经网络（paper，作者的code）
Lucid，一组用于研究神经网络可解释性的基础架构和工具（code；论文：Feature Visualization，The Building Blocks of Interpretability）
设计透明（TbD）网络（paper，code，demo）
SVCCA：用于深度学习动力学和可解释性的奇异矢量规范相关性分析（paper，code，Google blog post）
TCAV：使用概念激活向量（ICML 2018 paper，Tensorflow code）进行测试
Grad-CAM：深度网络通过基于梯度的本地化（paper，作者的Torch code，Tensorflow code，PyTorch code，Keras example notebook）的视觉解释
网络解剖：MIT CSAIL（project page，Caffe code，PyTorch port）量化深度视觉表示的可解释性
GAN解剖：MIT CSAIL撰写的《可视化和理解生成的对抗网络》（project page，带有论文和代码的链接）
解释修复：解释和更正DNN对象检测器预测（paper，code）的框架
Microsoft的InterpretML（code仍为alpha）
锚点：与模型无关的高精度解释（paper，code）
Microsoft（paper，code，blog post）的各种反事实说明（DiCE）


最后，随着可解释性逐渐成为主流，已经有框架和工具箱结合了以上提到和链接的一种以上算法和技术。这是Python内容的（再次，部分）列表：


tf-explain-可解释性方法，如Tensorflow 2.0回调（code，docs，blog post）
溜冰者，由Oracle（code，docs）
Alibi，由SeldonIO（code，docs）
AI Explainability 360，由IBM（code，blog post）


也可以看看：


Interpretable Machine Learning，Christoph Molnar的在线Gitbook，提供R code
Twitter thread，链接到R可用的几种解释工具。
Kaggle，Machine Learning Explainability和随附的blog post的短期（4小时）在线课程
...以及Awesome Machine Learning Interpetability存储库中的大量资源