machine-learning - 非正统地使用深度学习来寻找隐藏的模式

Question

如果您对我在一项分析中应用的策略提出评论/帮助，我将不胜感激。简而言之，我的情况是:

1) My data have biological origin, collected in a period of 120s, from a
 subject receiving, each time, one of possible three stimuli (response label 1
 to 3), in a random manner, one stimulus per second (trial). Sampling 
 frequency is 256 Hz and 61 different sensors (input variables). So, my 
 dataset has 120x256 rows and 62 columns (1 response label + 61 input 
 variables);
2) My goal is to identify if there is an underlying pattern for each stimulus.
 For that, I would like to use deep learning neural networks to test my
 hypothesis, but not in a conventional way (to predict the stimulus from a
 single observation/row).
3) My approach is to divide the whole dataset, after shuffling per row
 (avoiding any time bias), in training and validation sets (50/50) and then to
 run the deep learning algorithm. The division does not segregate trial events
 (120), so each training/validation sets should contain data (rows) from the
 same trial (but never the same row). If there is a dominant pattern per
 stimulus, the validation confusion matrix error should be low. If there is a
 dominant pattern per trial, the validation confusion matrix error should be
 high. So, the validation confusion matrix error is my indicator of the
 presence of a hidden pattern per stimulus;

如果您能就我的逻辑的有效性向我提供任何意见，我将不胜感激。我想强调的是，我并不是试图根据行输入来预测刺激。

谢谢。

Answer 1

是的，您可以使用交叉验证集中的分类性能来证明每个类的示例中存在模式或关系。如果在一个单独的、前所未见的测试集中发现类似的性能，那么这个论点将会更有力。

如果深度神经网络、SVM 或任何其他分类器能够比偶然更好地进行分类，则意味着:

1. 训练集样本中存在关于每个预测类别的信息(模式)
2. 并且该模式可以被分类器学习
3. 并且该信息并非特定于训练集(无过度学习)

因此，如果分类性能超过机会，则上述 3 个条件成立。如果不是，则一个或多个条件可能为假。训练变量可能不包含任何有助于预测类别的信息。或者选择了预测变量，但它们与类之间的关系太复杂，分类器无法学习。或者分类器过度学习，CV 集性能处于偶然水平或更差。

这里有一篇论文(开放获取)使用类似的逻辑来论证 fMRI 事件包含有关人们正在查看的图像的信息:

Natural Scene Categories Revealed in Distributed Patterns of Activity in the Human Brain

注意:根据所使用的分类器(尤其是 DNN，但决策树的情况较少)，这只会告诉您是否存在某种模式，而不会告诉您该模式是什么。