- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在努力寻找适合我的数据集的学习算法。
我正在处理一个典型的回归问题。数据集中有 6 个我关心的特征。我的数据集中大约有 800 个数据点。这些特征和预测值具有很高的非线性相关性,因此这些特征并非无用(据我所知)。预测值具有双峰分布,因此我很快就忽略了线性模型。
所以我尝试了 5 种不同的模型:随机森林、额外树、AdaBoost、梯度提升和 xgb 回归器。训练数据集返回准确率,测试数据返回11%-14%。这两个数字都吓到我了哈哈我尝试调整随机森林的参数,但似乎没有什么特别能产生显着差异。
def hyperparatuning(model, train_features, train_labels, param_grid = {}):
grid_search = GridSearchCV(estimator = model, param_grid = param_grid, cv = 3, n_jobs = -1, verbose =2)
grid_search.fit(train_features, train_labels)
print(grid_search.best_params_)
return grid_search.best_estimator_`
def evaluate(model, test_features, test_labels):
predictions = model.predict(test_features)
errors = abs(predictions - test_labels)
mape = 100*np.mean(errors/test_labels)
accuracy = 100 - mape
print('Model Perfomance')
print('Average Error: {:0.4f} degress. '.format(np.mean(errors)))
print('Accuracy = {:0.2f}%. '.format(accuracy))
我预计输出至少是可以接受的,但我得到的训练数据为 64%,测试数据为 12-14%。看到这个数字真的很恐怖!
最佳答案
您的问题有几个问题。
对于初学者来说,您试图在看似回归的问题中使用准确性,这是毫无意义的。
虽然您没有提供确切的模型(这可以说是一个好主意),但评估函数中的这一行
errors = abs(predictions - test_labels)
实际上是 mean absolute error 的基础(MAE - 虽然你实际上应该理解它的意思,顾名思义)。 MAE 与 MAPE 一样,确实是回归问题的性能指标;但你接下来使用的公式
accuracy = 100 - mape
实际上并不成立,也没有在实践中使用。
确实,凭直觉,人们可能想要获得 1-MAPE
数量;但这并不是一个好主意,因为MAPE本身有很多缺点,严重限制了它的使用;这是 Wikipedia 的部分列表:
- It cannot be used if there are zero values (which sometimes happens for example in demand data) because there would be a division by zero.
- For forecasts which are too low the percentage error cannot exceed 100%, but for forecasts which are too high there is no upper limit to the percentage error.
关于python - 5 个不同模型的训练准确率 (~64%) 和测试准确率 (~14%) 较低,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57042077/
我训练了 LSTM 分类模型,但得到了奇怪的结果(0 准确率)。这是我的带有预处理步骤的数据集: import pandas as pd from sklearn.model_selection im
使用 TFlearn 构建 DNN 后,我想计算网络的准确性。 这是代码: def create_model(self): x = tf.placeholder(dtype= tf.float
Duplicate calculating Precision, Recall and F Score 我有一个带有文本描述和分类级别(即levelA和levelB)的输入文件。我想编写一个 SVM
如何计算语义分割中前 k 个准确率?在分类中,我们可以将 topk 准确率计算为: correct = output.eq(gt.view(1, -1).expand_as(output)) 最佳答案
我正在尝试解决多标签分类问题 from sklearn.preprocessing import MultiLabelBinarizer traindf = pickl
我是一名优秀的程序员,十分优秀!