- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
当损失函数为均方误差时,准确度如何定义?是mean absolute percentage error ?
我使用的模型具有输出激活线性,并使用 loss=mean_squared_error
model.add(Dense(1))
model.add(Activation('linear')) # number
model.compile(loss='mean_squared_error', optimizer='adam', metrics=['accuracy'])
输出如下所示:
Epoch 99/100
1000/1000 [==============================] - 687s 687ms/step - loss: 0.0463 - acc: 0.9689 - val_loss: 3.7303 - val_acc: 0.3250
Epoch 100/100
1000/1000 [==============================] - 688s 688ms/step - loss: 0.0424 - acc: 0.9740 - val_loss: 3.4221 - val_acc: 0.3701
那么,例如val_acc: 0.3250 是什么意思? Mean_squared_error 应该是标量而不是百分比 - 不应该吗? val_acc 是均方误差、平均百分比误差还是其他函数?
摘自维基百科上 MSE 的定义:https://en.wikipedia.org/wiki/Mean_squared_error
The MSE is a measure of the quality of an estimator—it is always non-negative, and values closer to zero are better.
这是否意味着 val_acc: 0.0
的值比 val_acc: 0.325
更好?
编辑:我训练时准确度指标输出的更多示例 - 随着我训练的增多,准确度会增加。而损失函数 - mse 应该减小。 mse 的准确度定义良好吗?在 Keras 中如何定义它?
lAllocator: After 14014 get requests, put_count=14032 evicted_count=1000 eviction_rate=0.0712657 and unsatisfied allocation rate=0.071714
1000/1000 [==============================] - 453s 453ms/step - loss: 17.4875 - acc: 0.1443 - val_loss: 98.0973 - val_acc: 0.0333
Epoch 2/100
1000/1000 [==============================] - 443s 443ms/step - loss: 6.6793 - acc: 0.1973 - val_loss: 11.9101 - val_acc: 0.1500
Epoch 3/100
1000/1000 [==============================] - 444s 444ms/step - loss: 6.3867 - acc: 0.1980 - val_loss: 6.8647 - val_acc: 0.1667
Epoch 4/100
1000/1000 [==============================] - 445s 445ms/step - loss: 5.4062 - acc: 0.2255 - val_loss: 5.6029 - val_acc: 0.1600
Epoch 5/100
783/1000 [======================>.......] - ETA: 1:36 - loss: 5.0148 - acc: 0.2306
最佳答案
您的问题至少有两个单独的问题。
现在从史努比博士的评论和另一个答案中应该可以清楚地看出第一个问题:在回归问题(例如您的问题)中,准确性是毫无意义的;另请参阅 patyork 在 this Keras thread 中的评论。无论好坏,事实是 Keras 不会“保护”您或任何其他用户在您的代码中放置无意义的请求,即您不会收到任何错误,甚至不会收到警告,表明您正在尝试执行某些操作没有意义,例如要求回归设置中的准确性。
澄清这一点后,另一个问题是:
既然 Keras 确实返回了一个“准确度”,即使在回归设置中,它到底是什么以及如何计算的?
为了在这里阐明一些情况,让我们恢复到公共(public)数据集(因为您没有提供有关数据的任何详细信息),即 Boston house price dataset (本地保存为housing.csv
),并运行一个简单的实验,如下所示:
import numpy as np
import pandas
import keras
from keras.models import Sequential
from keras.layers import Dense
# load dataset
dataframe = pandas.read_csv("housing.csv", delim_whitespace=True, header=None)
dataset = dataframe.values
# split into input (X) and output (Y) variables
X = dataset[:,0:13]
Y = dataset[:,13]
model = Sequential()
model.add(Dense(13, input_dim=13, kernel_initializer='normal', activation='relu'))
model.add(Dense(1, kernel_initializer='normal'))
# Compile model asking for accuracy, too:
model.compile(loss='mean_squared_error', optimizer='adam', metrics=['accuracy'])
model.fit(X, Y,
batch_size=5,
epochs=100,
verbose=1)
正如您的情况一样,模型拟合历史记录(此处未显示)显示损失不断减少,准确度大致增加。现在让我们使用适当的 Keras 内置函数来评估同一训练集中的模型性能:
score = model.evaluate(X, Y, verbose=0)
score
# [16.863721372581754, 0.013833992168483997]
score
数组的具体内容取决于我们在模型编译期间具体请求的内容;在我们的例子中,第一个元素是损失(MSE),第二个元素是“准确性”。
此时,让我们看一下 metrics.py
file 中 Keras binary_accuracy
的定义:
def binary_accuracy(y_true, y_pred):
return K.mean(K.equal(y_true, K.round(y_pred)), axis=-1)
因此,Keras 生成预测 y_pred
后,首先对它们进行舍入,然后检查其中有多少等于真实标签 y_true
,然后再进行舍入。获取平均值。
在我们的例子中,让我们使用简单的 Python 和 Numpy 代码来复制此操作,其中真正的标签是 Y
:
y_pred = model.predict(X)
l = len(Y)
acc = sum([np.round(y_pred[i])==Y[i] for i in range(l)])/l
acc
# array([0.01383399])
好吧,宾果游戏!这实际上与上面 score[1]
返回的值相同...
长话短说:由于您(错误地)在模型编译中请求 metrics=['accuracy']
,Keras 会 do its best to satisfy you ,并且确实会返回一些“准确度”,计算如上所示,尽管这在您的设置中完全没有意义。
在很多设置中,Keras 在后台执行相当无意义的操作,而不向用户提供任何提示或警告;我碰巧遇到的其中两个是:
在多类设置中,当使用 请求
- 请参阅 Keras binary_crossentropy vs categorical_crossentropy performance? 中我的答案和 Why is binary_crossentropy more accurate than categorical_crossentropy for multiclass classification in Keras? loss='binary_crossentropy'
(而不是 categorical_crossentropy
)时,会给出毫无意义的结果metrics=['accuracy']
完全禁用 Dropout,在极端情况下,当有人请求 1.0 的 dropout 率时 - 请参阅 Dropout behavior in Keras with rate=1 (dropping all input units) not as expected 中的我的答案
关于machine-learning - 当损失为均方误差 (MSE) 时,什么函数定义 Keras 中的准确性?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48775305/
在complier.h中有一个宏定义如下: # define __cond_lock(x,c) ((c) ? ({ __acquire(x); 1; }) : 0) 但是这里我有一个问题,就是哪里
curl_easy_setopt 的选项在哪里?定义?我试图寻找 CURLOPT_VERBOSE 和其他一些整数值,但这些似乎没有在 curl.h 中明确定义。 最佳答案 第 792 行: #ifde
我确实有一个如下所示的类(class): //.h file class __declspec(dllimport) MyClass { public: //stuff pri
作者: zhuwenzhuang, 2024.05.08. 阅读前假设读者熟悉数据库使用,了解 SQL 的语法和关系算子的大概含义, 能通过 EXPLAIN 命令查看数据库执行计划. 0 前言
我似乎无法找到是否可以声明一个 header 对象以便在响应 header 中重用它,有一些示例定义了响应模式的对象,但它不会转置为响应 header 。我只设法制作了一个可重用的响应对象,如下所示:
css 选择器 * + * 实际上是什么意思?当您执行检查元素时,您可以在谷歌浏览器的控制台中看到它。在我看来,这似乎是对 "Every second child"应用一种风格,但仍然想确定。谁能帮我
我试图弄清楚基本的IO Haskell 函数是定义好的,所以我使用了this reference我到了putChar函数定义: putChar :: Char -> IO () putChar
我得到了一个自动生成的文件,该文件定义了程序集属性,我正在尝试理解内容。 [assembly: global::System.Runtime.Versioning.TargetFrameworkAtt
This文档演示了如何检查变量是否先前已在 gnuplot 脚本中定义。 文档中的示例: a = 10 if (exists("a")) print "a is defined" if (!exist
好吧,这是一个相当基本的问题:我正在关注 SICP 视频,我对 define、let 和 之间的区别有点困惑设置!. 1) 根据 Sussman 在视频中的说法,define 只允许为变量附加一个值一
我一直在尝试定义一个包含只能具有以下三个值之一的字段的 XSD: 绿色 红色 蓝色 本质上,我想在架构级别定义严格的枚举。 我的第一次尝试似乎是错误的,我不确定修复它的“正确”方法。
有人可以定义“POCO”到底是什么意思吗?我越来越频繁地遇到这个术语,我想知道它是否仅与普通类有关还是意味着更多? 最佳答案 “普通旧式 C# 对象” 只是一个普通的类,没有描述基础结构问题或域对象不
在我经常看到的一些django模型中 myfield = models.CharField(_('myfield')) class_name = models.CharField(_('Type'),
每当 BOOL 数据类型不容易预定义时,我都会使用以下定义进行 boolean 运算, typedef unsigned char BOOL; (由于内存使用)。 我意识到出于性能原因,使用本地总线宽
l_ABC_BEANVector = utilRemote.fnGetVector("ABC_COVBEANVector"); 编码的含义是什么?任何帮助,我真的很感激。谢谢 最佳答案 唯一可以肯定地
我正在使用 javacc 开发一个项目,我遇到问题并需要一些帮助,我的文件中有这样的内容: STRING COPYRIGHT (C) 2003, 2004 SYNOPSYS, INC.; 我为单词 S
我想弄清楚基本的 IO定义了 Haskell 函数,所以我使用了 this reference然后我到了 putChar函数定义: putChar :: Char -> IO () putCha
我在具体类中使用 @property 定义 getter 时遇到问题。这是Python代码: from abc import ABCMeta, abstractproperty class abstr
我正在为大学用 C 语言编写一个小游戏,但我陷入了困境。我(在头文件中)有这个结构: typedef struct{ game_element field[MAX_ROWS][MAX_COLU
我一直在 .l 文件中创建标记定义。由于数据集数量庞大,它变得有点乏味。有没有办法读取文件中的所有单词,例如包含所有名词的 noun.txt 并给所有名词一个标记。 基本上,我想自动化这部分: %%
我是一名优秀的程序员,十分优秀!