- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我试图弄清楚为什么 TensorFlow 正在做一些令人惊讶的事情。我将其归结为一个测试用例,尝试对一个简单的问题进行线性回归,该问题只需将两个输入加在一起。权重收敛到 1.0,偏差收敛到 0.0,正如它们应该的那样。
使用此版本的训练输出:
train_y = [2., 3., 4.]
成本收敛到 0.0,这是应该的,但在这个版本中:
train_y = [[2.], [3.], [4.]]
成本收敛到4.0。如果第二个版本给出错误消息,我不会感到惊讶;令人惊讶的是,它默默地给出了错误的答案。为什么要这样做?
测试用例的完整代码:
import tensorflow as tf
sess = tf.InteractiveSession()
tf.set_random_seed(1)
# Parameters
epochs = 10000
learning_rate = 0.01
# Data
train_x = [[1., 1.], [1., 2.], [2., 2.]]
# It works with this version
train_y = [2., 3., 4.]
# But converges on cost 4.0 with this version
#train_y = [[2.], [3.], [4.]]
# Number of samples
n_samples = len(train_x)
# Inputs and outputs
x = tf.placeholder(tf.float32, name='x')
y = tf.placeholder(tf.float32, name='y')
# Weights
w = tf.Variable(tf.random_normal([2]), name='weight')
b = tf.Variable(tf.random_normal([]), name='bias')
# Model
pred = tf.tensordot(x, w, 1) + b
cost = tf.reduce_sum((pred-y)**2 / n_samples)
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost)
# Train
tf.global_variables_initializer().run()
for epoch in range(epochs):
# Print update at successive doublings of time
if epoch&(epoch-1)==0 or epoch==epochs-1:
print('{:6}'.format(epoch), end=' ')
print('{:12.6f}'.format(cost.eval({x: train_x, y: train_y})), end=' ')
print(' ['+', '.join('{:8.6f}'.format(z) for z in w.eval())+']', end=' ')
print('{:12.6f}'.format(b.eval()))
for (x1, y1) in zip(train_x, train_y):
optimizer.run({x: x1, y: y1})
最佳答案
问题是当您输入不同形状的张量时的成本函数计算。更具体地说,它是 pred - y
计算。
为了向您展示这个特定示例中出了什么问题,同时避免困惑,我将使用具有与上面提到的相同形状和值的常量:
y0 = tf.constant([2., 3., 4.])
y1 = tf.constant([[2.], [3.], [4.]])
pred = tf.constant([2., 3., 4.])
现在,让我们看看表达式 pred - y0
和 pred - y1
的形状:
res0 = pred - y0
res1 = pred - y1
print(res0.shape)
print(res1.shape)
输出为:
(3,)
(3, 3)
(3, 3)
显示在计算形状 (3,)
和 (3 的
,我们进行了广播来塑造 pred - y1
时, 1)(3, 3)
。 这也意味着 tf.reduce_sum()
调用对 3x3 = 9 个元素求和,而不仅仅是 3 个。
您可以通过使用 tf.transpose()
将 y1
转置为 (1, 3)
来解决此问题:
res1_fixed = pred - tf.transpose(y1)
print(res1_fixed.shape)
现在的输出是:
(1, 3)
现在,回到您的代码...只需更改以下表达式:
cost = tf.reduce_sum((pred-y)**2 / n_samples)
致:
cost = tf.reduce_sum((pred-tf.transpose(y))**2 / n_samples)
在这两种情况下,您都会按照预期收敛到零。
关于tensorflow - 稍微不同的形状会收敛到错误的数字 - 为什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47417671/
我是 TensorFlow 菜鸟。我已经从 deeppose 的开源实现中训练了一个 TensorFlow 模型,现在必须针对一组新图像运行该模型。 该模型是在大小为 100 * 100 的图像上训练
我正在尝试以这种方式设置节点的大小: controller[shape=circle,width=.5,label="Controller",style=filled,fillcolor="#8EC1
是否有 VBA 代码可以在选择的每个单元格周围添加文本框。文本框应该是单元格的大小(类似于边框)? 最佳答案 您可以使用 .AddTextbox方法。循环遍历您选择的单元格,并使用单元格的尺寸属性来设
我有一个变量 a尺寸 (1, 5) 我想“平铺”的次数与我的小批量的大小一样多。例如,如果小批量大小为 32,那么我想构造一个张量 c维度为 (32, 5),其中每一行的值与原始 (1, 5) 变量
我在使用 javaFX 时遇到问题。我想每 1000 毫秒在应用程序窗口中显示一次时间。 public class Main extends Application { StackPane root
所以我目前正在创建这个 API。这个登录类应该只创建一个场景,其中包含制作 GUI 所需的所有框。我遇到的问题是,单击时我的形状不会执行任何操作。我有事件监听器,但它不起作用。 import
我正在用 python turtle 画一些东西,我使用了形状函数,但是形状 overdraw 了它们之前的其他形状(我可以看到形状在移动),并且我只得到了最后一个形状: `up() goto(-20
我正在读取多个 .csv 文件作为具有相同形状的 panda DataFrame。对于某些索引,某些值为零,因此我想选择具有相同形状的每个索引的值,并为相同的索引放置零值并删除零以成为相同的形状: a
我有一个简单的二维网格,格式为 myGrid[x,y] 我正在尝试找到一种方法来找到围绕选定网格的周长,这样我就有了一个可供选择的形状。 这是我的意思的一个例子: 这里的想法是找到所有相关的“角”,也
我有一个网络层,用于调用多个端点。我想减少重复代码的数量,并认为也许我可以将响应模型作为端点的一部分传递。 这个想法是不需要多个仅因响应而不同的函数,我可以调用我的网络层并根据路径进行设置。 我看到的
我正在创建一个自定义 ImageView,它将我的图像裁剪成六边形并添加边框。我想知道我的方法是否正确,或者我是否以错误的方式这样做。有很多自定义库已经在执行此操作,但开箱即用的库中没有一个具有我正在
我正在编写一些代码,这些代码需要识别一些基于节点云的相当基本的几何图形。我会对检测感兴趣: 板(简单有界平面) 圆柱体(两个节点循环) 半圆柱(圆弧+直线+圆弧+直线) 圆顶(n*loop+top n
我有这个形状: http://screencast.com/t/9UUhAXT5Wu 但边界在截止点处没有跟随它 - 我该如何解决? 这是我当前 View 的代码: self.view.backgro
我现在脑震荡,所以我想问一个非常简单的问题。 目前,我正在尝试打印出这样的开头 当输入为 7 时,输出为 * ** * ** * ** * 这里是我的代码,它打印 14 次而不是 7 次,或者当我输入
我想生成如下设计。计划选项卡顶部的"new"。我使用的属性适用于 chrome 和 mozilla,但在 Edge 中出现故障。 以下是我在 chrome 中应用的样式: a.subnav__item
我想要一个带有两种颜色边框轮廓的 shape 元素。我可以使用 solid 元素做一个单一的颜色轮廓,但这只允许我画一条线。我尝试在我的形状中使用两个 stroke 元素,但这也不起作用。 有没有办法
我需要为屏幕上的形状着色任何我想要的颜色。我目前正在尝试使用 UIImage 来执行此操作,我想根据自己的需要重新着色。据我所知,执行此操作的唯一方法是获取 UIImage 的各个像素,这需要更多我想
因此,经过多年的 OOP,我从我的一门大学类(class)中得到了一个非常简单的家庭作业,以实现一个简单的面向对象的结构。 要求的设计: 实现面向对象的解决方案以创建以下形状: 椭圆、圆形、正方形、矩
关闭。这个问题需要更多focused .它目前不接受答案。 想改进这个问题吗? 更新问题,使其只关注一个问题 editing this post . 关闭 5 年前。 Improve this qu
我想知道是否可以使用类似于以下的 div 制作复杂的形状: 它基本上是一个四 Angular 向内收缩的圆 Angular 正方形。目标是使用背景图像来填充它。我可以使用具有以下 SVG 路径的剪辑蒙
我是一名优秀的程序员,十分优秀!