- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
我想用 python 编写一个 TensorFlow op,但我希望它是可微的(以便能够计算梯度)。
这个问题问如何用python写一个op,答案建议使用py_func(没有梯度):Tensorflow: Writing an Op in Python
TF 文档描述了如何仅从 C++ 代码开始添加操作:https://www.tensorflow.org/versions/r0.10/how_tos/adding_an_op/index.html
在我的例子中,我正在制作原型(prototype),所以我不关心它是否在 GPU 上运行,我也不关心它是否可以从 TF python API 以外的任何地方使用。
最佳答案
是的,正如@Yaroslav 的回答中提到的,这是可能的,关键是他引用的链接:here和 here .我想通过举一个具体的例子来详细说明这个答案。
模运算:让我们在tensorflow中实现逐元素模运算(它已经存在但是它的梯度没有定义,但是对于这个例子我们将从头开始实现它)。
Numpy 函数:第一步是定义我们想要的 numpy 数组操作。元素方面的模运算已经在 numpy 中实现,因此很容易:
import numpy as np
def np_mod(x,y):
return (x % y).astype(np.float32)
.astype(np.float32)
的原因是因为默认情况下 tensorflow 采用 float32 类型,如果你给它 float64(numpy 默认值)它会提示。
梯度函数:接下来我们需要为我们的运算定义梯度函数,将运算的每个输入定义为 tensorflow 函数。该功能需要采用非常具体的形式。它需要采用操作 op
的 tensorflow 表示和输出 grad
的梯度,并说明如何传播梯度。在我们的例子中,mod
操作的梯度很简单,关于第一个参数的导数是 1 并且 关于第二个(几乎无处不在,并且在有限数量的点上是无限的,但让我们忽略它,详见 https://math.stackexchange.com/questions/1849280/derivative-of-remainder-function-wrt-denominator)。所以我们有
def modgrad(op, grad):
x = op.inputs[0] # the first argument (normally you need those to calculate the gradient, like the gradient of x^2 is 2x. )
y = op.inputs[1] # the second argument
return grad * 1, grad * tf.neg(tf.floordiv(x, y)) #the propagated gradient with respect to the first and second argument respectively
grad 函数需要返回一个 n 元组,其中 n 是操作的参数数量。请注意,我们需要返回输入的 tensorflow 函数。
制作带有渐变的 TF 函数: 正如上面提到的来源中所解释的,有一个 hack 可以使用 tf.RegisterGradient
[doc] 来定义函数的渐变。和 tf.Graph.gradient_override_map
[doc] .
从 harpone 复制代码我们可以修改tf.py_func
函数,让它同时定义梯度:
import tensorflow as tf
def py_func(func, inp, Tout, stateful=True, name=None, grad=None):
# Need to generate a unique name to avoid duplicates:
rnd_name = 'PyFuncGrad' + str(np.random.randint(0, 1E+8))
tf.RegisterGradient(rnd_name)(grad) # see _MySquareGrad for grad example
g = tf.get_default_graph()
with g.gradient_override_map({"PyFunc": rnd_name}):
return tf.py_func(func, inp, Tout, stateful=stateful, name=name)
stateful
选项是告诉 tensorflow 函数是否总是为相同的输入提供相同的输出(stateful = False),在这种情况下,tensorflow 可以简单地使用 tensorflow 图,这就是我们的情况,并将在大多数情况下可能都是这种情况。
将它们组合在一起:现在我们有了所有的部分,我们可以将它们组合在一起:
from tensorflow.python.framework import ops
def tf_mod(x,y, name=None):
with ops.op_scope([x,y], name, "mod") as name:
z = py_func(np_mod,
[x,y],
[tf.float32],
name=name,
grad=modgrad) # <-- here's the call to the gradient
return z[0]
tf.py_func
作用于张量列表(并返回张量列表),这就是为什么我们有 [x,y]
(并返回 z[0]
).现在我们完成了。我们可以对其进行测试。
测试:
with tf.Session() as sess:
x = tf.constant([0.3,0.7,1.2,1.7])
y = tf.constant([0.2,0.5,1.0,2.9])
z = tf_mod(x,y)
gr = tf.gradients(z, [x,y])
tf.initialize_all_variables().run()
print(x.eval(), y.eval(),z.eval(), gr[0].eval(), gr[1].eval())
[ 0.30000001 0.69999999 1.20000005 1.70000005] [ 0.2 0.5 1. 2.9000001] [ 0.10000001 0.19999999 0.20000005 1.70000005] [ 1. 1. 1. 1.] [ -1. -1. -1. 0.]
成功!
关于python - Tensorflow:如何在 python 中编写带有渐变的 op?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39048984/
我只想从客户端向服务器发送数组 adc_array=[w, x, y, z]。下面是客户端代码,而我的服务器是在只接受 json 的 python 中。编译代码时我没有收到任何错误,但收到 2 条警告
我是 lua 和 Node js 的新手,我正在尝试将我正在开发的移动应用程序连接到服务器。问题是它连接到服务器,但我尝试传递的数据丢失或无法到达服务器。对我正在做的事情有什么问题有什么想法吗? th
我在这个页面上工作 http://www.haskell.org/haskellwiki/99_questions/Solutions/4 我理解每个函数的含义,看到一个函数可以像这样以多种方式定义,
我目前正在尝试将数据写入 excel 以生成报告。我可以将数据写入 csv 文件,但它不会按照我想要的顺序出现在 excel 中。我需要数据在每列的最佳和最差适应性下打印,而不是全部打印在平均值下。这
所以,我正在做一个项目,现在我有一个问题,所以我想得到你的帮助:) 首先,我已经知道如何编写和读取 .txt 文件,但我想要的不仅仅是 x.hasNext()。 我想知道如何像 .ini 那样编写、读
我正在尝试编写一个函数,该函数将返回作为输入给出的任何数字的阶乘。现在,我的代码绝对是一团糟。请帮忙。 function factorialize(num) { for (var i=num, i
这个问题已经有答案了: Check variable equality against a list of values (16 个回答) 已关闭 4 年前。 有没有一种简洁或更好的方法来编写这个条件
我对 VR 完全陌生,正在 AFrame 中为一个类(class)项目开发 VR 太空射击游戏,并且想知道 AFrame 中是否有 TDD 的任何文档/标准。有人能指出我正确的方向吗? 最佳答案 几乎
我正在尝试创建一个 for 循环,它将重现以下功能代码块,但以一种更具吸引力的方式。这是与 Soundcould 小部件 API 实现一起使用的 here on stackoverflow $(doc
我有一个非常令人困惑的问题。我正在尝试更改属性文件中的属性,但它只是没有更改... 这是代码: package config; import java.io.FileNotFoundException
我对 VR 完全陌生,正在 AFrame 中为一个类(class)项目开发 VR 太空射击游戏,并且想知道 AFrame 中是否有 TDD 的任何文档/标准。有人能指出我正确的方向吗? 最佳答案 几乎
我正在开发一个用户模式(Ring3)代码级调试器。它还应支持.NET可执行文件的本机(x86)调试。基本上,我需要执行以下操作: 1).NET在隐身模式下加载某些模块,而没有LOAD_DLL_DEBU
我有一个列表,我知道有些项目是不必要打印的,我正在尝试通过 if 语句来做到这一点...但是它变得非常复杂,所以有没有什么方法可以在 if 语句中包含多个索引而无需打印重写整个声明。 看起来像这样的东
我很好奇以不同方式编写 if 语句是否会影响程序的速度和效率。所以,例如写一个这样的: bool isActive = true; bool isResponding = false; if (isA
我在搜索网站的源代码时找到了一种以另一种方式(我认为)编写 if 语句的方法。 代替: if(a)b; 或: a?b:''; 我读了: !a||b; 第三种方式和前两种方式一样吗?如果是,为什么我们要
我的数据采用以下格式(HashMap的列表) {TeamName=India, Name=Sachin, Score=170} {TeamName=India, Name=Sehwag, Score=
我目前正在完成 More JOIN operations sqlzoo 的教程,遇到了下面的代码作为#12 的答案: SELECT yr,COUNT(title) FROM movie JOIN ca
我正试图找到一种更好的方法来编写这段代码: def down_up(array, player) 7.downto(3).each do |row| 8.times do |col
出于某种原因,我的缓冲区中充满了乱码,我不确定为什么。我什至用十六进制编辑器检查了我的文件,以验证我的字符是否以 2 字节的 unicode 格式保存。我不确定出了什么问题。 [打开文件] fseek
阅读编码恐怖片时,我刚刚又遇到了 FizzBuzz。 原帖在这里:Coding Horror: Why Can't Programmers.. Program? 对于那些不知道的人:FizzBu
我是一名优秀的程序员,十分优秀!