- mongodb - 在 MongoDB mapreduce 中,如何展平值对象?
- javascript - 对象传播与 Object.assign
- html - 输入类型 ="submit"Vs 按钮标签它们可以互换吗?
- sql - 使用 MongoDB 而不是 MS SQL Server 的优缺点
假设您需要创建一个仅使用预定义的 tensorflow 构建块无法实现的激活函数,您能做什么?
所以在 Tensorflow 中可以制作自己的激活函数。但它相当复杂,你必须用C++编写它并重新编译整个tensorflow [1] [2] .
有没有更简单的方法?
最佳答案
就在这里!
信用:
很难找到信息并使其正常工作,但这里是从找到的原理和代码中复制的示例 here和 here .
要求:
在我们开始之前,有两个要求才能成功。首先,您需要能够将激活编写为 numpy 数组上的函数。其次,您必须能够将该函数的导数编写为 Tensorflow 中的函数(更简单),或者在最坏的情况下编写为 numpy 数组上的函数。
写入激活函数:
所以让我们以这个函数为例,我们想要使用激活函数:
def spiky(x):
r = x % 1
if r <= 0.5:
return r
else:
return 0
其外观如下:
import numpy as np
np_spiky = np.vectorize(spiky)
现在我们应该写出它的导数。
def d_spiky(x):
r = x % 1
if r <= 0.5:
return 1
else:
return 0
np_d_spiky = np.vectorize(d_spiky)
现在是用它制作 TensorFlow 函数的困难部分。
tf.py_func(func, inp, Tout, stateful=stateful, name=name)
[doc]它将任何 numpy 函数转换为 tensorflow 函数,因此我们可以使用它:
import tensorflow as tf
from tensorflow.python.framework import ops
np_d_spiky_32 = lambda x: np_d_spiky(x).astype(np.float32)
def tf_d_spiky(x,name=None):
with tf.name_scope(name, "d_spiky", [x]) as name:
y = tf.py_func(np_d_spiky_32,
[x],
[tf.float32],
name=name,
stateful=False)
return y[0]
tf.py_func
作用于张量列表(并返回张量列表),这就是为什么我们有
[x]
(并返回
y[0]
)。
stateful
选项是告诉 tensorflow 函数是否总是为相同的输入提供相同的输出(stateful = False),在这种情况下,tensorflow 可以简单地绘制 tensorflow 图,这就是我们的情况,并且在大多数情况下可能都是这种情况。此时需要注意的一件事是 numpy 使用了
float64
但 tensorflow 使用
float32
所以你需要转换你的函数来使用
float32
在您将其转换为 tensorflow 函数之前,否则 tensorflow 会提示。这就是为什么我们需要制作
np_d_spiky_32
第一的。
tf_d_spiky
这是
np_d_spiky
的 tensorflow 版本,如果我们愿意,我们不能将其用作激活函数,因为 tensorflow 不知道如何计算该函数的梯度。
tf.RegisterGradient
来定义函数的梯度。
[doc]和
tf.Graph.gradient_override_map
[doc] .从
harpone 复制代码我们可以修改
tf.py_func
函数使其同时定义梯度:
def py_func(func, inp, Tout, stateful=True, name=None, grad=None):
# Need to generate a unique name to avoid duplicates:
rnd_name = 'PyFuncGrad' + str(np.random.randint(0, 1E+8))
tf.RegisterGradient(rnd_name)(grad) # see _MySquareGrad for grad example
g = tf.get_default_graph()
with g.gradient_override_map({"PyFunc": rnd_name}):
return tf.py_func(func, inp, Tout, stateful=stateful, name=name)
现在我们差不多完成了,唯一的事情是我们需要传递给上面的py_func函数的grad函数需要采取特殊的形式。它需要接受一个操作,以及操作前的先前梯度,并在操作后向后传播梯度。
def spikygrad(op, grad):
x = op.inputs[0]
n_gr = tf_d_spiky(x)
return grad * n_gr
激活函数只有一个输入,这就是为什么
x = op.inputs[0]
.如果操作有很多输入,我们需要返回一个元组,每个输入一个梯度。例如,如果操作是
a-b
关于
a
的梯度是
+1
和关于
b
是
-1
所以我们会有
return +1*grad,-1*grad
.请注意,我们需要返回输入的 tensorflow 函数,这就是为什么需要
tf_d_spiky
,
np_d_spiky
不会起作用,因为它不能作用于 tensorflow 张量。或者,我们可以使用 tensorflow 函数编写导数:
def spikygrad2(op, grad):
x = op.inputs[0]
r = tf.mod(x,1)
n_gr = tf.to_float(tf.less_equal(r, 0.5))
return grad * n_gr
将它们组合在一起:现在我们有了所有的部分,我们可以将它们组合在一起:
np_spiky_32 = lambda x: np_spiky(x).astype(np.float32)
def tf_spiky(x, name=None):
with tf.name_scope(name, "spiky", [x]) as name:
y = py_func(np_spiky_32,
[x],
[tf.float32],
name=name,
grad=spikygrad) # <-- here's the call to the gradient
return y[0]
现在我们完成了。我们可以测试它。
with tf.Session() as sess:
x = tf.constant([0.2,0.7,1.2,1.7])
y = tf_spiky(x)
tf.initialize_all_variables().run()
print(x.eval(), y.eval(), tf.gradients(y, [x])[0].eval())
[ 0.2 0.69999999 1.20000005 1.70000005] [ 0.2 0. 0.20000005 0.] [ 1. 0. 1. 0.]
关于python - 如何在 Tensorflow 中仅使用 Python 制作自定义激活函数?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39921607/
好的,所以我编辑了以下... 只需将以下内容放入我的 custom.css #rt-utility .rt-block {CODE HERE} 但是当我尝试改变... 与 #rt-sideslid
在表格 View 中,我有一个自定义单元格(在界面生成器中高度为 500)。在该单元格中,我有一个 Collection View ,我按 (10,10,10,10) 固定到边缘。但是在 tablev
对于我的无能,我很抱歉,但总的来说,我对 Cocoa、Swift 和面向对象编程还很陌生。我的主要来源是《Cocoa Programming for OS X》(第 5 版),以及 Apple 的充满
我正在使用 meta-tegra 为我的 NVIDIA Jetson Nano 构建自定义图像。我需要 PyTorch,但没有它的配方。我在设备上构建了 PyTorch,并将其打包到设备上的轮子中。现
在 jquery 中使用 $.POST 和 $.GET 时,有没有办法将自定义变量添加到 URL 并发送它们?我尝试了以下方法: $.ajax({type:"POST", url:"file.php?
Traefik 已经默认实现了很多中间件,可以满足大部分我们日常的需求,但是在实际工作中,用户仍然还是有自定义中间件的需求,为解决这个问题,官方推出了一个 Traefik Pilot[1] 的功
我想让我的 CustomTextInputLayout 将 Widget.MaterialComponents.TextInputLayout.OutlinedBox 作为默认样式,无需在 XML 中
我在 ~/.emacs 中有以下自定义函数: (defun xi-rgrep (term) (grep-compute-defaults) (interactive "sSearch Te
我有下表: 考虑到每个月的权重,我的目标是在 5 个月内分散 10,000 个单位。与 10,000 相邻的行是我最好的尝试(我在这上面花了几个小时)。黄色是我所追求的。 我试图用来计算的逻辑如下:计
我的表单中有一个字段,它是文件类型。当用户点击保存图标时,我想自然地将文件上传到服务器并将文件名保存在数据库中。我尝试通过回显文件名来测试它,但它似乎不起作用。另外,如何将文件名添加到数据库中?是在模
我有一个 python 脚本来发送电子邮件,它工作得很好,但问题是当我检查我的电子邮件收件箱时。 我希望该用户名是自定义用户名,而不是整个电子邮件地址。 最佳答案 发件人地址应该使用的格式是: You
我想减小 ggcorrplot 中标记的大小,并减少文本和绘图之间的空间。 library(ggcorrplot) data(mtcars) corr <- round(cor(mtcars), 1)
GTK+ noob 问题在这里: 是否可以自定义 GtkFileChooserButton 或 GtkFileChooserDialog 以删除“位置”部分(左侧)和顶部的“位置”输入框? 我实际上要
我正在尝试在主页上使用 ajax 在 magento 中使用 ajax 显示流行的产品列表,我可以为 5 或“N”个产品执行此操作,但我想要的是将分页工具栏与结果集一起添加. 这是我添加的以显示流行产
我正在尝试使用 PasswordResetForm 内置函数。 由于我想要自定义表单字段,因此我编写了自己的表单: class FpasswordForm(PasswordResetForm):
据我了解,新的 Angular 7 提供了拖放功能。我搜索了有关 DnD 的 Tree 组件,但没有找到与树相关的内容。 我在 Stackblitz 上找到的一个工作示例.对比drag'ndrop功能
我必须开发一个自定义选项卡控件并决定使用 WPF/XAML 创建它,因为我无论如何都打算学习它。完成后应该是这样的: 到目前为止,我取得了很好的进展,但还有两个问题: 只有第一个/最后一个标签项应该有
我要定制xtable用于导出到 LaTeX。我知道有些问题是关于 xtable在这里,但我找不到我要找的具体东西。 以下是我的表的外观示例: my.table <- data.frame(Specif
用ejs在这里显示日期 它给我结果 Tue Feb 02 2016 16:02:24 GMT+0530 (IST) 但是我需要表现为 19th January, 2016 如何在ejs中执行此操作?
我想问在 JavaFX 中使用自定义对象制作 ListView 的最佳方法,我想要一个每个项目如下所示的列表: 我搜了一下,发现大部分人都是用细胞工厂的方法来做的。有没有其他办法?例如使用客户 fxm
我是一名优秀的程序员,十分优秀!