gpt4 book ai didi

python - 如何在 TensorFlow 中有效地分配给张量的切片

转载 作者:行者123 更新时间:2023-12-04 11:30:47 26 4
gpt4 key购买 nike

我想在 TensorFlow 2.x 中的一个模型中为输入张量的切片分配一些值(我使用的是 2.2,但准备接受 2.1 的解决方案)。
我正在尝试做的一个非工作模板是:

import tensorflow as tf
from tensorflow.keras.models import Model

class AddToEven(Model):
def call(self, inputs):
outputs = inputs
outputs[:, ::2] += inputs[:, ::2]
return outputs

当然,在构建此( AddToEven().build(tf.TensorShape([None, None])) )时,我收到以下错误:
TypeError: 'Tensor' object does not support item assignment

我可以通过以下方式实现这个简单的例子:

class AddToEvenScatter(Model):
def call(self, inputs):
batch_size = tf.shape(inputs)[0]
n = tf.shape(inputs)[-1]
update_indices = tf.range(0, n, delta=2)[:, None]
scatter_nd_perm = [1, 0]
inputs_reshaped = tf.transpose(inputs, scatter_nd_perm)
outputs = tf.tensor_scatter_nd_add(
inputs_reshaped,
indices=update_indices,
updates=inputs_reshaped[::2],
)
outputs = tf.transpose(outputs, scatter_nd_perm)
return outputs

(您可以通过以下方式进行完整性检查:

model = AddToEvenScatter()
model.build(tf.TensorShape([None, None]))
model(tf.ones([1, 10]))

)

但是正如您所看到的,编写起来非常复杂。这仅适用于 1D(+ 批量大小)张量上的静态更新次数(此处为 1)。

我想做的是多一点参与,我想用 tensor_scatter_nd_add 写它将是一场噩梦。

许多当前关于该主题的 QA 涵盖了变量而不是张量的情况(参见例如 thisthis )。
提到 here pytorch 确实支持这一点,所以我很惊讶地看到最近没有任何 tf 成员就该主题做出回应。
This answer并没有真正帮助我,因为我将需要某种面具生成,这也会很糟糕。

因此,问题是:如何在没有 tensor_scatter_nd_add 的情况下有效地进行切片分配(计算方面、内存方面和代码方面) ?诀窍是我希望它尽可能动态,这意味着 inputs 的形状可能是可变的。

(对于任何好奇的人,我正在尝试在 tf 中翻译 this code)。

这个问题原贴 in a GitHub issue .

最佳答案

这是另一个基于二进制掩码的解决方案。

"""Solution based on binary mask.
- We just add this mask to inputs, instead of multiplying."""
class AddToEven(tf.keras.Model):
def __init__(self):
super(AddToEven, self).__init__()

def build(self, inputshape):
self.built = True # Actually nothing to build with, becuase we don't have any variables or weights here.

@tf.function
def call(self, inputs):
w = inputs.get_shape()[-1]

# 1-d mask generation for w-axis (activate even indices only)
m_w = tf.range(w) # [0, 1, 2,... w-1]
m_w = ((m_w%2)==0) # [True, False, True ,...] with dtype=tf.bool

# Apply 1-d mask to 2-d input
m_w = tf.expand_dims(m_w, axis=0) # just extend dimension as to be (1, W)
m_w = tf.cast(m_w, dtype=inputs.dtype) # in advance, we need to convert dtype

# Here, we just add this (1, W) mask to (H,W) input magically.
outputs = inputs + m_w # This add operation is allowed in both TF and numpy!
return tf.reshape(outputs, inputs.get_shape())

在这里检查完整性。
# sanity-check as model
model = AddToEven()
model.build(tf.TensorShape([None, None]))
z = model(tf.zeros([2,4]))
print(z)

结果(使用 TF 2.1)是这样的。
tf.Tensor(
[[1. 0. 1. 0.]
[1. 0. 1. 0.]], shape=(2, 4), dtype=float32)

-------- 下面是之前的回答--------

您需要在 build() 方法中创建 tf.Variable 。
它还允许通过 shape=(None,) 实现动态大小。
在下面的代码中,我将输入形状指定为 (None, None)。
class AddToEven(tf.keras.Model):
def __init__(self):
super(AddToEven, self).__init__()

def build(self, inputshape):
self.v = tf.Variable(initial_value=tf.zeros((0,0)), shape=(None, None), trainable=False, dtype=tf.float32)

@tf.function
def call(self, inputs):
self.v.assign(inputs)
self.v[:, ::2].assign(self.v[:, ::2] + 1)
return self.v.value()

我用 TF 2.1.0 和 TF1.15 测试了这段代码
# test
add_to_even = AddToEven()
z = add_to_even(tf.zeros((2,4)))
print(z)

结果:
tf.Tensor(
[[1. 0. 1. 0.]
[1. 0. 1. 0.]], shape=(2, 4), dtype=float32)

附言还有一些其他的方法,比如使用tf.numpy_function(),或者生成掩码函数。

关于python - 如何在 TensorFlow 中有效地分配给张量的切片,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62092147/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com