python - 我们可以在 keras 中使用 tf.spectral 傅立叶函数吗？

Question

让我们从一个简单的时间序列输入开始，并尝试构建一个自动编码器，该自动编码器简单地进行傅立叶变换，然后在 keras 中对我们的数据进行反变换。

如果我们尝试这样做:

inputs = Input(shape=(MAXLEN,1), name='main_input')
x = tf.spectral.rfft(inputs)
decoded = Lambda(tf.spectral.irfft)(x)

然后第三行在输入时抛出错误:

>> ValueError: Tensor conversion requested dtype complex64 for Tensor with dtype float32

你看，tf.spectral.irfft 的输出是 float32 但看起来 Lambda 认为它是 complex64？？ (Complex64 是上一步的输入 x)

我们可以在模型输入时修复该错误:

inputs = Input(shape=(MAXLEN,1), name='main_input')
x = tf.spectral.rfft(inputs)
decoded = Lambda(tf.cast(tf.spectral.irfft(x),dtype=tf.float32)))

这在输入时被接受，但是当我们尝试构建模型时:

autoencoder = Model(inputs, decoded)

它产生错误:

TypeError: Output tensors to a Model must be Keras tensors. Found: <keras.layers.core.Lambda object at 0x7f24f0f7bbe0>

我想这是合理的，也是我不想首先转换它的原因。

主要问题:如何成功包装输出 float32 的 tf.spectral.irfft 函数？

更一般的学习问题:
假设我真的想在 rfft 和 irfft 之间做一些事情，我怎样才能在不破坏 keras 的情况下将这些虚数转换为绝对值，以便我可以应用各种卷积等？

Answer 1

我想你只需要更多 Lambda包装(使用 tf.keras 因为那是我安装的):

import numpy
import tensorflow as tf
K = tf.keras

inputs = K.Input(shape=(10, 8), name='main_input')
x = K.layers.Lambda(tf.spectral.rfft)(inputs)
decoded = K.layers.Lambda(tf.spectral.irfft)(x)
model = K.Model(inputs, decoded)
output = model(tf.ones([10, 8]))
with tf.Session():
  print(output.eval())

irfft的输出应该是真实的，所以可能不需要转换它。但是如果你确实需要转换它(或者通常在 Lambda 层中组合操作)，我会将它包装在 Python lambda 中: K.layers.Lambda(lambda v: tf.cast(tf.spectral.whatever(v), tf.float32))
例如，如果您知道中间值(介于 rfft 和 irfft 之间)的虚部为零，则可以将其截断:

import numpy
import tensorflow as tf
K = tf.keras

inputs = K.Input(shape=(10, 8), name='main_input')
x = K.layers.Lambda(lambda v: tf.real(tf.spectral.rfft(v)))(inputs)
decoded = K.layers.Lambda(
    lambda v: tf.spectral.irfft(tf.complex(real=v, imag=tf.zeros_like(v))))(x)
model = K.Model(inputs, decoded)
output = model(tf.reshape(tf.range(80, dtype=tf.float32), [10, 8]))
with tf.Session():
  print(output.eval())

请注意，这对于一般序列而言并非如此，因为即使是实值输入也可以在转换后具有虚部。它适用于 tf.ones上面输入，但是 tf.range输入被破坏:

[[ 0.  4.  4.  4.  4.  4.  4.  4.]
 [ 8. 12. 12. 12. 12. 12. 12. 12.]
 [16. 20. 20. 20. 20. 20. 20. 20.]
 [24. 28. 28. 28. 28. 28. 28. 28.]
 [32. 36. 36. 36. 36. 36. 36. 36.]
 [40. 44. 44. 44. 44. 44. 44. 44.]
 [48. 52. 52. 52. 52. 52. 52. 52.]
 [56. 60. 60. 60. 60. 60. 60. 60.]
 [64. 68. 68. 68. 68. 68. 68. 68.]
 [72. 76. 76. 76. 76. 76. 76. 76.]]

(没有类型转换，我们得到 0. 到 79. 完美重建)