python - Tensorflow 自定义层 : Creating a sparse matrix with trainable parameters

Question

我正在研究的模型应该同时预测相当多的变量(>1000)。因此，我想在每个输出的网络末端都有一个小型神经网络。

为了紧凑地执行此操作，我想找到一种方法在 Tensorflow 框架内的神经网络中的两层之间创建稀疏可训练连接。

只有一小部分连接矩阵应该是可训练的:只有参数是 block 对角线的一部分。

---

例如:

连接矩阵如下:

可训练参数应该在 1 的位置。

Answer 1

我写的正是这样的一层:

https://github.com/ArnovanHilten/GenNet/blob/master/GenNet_utils/LocallyDirectedConnected_tf2.py

它采用稀疏矩阵作为输入，让您决定层与层之间的连接方式。该层使用稀疏张量和矩阵乘法。