python - 弹性权重合并算法在 Keras 中的实现

Question

我正在研究基于 LSTM 的模型来预测日志异常。我的模型架构如下:

______________________Layer (type) Output Shape Param # ================================================================= 
lstm (LSTM) (None, 5, 1555) 9684540 ______________________ 
lstm_1 (LSTM) (None, 1555) 19350420 ______________________ 
dense (Dense) (None, 1024) 1593344 ______________________ 
dense_1 (Dense) (None, 1024) 1049600 _______________________ 
dense_2 (Dense) (None, 1555) 1593875
================================================================= 
Total params: 33,271,779

我想继续训练以避免灾难性的遗忘，我看到了这个 paper在 EWC 上。是的，我将在增量训练中获得完全不同的日志文件，因此目前正在发生灾难性的遗忘。我查看了互联网，发现只有 pytorch 和 tensorflow 实现它。我对它们不是很流利，我正在寻找相同的 tensorflow-2/keras 实现。我确实了解该论文，但不了解如何实现它。是否可以在 keras 中进行，如果是，如何进行？欢迎任何其他简单的持续学习方法!

Answer 1

我最近想在分布式优化设置中应用相同的算法 (EWC)。我找不到 tensorflow-2 实现。所以我从头开始实现它。你可以在这里找到它 - https://github.com/stijani/elastic-weight-consolidation-tf2.git .
包含一个演示笔记本来演示代码使用和 MNIST 数据集的示例结果。