tensorflow - 使用附加数据重新训练现有的基本 BERT 模型

Question

我使用 cased_L-12_H-768_A-12 生成了新的 Base BERT 模型(dataset1_model_cased_L-12_H-768_A-12)作为来自 biobert-run_classifier 的训练多标签分类

我需要添加更多额外数据作为dataset2，模型应该是dataset2_model_cased_L-12_H-768_A-12

是tensorflow-hub帮助解决我的问题？

模型训练生命周期如下图，

cased_L-12_H-768_A-12 => dataset1 => dataset1_model_cased_L-12_H-768_A-12

dataset1_model_cased_L-12_H-768_A-12 => dataset2 =>dataset2_model_cased_L-12_H-768_A-12

Answer 1

Tensorflow Hub 是一个用于共享预训练模型片段或整个模型的平台，以及一个促进这种共享的 API。在 TF 1.x 中，此 API 是一个独立的 API，而在 TF 2.x 中，此 API(SavedModel:https://www.tensorflow.org/guide/saved_model)是核心 TF API 的一部分。

在建议的训练生命周期示例中，使用 SavedModel 在训练步骤之间保存相关模型可以简化流水线架构设计。或者，您可以使用作为 TF 模型花园的一部分提供的编码示例来执行此预训练:https://github.com/tensorflow/models/tree/master/official/nlp .