python - 更正 pb 文件以将 Tensorflow 模型移动到 ML.NET

Question

我有一个我构建的 TensorFlow 模型(一个 1D CNN)，我现在想将它实现到 .NET 中。
为此，我需要知道输入和输出节点。
当我将模型上传到 Netron 时，根据我的保存方法，我得到了一个不同的图表，唯一看起来正确的图表来自 h5 上传。这是 model.summary() :

如果我将模型保存为 h5 model.save("Mn_pb_model.h5") 并将其加载到 Netron 中以绘制图形，一切看起来都正确:

但是，ML.NET 不接受 h5 格式，因此需要将其保存为 pb。
在查看在 ML.NET 中采用 TensorFlow 的示例时，此 sample 显示了一个 TensorFlow 模型，该模型以与 SavedModel 格式类似的格式保存 - 由 TensorFlow 推荐(也由 ML.NET 推荐 here “下载未卡住的 [SavedModel 格式] ……”)。但是，当将 pb 文件保存并加载到 Netron 时，我得到了这个:

再放大一点(在最右边)，

正如你所看到的，它看起来不像它应该的那样。
此外，输入节点和输出节点不正确，因此它不适用于 ML.NET(我认为有些问题)。
我使用 TensorFlow 的 recommended way 来确定输入/输出节点:

当我尝试获取 frozen 图并将其加载到 Netron 时，起初它看起来是正确的，但我不认为它是:

有四个原因我认为这是不正确的。

它与作为 h5 上传时的图表大不相同(在我看来是正确的)。

正如你之前看到的，我在整个过程中都使用了 1D 卷积，这表明它变成了 2D(并且保持这种方式)。

此文件大小为 128MB，而 TensorFlow 到 ML.NET 示例中的文件大小仅为 252KB。即使是 Inception 模型也只有 56MB。

如果我在 TensorFlow 中加载 Inception 模型并将其保存为 h5，它看起来与 ML.NET 资源中的相同，但是当我将其保存为卡住图时，它看起来不同。 如果我采用相同的模型并将其保存为推荐的 SavedModel 格式，它会在 Netron 中显示为一团糟。 选择您想要的任何模型并将其保存为推荐的 SavedModel 格式，您将亲眼看到(我已经在许多不同的模型上尝试过)。

此外，在查看 Inception 的 model.summary() 及其图形时，它类似于它的图形，就像我的 model.summary() 与 h5 图形一样。
似乎应该有一种更简单的方法(和正确的方法)来保存 TensorFlow 模型，以便它可以在 ML.NET 中使用。
请证明您建议的解决方案有效: 在您提供的答案中，请检查它是否有效(加载 pb 模型 [这也应该有一个 Variables 文件夹，以便适用于 ML.NET] 到 Netron 并显示它与 h5 模型相同，例如截图)。为了让我们都在尝试同样的事情，这里是 MNIST ML 速成类(class)示例的 link。运行该程序所需的时间不到 30 秒，并生成一个名为 my_model 的模型。从这里您可以根据您的方法保存并上传它以查看 Netron 上的图表。这是 h5模型上传:

Answer 1

这个答案由 3 个部分组成:

通过其他程序

不通过其他程序

操作级图和概念图之间的区别(以及为什么 Netron 向您展示不同的图)

1.通过其他程序:
ML.net 需要 ONNX 模型，而不是 pb 文件。
有多种方法可以将您的模型从 TensorFlow 转换为您可以在 ML.net 中加载的 ONNX 模型:

与 WinMLTools 工具:https://docs.microsoft.com/en-us/windows/ai/windows-ml/convert-model-winmltools

与 MMdnn :https://github.com/microsoft/MMdnn

与 tf2onnx :https://github.com/onnx/tensorflow-onnx

如果用 Keras 训练，用 keras2onnx:https://github.com/onnx/keras-onnx

这篇 SO 帖子也可以帮助您: Load model with ML.NET saved with keras
在这里你会找到更多关于 h5 和 pb 文件格式的信息，它们包含的内容等: https://www.tensorflow.org/guide/keras/save_and_serialize#weights_only_saving_in_savedmodel_format
2. 但是你问的是“TensorFlow -> ML.NET而无需通过其他程序”:
2.A问题概述:
一、 pl您使用您提供的代码制作的文件格式，从您所说的来看，似乎与您在评论中提到的示例中使用的格式不同( https://docs.microsoft.com/en-us/dotnet/machine-learning/tutorials/text-classification-tf )
可以尝试使用 pb将通过 tf.saved_model.save 生成的文件?它工作吗？
关于这篇微软博客文章的想法:
来自 this page我们可以读到:

In ML.NET you can load a frozen TensorFlow model .pb file (also called“frozen graph def” which is essentially a serialized graph_defprotocol buffer written to disk)

和:

That TensorFlow .pb model file that you see in the diagram (and thelabels.txt codes/Ids) is what you create/train in Azure CognitiveServices Custom Vision then exporte as a frozen TensorFlow model fileto be used by ML.NET C# code.

所以，这个 pb文件是一种从 Azure 认知服务自定义视觉生成的文件。
Perharps 你也可以试试这种方式吗？
2.B 现在，我们将尝试提供解决方案:
事实上，在 TensorFlow 1.x 中，您可以使用 freeze_graph 轻松保存卡住图。 .
但是 TensorFlow 2.x 不支持 freeze_graph和 converter_variables_to_constants .
你也可以在这里阅读一些有用的信息: Tensorflow 2.0 : frozen graph support
一些用户想知道在 TF 2.x 中如何做:how to freeze graph in tensorflow 2.0 ( https://github.com/tensorflow/tensorflow/issues/27614 )
然而，有一些解决方案可以创建 pb您可以在 ML.net 中加载的文件随心所欲:
https://leimao.github.io/blog/Save-Load-Inference-From-TF2-Frozen-Graph/
How to save Keras model as frozen graph? (虽然已经链接在你的问题中)
操作级图和概念图之间的区别(以及为什么 Netron 向您展示不同的图):
正如@mlneural03 在对您问题的评论中所说，Netron 根据您提供的文件格式显示不同的图表:

如果加载 h5 文件，Netron 将显示概念图

如果加载 pb 文件，Netron 将显示操作级别图

操作级图和概念图有什么区别？

在 TensorFlow 中，op-level 图的节点代表操作(“ops”)，例如 tf.add 、 tf.matmul 、 tf.linalg.inv 等。

概念图将向您展示您的模型结构。

那是完全不同的事情。
“ops”是“操作”的缩写。
操作是执行计算的节点。
所以，这就是为什么当你在 Netron 中加载 pb fil 时你会得到一个包含很多节点的非常大的图:你会看到图的所有计算节点。
但是当您在 Netron 中加载 h5 文件时，您“只会”看到模型的结构，模型的设计。
在 TensorFlow 中，您可以使用 TensorBoard 查看您的图表:

默认情况下，TensorBoard 显示操作级图。

要查看概念图，请在 TensorBoard 中选择“keras”标签。

有一个 Jupyter Notebook 非常清楚地解释了 op-level 图和概念图之间的区别: https://colab.research.google.com/github/tensorflow/tensorboard/blob/master/docs/graphs.ipynb
您也可以在 TensorFlow Github 上阅读与您的问题相关的“问题”: https://github.com/tensorflow/tensorflow/issues/39699
简而言之:
其实没有问题，只是有点误会(没关系，我们不可能什么都知道)。
您希望在加载 h5 时看到相同的图表文件和 pb Netron 中的文件，但它 必须不成功，因为文件不包含相同的图形。这些图表是显示同一模型的两种方式。
使用我们描述的方法创建的 pb 文件将是使用 ML.NET 加载的正确 pb 文件，如我们讨论的 Microsoft 教程中所述。所以，如果你加载正确 pb文件，如这些教程中所述，您将加载您的真实/真实模型。