- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我已经在 Python 中使用 Keras 在 TensorFlow 2.3.1 中训练了一个 Sequential 模型,生成了一个 saved_model.pb 文件,但是当我尝试在 Go 中使用该模型时,我没有看到输入或输出层我指定了,只有偏差和内核。
训练模型的Python代码:
import numpy as np
import pandas as pd
import tensorflow as tf
from tensorflow import feature_column
from tensorflow.keras import layers
from sklearn.model_selection import train_test_split
from sklearn.utils import shuffle
from sklearn import preprocessing
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Dense
# A utility method to create a tf.data dataset from a Pandas Dataframe
def dataframe_to_dataset(dataframe, shuffle=True, batch_size=32):
dataframe = dataframe.copy()
labels = dataframe.pop("URLType")
ds = tf.data.Dataset.from_tensor_slices((dict(dataframe), labels))
if shuffle:
ds = ds.shuffle(buffer_size=len(dataframe), seed=0)
ds = ds.batch(batch_size)
return ds, labels
# load full data list from csv file
csvList = pd.read_csv("./training-data.csv", sep='\t')
# split the list into training and test data lists
trainingList, _ = train_test_split(csvList, test_size=0.2, random_state=0)
# split the training data list into validation and test data lists
trainingList, validationList = train_test_split(
trainingList, test_size=0.2, random_state=0
)
# print the length of the individual lists
print("training: %d\nvalidation: %d" % (len(trainingList), len(validationList)))
# set up empty list for feature columns
feature_columns = []
# add numeric columns to feature columns
for header in ["ExcessLength", "PathTokens", "NumericPathTokens", "QueryTokens", "NumericQueryTokens", "LongestNumber"]:
feature_columns.append(feature_column.numeric_column(header))
# create datasets of the training and validation dataframes
batch_size = 32
trainDataset, _ = dataframe_to_dataset(
trainingList, shuffle=False, batch_size=batch_size
)
validationDataset, _ = dataframe_to_dataset(
validationList, shuffle=False, batch_size=batch_size
)
# set up the model layers
model = tf.keras.Sequential(
[
layers.DenseFeatures(feature_columns, name="layer_input"),
layers.Dense(128, activation="elu", name="layer_1"),
layers.Dense(128, activation="elu", name="layer_2"),
layers.Dense(128, activation="elu", name="layer_3"),
layers.Dense(1, name="layer_label"),
]
)
# compile the model
model.compile(
optimizer="adam",
loss=tf.keras.losses.Hinge(),
metrics=["accuracy"],
)
# callback to stop training early if the loss starts to increase
earlyStopCallback = tf.keras.callbacks.EarlyStopping(monitor='loss', patience=3)
# train the model
model.fit(trainDataset, validation_data=validationDataset, epochs=5, shuffle=False, callbacks=[earlyStopCallback])
# save the model
model.save("./url_recognizer")
tf.keras.models.save_model(
model=model,
filepath='./url_recognizer',
overwrite=True,
include_optimizer=True,
save_format='tf')
然后当我在 Go 中加载模型并列出所有操作时,没有输入层的痕迹。
import (
"fmt"
tf "github.com/tensorflow/tensorflow/tensorflow/go"
)
func main() {
model, err := tf.LoadSavedModel("url_recognizer", []string{"serve"}, nil)
if err != nil {
fmt.Printf("Error loading saved model: %s\n", err.Error())
return
}
defer model.Session.Close()
ops := model.Graph.Operations()
for _, op := range ops {
fmt.Println(op.Name())
}
}
结果:
sequential/layer_1/kernel
sequential/layer_1/kernel/Read/ReadVariableOp
sequential/layer_1/bias
sequential/layer_1/bias/Read/ReadVariableOp
sequential/layer_2/kernel
sequential/layer_2/kernel/Read/ReadVariableOp
sequential/layer_2/bias
sequential/layer_2/bias/Read/ReadVariableOp
sequential/layer_3/kernel
sequential/layer_3/kernel/Read/ReadVariableOp
sequential/layer_3/bias
sequential/layer_3/bias/Read/ReadVariableOp
sequential/layer_label/kernel
sequential/layer_label/kernel/Read/ReadVariableOp
sequential/layer_label/bias
sequential/layer_label/bias/Read/ReadVariableOp
Adam/iter
Adam/iter/Read/ReadVariableOp
Adam/beta_1
Adam/beta_1/Read/ReadVariableOp
Adam/beta_2
Adam/beta_2/Read/ReadVariableOp
Adam/decay
Adam/decay/Read/ReadVariableOp
Adam/learning_rate
Adam/learning_rate/Read/ReadVariableOp
total
total/Read/ReadVariableOp
count
count/Read/ReadVariableOp
total_1
total_1/Read/ReadVariableOp
count_1
count_1/Read/ReadVariableOp
Adam/sequential/layer_1/kernel/m
Adam/sequential/layer_1/kernel/m/Read/ReadVariableOp
Adam/sequential/layer_1/bias/m
Adam/sequential/layer_1/bias/m/Read/ReadVariableOp
Adam/sequential/layer_2/kernel/m
Adam/sequential/layer_2/kernel/m/Read/ReadVariableOp
Adam/sequential/layer_2/bias/m
Adam/sequential/layer_2/bias/m/Read/ReadVariableOp
Adam/sequential/layer_3/kernel/m
Adam/sequential/layer_3/kernel/m/Read/ReadVariableOp
Adam/sequential/layer_3/bias/m
Adam/sequential/layer_3/bias/m/Read/ReadVariableOp
Adam/sequential/layer_label/kernel/m
Adam/sequential/layer_label/kernel/m/Read/ReadVariableOp
Adam/sequential/layer_label/bias/m
Adam/sequential/layer_label/bias/m/Read/ReadVariableOp
Adam/sequential/layer_1/kernel/v
Adam/sequential/layer_1/kernel/v/Read/ReadVariableOp
Adam/sequential/layer_1/bias/v
Adam/sequential/layer_1/bias/v/Read/ReadVariableOp
Adam/sequential/layer_2/kernel/v
Adam/sequential/layer_2/kernel/v/Read/ReadVariableOp
Adam/sequential/layer_2/bias/v
Adam/sequential/layer_2/bias/v/Read/ReadVariableOp
Adam/sequential/layer_3/kernel/v
Adam/sequential/layer_3/kernel/v/Read/ReadVariableOp
Adam/sequential/layer_3/bias/v
Adam/sequential/layer_3/bias/v/Read/ReadVariableOp
Adam/sequential/layer_label/kernel/v
Adam/sequential/layer_label/kernel/v/Read/ReadVariableOp
Adam/sequential/layer_label/bias/v
Adam/sequential/layer_label/bias/v/Read/ReadVariableOp
NoOp
Const
serving_default_Ending
serving_default_ExcessLength
serving_default_HasArticleToken
serving_default_HasDate
serving_default_IsFile
serving_default_LongestNumber
serving_default_NumericPathTokens
serving_default_NumericQueryTokens
serving_default_OriginalURL
serving_default_PathTokens
serving_default_QueryTokens
StatefulPartitionedCall
saver_filename
StatefulPartitionedCall_1
StatefulPartitionedCall_2
我在网上找到的所有示例代码都显示我应该能够看到名称为 layer_input
或 layer_input_input
的操作,但我什么也没看到。
我怀疑问题可能出在 Python 方面,因为在 Go 中使用此方法加载其他预构建模型时,当我列出它们时,我在操作中看到了适当的输入层。
我正在使用以下版本的 Python 和库:
最佳答案
找出输入签名
keras 的输入层与其他层有些不同。在你的情况下,你的 DenseFeatures
层用于定义模型的默认服务签名,即您应该提供给它的输入。
如果我们查看您的 go 示例程序的输出,我们会看到这些行:
serving_default_Ending
serving_default_ExcessLength
serving_default_HasArticleToken
serving_default_HasDate
serving_default_IsFile
serving_default_LongestNumber
serving_default_NumericPathTokens
serving_default_NumericQueryTokens
serving_default_OriginalURL
serving_default_PathTokens
serving_default_QueryTokens
这些操作实际上是您模型的输入。使用 tf.keras.Model
时会自动推断出它们如 documentation 中所述:
Tools like TensorFlow Serving and saved_model_cli can interact with SavedModels. To help these tools determine which ConcreteFunctions to use, you need to specify serving signatures. tf.keras.Models automatically specify serving signatures, but you'll have to explicitly declare a serving signature for our custom modules.
保存模型时,模型的签名(为进行预测而必须提供的输入)是从 DenseFeatures
自动推断出来的.
找出输出签名
您还需要提供输出张量,以便能够通过图形获取操作。很难找到要运行的操作的名称。一个好的技巧是使用 saved_model_cli来自 tensorflow serving 的实用程序。
运行实用程序:
$ saved_model_cli show --dir ./url_recognizer --tag_set serve --signature_def serving_default
The given SavedModel SignatureDef contains the following input(s):
inputs['ExcessLength'] tensor_info:
dtype: DT_INT32
shape: (-1, 1)
name: serving_default_ExcessLength:0
[...]
The given SavedModel SignatureDef contains the following output(s):
outputs['output_1'] tensor_info:
dtype: DT_FLOAT
shape: (-1, 1)
name: StatefulPartitionedCall:0
Method name is: tensorflow/serving/predict
我们看到给出模型输出的 OP 的名称是 StatefulPartitionedCall
.
运行预测
如果你想运行预测,你必须使用那些“serving_default”键提供输入,并使用输出键提供输出张量。然后调用 model.Session.Run()
因此我们设法收集了以下信息:
serving_default_<Name of the feature column>
StatefulPartitionedCall
有了这些,我们可以构建一个运行示例:(仅部分:我省略了其他输入以避免重复,但该模式很容易复制)。
// defining inputs
excessLength, err := tf.NewTensor([1]int32{0})
// otherInput, err := tf.NewTensor([1]int32{0})
// Calling session Run
output, err := model.Session.Run(
map[tf.Output]*tf.Tensor{
model.Graph.Operation("serving_default_ExcessLength").Output(0): excessLength,
// model.Graph.Operation("serving_default_<OtherInput>").Output(0): otherInput,
},
[]tf.Output{
model.Graph.Operation("StatefulPartitionedCall").Output(0),
},
nil)
if err != nil {
fmt.Printf("Error using the model: %s\n", err.Error())
return
}
// Getting the result of the run throigh the graph
val := output[0].Value()
fmt.Printf("Output : %f\n", val)
请注意,使用 Input
时的行为是相似的层代替。
# set up the model layers
slp = tf.keras.Sequential(
[
# layers.DenseFeatures(feature_columns, name="layer_input"),
layers.Input(shape=(1), name='layer_input'),
layers.Dense(1, name="layer_label", activation='sigmoid'),
]
)
# compile the model
slp.compile(
optimizer="adam", loss='mse', metrics=["accuracy"],
)
slp.save('./url_recognizer')
你的 go 程序输出:
layer_label/kernel
layer_label/kernel/Read/ReadVariableOp
layer_label/bias
layer_label/bias/Read/ReadVariableOp
NoOp
Const
serving_default_layer_input
StatefulPartitionedCall
saver_filename
StatefulPartitionedCall_1
注意 serving_default_layer_input
行。
关于python - 加载时找不到keras模型的输入层,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64336549/
我想要显示正在加载的 .gif,直到所有内容都已加载,包括嵌入的 iframe。但是,目前加载 gif 会在除 iframe 之外的所有内容都已加载后消失。我怎样才能让它等到 iframe 也加载完毕
首先,这是我第一次接触 Angular。 我想要实现的是,我有一个通知列表,我必须以某种方式限制 limitTo,因此元素被限制为三个,在我单击按钮后,其余的应该加载。 我不明白该怎么做: 设置“ V
我正在尝试在我的设备上运行这个非常简单的应用程序(使用 map API V2),并且出于某种原因尝试使用 MapView 时: 使用 java 文件: public class MainMap e
我正在使用 Python 2.6、Excel 2007 Professional 和最新版本的 PyXLL。在 PyXLL 中加载具有 import scipy 抛出异常,模块未加载。有没有人能够在
我想做这个: 创建并打包原始游戏。然后我想根据原始游戏中的蓝图创建具有新网格/声音/动画和蓝图的其他 PAK 文件。原始游戏不应该知道有关其他网格/动画/等的任何信息。因此,我需要在原始游戏中使用 A
**摘要:**在java项目中经常会使用到配置文件,这里就介绍几种加载配置文件的方法。 本文分享自华为云社区《【Java】读取/加载 properties配置文件的几种方法》,作者:Copy工程师。
在 Groovy 脚本中是否可以执行条件导入语句? if (test){ import this.package.class } else { import that.package.
我正在使用 NVidia 视觉分析器(来自 CUDA 5.0 beta 版本的基于 eclipse 的版本)和 Fermi 板,我不了解其中两个性能指标: 全局加载/存储效率表示实际内存事务数与请求事
有没有办法在通过 routeProvider 加载特定 View 时清除 Angular JS 存储的历史记录? ? 我正在使用 Angular 创建一个公共(public)安装,并且历史会积累很多,
使用 Xcode 4.2,在我的应用程序中, View 加载由 segue 事件触发。 在 View Controller 中首先调用什么方法? -(void) viewWillAppear:(BOO
我在某些Django模型中使用JSONField,并希望将此数据从Oracle迁移到Postgres。 到目前为止,当使用Django的dumpdata和loaddata命令时,我仍然没有运气来保持J
创建 Nib 时,我需要创建两种类型:WindowNib 或 ViewNib。我看到的区别是,窗口 Nib 有一个窗口和一个 View 。 如何将 View Nib 加载到另一个窗口中?我是否必须创建
我想将多个env.variables转换为静态结构。 我可以手动进行: Env { is_development: env::var("IS_DEVELOPMENT")
正如我从一个测试用例中看到的:https://godbolt.org/z/K477q1 生成的程序集加载/存储原子松弛与普通变量相同:ldr 和 str 那么,宽松的原子变量和普通变量之间有什么区别吗
我有一个重定向到外部网站的按钮/链接,但是外部网站需要一些时间来加载。所以我想添加一个加载屏幕,以便外部页面在显示之前完全加载。我无法控制外部网站,并且外部网站具有同源策略,因此我无法在 iFrame
我正在尝试为我的应用程序开发一个Dockerfile,该文件在初始化后加载大量环境变量。不知何故,当我稍后执行以下命令时,这些变量是不可用的: docker exec -it container_na
很难说出这里问的是什么。这个问题是含糊的、模糊的、不完整的、过于宽泛的或修辞性的,无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开它,visit the help center 。 已关
我刚刚遇到一个问题,我有一个带有一些不同选项的选择标签。 现在我想检查用户选择了哪些选项。 然后我想将一个新的 html 文件加载到该网站(取决于用户选中的选项)宽度 javascript,我该怎么做
我知道两种保存/加载应用程序设置的方法: 使用PersistentStore 使用文件系统(存储,因为 SDCard 是可选的) 我想知道您使用应用程序设置的做法是什么? 使用 PersistentS
我开始使用 Vulkan 时偶然发现了我的第一个问题。尝试创建调试报告回调时(验证层和调试扩展在我的英特尔 hd vulkan 驱动程序上可用,至少它是这么说的),它没有告诉我 vkCreateDeb
我是一名优秀的程序员,十分优秀!