tensorflow - Sagemaker tensorflow 端点在被调用进行预测时不调用 input_handler

Question

我正在部署一个 tensorflow.serving具有自定义的端点 inference.py脚本通过 entry point范围

model = Model(role='xxx',
              framework_version='2.2.0',
              entry_point='inference.py',
              model_data='xxx')

predictor = model.deploy(instance_type='xxx',
                         initial_instance_count=1,
                         endpoint_name='xxx')

inference.py 包含一个 input_handler和一个 output_handler函数，但是当我调用 predict 时:

model = Predictor(endpoint_name='xxx')
url = 'xxx'

input = {
    'instances': [url]
}

predictions = model.predict(input)

我收到以下信息 error :
botocore.errorfactory.ModelError:调用 InvokeEndpoint 操作时发生错误 (ModelError):从模型中收到客户端错误 (400)，消息为“{”error”:“无法处理元素:‘实例’列表中的 0。错误:无效参数:JSON 值:“xxx”类型:字符串不是预期类型:浮点数“}”
该函数似乎从未调用 input_handler inference.py 脚本中的函数。你知道为什么会发生这种情况吗？

Answer 1

我正在为此错误消息添加另一个可能的原因，因为我花了一些时间来解决这个问题。
我使用了不同的 sagemaker api 版本(1.x 和 2.x)。
对于较新的 sagemaker tf 容器，处理程序的名称已从 input_fn() 更改为 input_handler()。
因此从未调用 input_fn() 并且从未处理特殊输入类型。
详情见:https://sagemaker.readthedocs.io/en/stable/frameworks/tensorflow/upgrade_from_legacy.html
也许这对某人有帮助。