prediction - AWS SageMaker - 实时数据处理

Question

我的公司进行在线消费者行为分析，我们使用从各种网站收集的数据(嵌入了我们的 Java 脚本)进行实时预测。

我们一直在使用 AWS ML 进行实时预测，但现在我们正在试验 AWS SageMaker，我们发现与 AWS ML 相比，实时数据处理是一个问题。例如，我们有一些字符串变量，AWS ML 可以将其转换为数字，并自动将它们用于 AWS ML 中的实时预测。但看起来 SageMaker 做不到。

有没有人有在 AWS SageMaker 中进行实时数据处理和预测的经验？

Answer 1

听起来您只熟悉 SageMaker 的训练组件。 SageMaker有几个不同的组件:

Jupyter 笔记本

标签

培训

推理

您很可能正在处理 #3 和 #4。这里有几种使用 SageMaker 的方法。您可以使用 built-in algorithms 之一提供可以在 SageMaker 上启动的训练和推理容器。要使用这些，您可以完全从控制台工作，只需指向 S3 中的数据，类似于 AWS ML。如果您没有使用内置算法，那么您可以使用 sagemaker-python-sdk如果您使用的是 tensorflow、mxnet、pytorch 等通用框架，则可以创建训练和预测容器。最后，如果您使用的是 super 自定义算法(如果您是从 AWS ML 移植过来的，则不会)，那么您可以使用自己的 docker 容器进行训练和推理。

要创建推理端点，您可以转到推理部分下的控制台，然后单击周围以构建您的端点。有关示例，请参见此处的 gif:


除此之外，如果您想使用代码实时调用端点，您可以使用任何 AWS 开发工具包，我将在此处使用 python 开发工具包 boto3 进行演示:

import boto3
sagemaker = boto3.client("runtime.sagemaker")
response = sagemaker.invoke_endpoint(EndpointName="herpderp", Body="some content")

在此代码中，如果您需要将传入的字符串值转换为数值，那么您可以使用代码轻松地做到这一点。