- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在使用 sagemaker 并使用批量转换来运行本地变压器。但是,转换似乎没有调用我的自定义代码。
以下是SKlearn初始化
from sagemaker.sklearn.estimator import SKLearn
source_dir = 'train'
script_path = 'train.py'
sklearn = SKLearn(
entry_point=script_path,
train_instance_type="local_gpu",
source_dir=source_dir,
role=role,
sagemaker_session=sagemaker_session)
sklearn.fit({'train': "file://test.csv"})
train.py是一个Python脚本,用于加载训练数据,并将模型保存到S3
批量转换是:
transformer = sklearn.transformer(instance_count=1,
entry_point=source_dir+"/"+script_path,
instance_type='local_gpu',
strategy='MultiRecord',
assemble_with='Line'
)
transformer.transform("file://test_messages", content_type='text/csv', split_type='Line')
print('Waiting for transform job: ' + transformer.latest_transform_job.job_name)
transformer.wait()
file://test_messages
包含一个 csv,它是字符串列表
完整的错误是
algo-1-6c5rl_1 | 172.18.0.1 - - [30/Jan/2020:14:14:30 +0000] "GET /ping HTTP/1.1" 200 0 "-" "-"
algo-1-6c5rl_1 | 172.18.0.1 - - [30/Jan/2020:14:14:30 +0000] "GET /execution-parameters HTTP/1.1" 404 232 "-" "-"
algo-1-6c5rl_1 | 2020-01-30 14:14:30,846 ERROR - train - Exception on /invocations [POST]
algo-1-6c5rl_1 | Traceback (most recent call last):
algo-1-6c5rl_1 | File "/miniconda3/lib/python3.7/site-packages/sagemaker_containers/_functions.py", line 93, in wrapper
algo-1-6c5rl_1 | return fn(*args, **kwargs)
algo-1-6c5rl_1 | File "/miniconda3/lib/python3.7/site-packages/sagemaker_sklearn_container/serving.py", line 56, in default_input_fn
algo-1-6c5rl_1 | return np_array.astype(np.float32) if content_type in content_types.UTF8_TYPES else np_array
algo-1-6c5rl_1 | ValueError: could not convert string to float: 'IMPORTANT - You could be entitled up to �3,160 in compensation from mis-sold PPI on a credit card or loan. Please reply PPI for info or STOP to opt out.'
algo-1-6c5rl_1 |
algo-1-6c5rl_1 | During handling of the above exception, another exception occurred:
algo-1-6c5rl_1 |
algo-1-6c5rl_1 | Traceback (most recent call last):
algo-1-6c5rl_1 | File "/miniconda3/lib/python3.7/site-packages/flask/app.py", line 2446, in wsgi_app
algo-1-6c5rl_1 | response = self.full_dispatch_request()
algo-1-6c5rl_1 | File "/miniconda3/lib/python3.7/site-packages/flask/app.py", line 1951, in full_dispatch_request
algo-1-6c5rl_1 | rv = self.handle_user_exception(e)
algo-1-6c5rl_1 | File "/miniconda3/lib/python3.7/site-packages/flask/app.py", line 1820, in handle_user_exception
algo-1-6c5rl_1 | reraise(exc_type, exc_value, tb)
algo-1-6c5rl_1 | File "/miniconda3/lib/python3.7/site-packages/flask/_compat.py", line 39, in reraise
algo-1-6c5rl_1 | raise value
algo-1-6c5rl_1 | File "/miniconda3/lib/python3.7/site-packages/flask/app.py", line 1949, in full_dispatch_request
algo-1-6c5rl_1 | rv = self.dispatch_request()
algo-1-6c5rl_1 | File "/miniconda3/lib/python3.7/site-packages/flask/app.py", line 1935, in dispatch_request
algo-1-6c5rl_1 | return self.view_functions[rule.endpoint](**req.view_args)
algo-1-6c5rl_1 | File "/miniconda3/lib/python3.7/site-packages/sagemaker_containers/_transformer.py", line 200, in transform
algo-1-6c5rl_1 | self._model, request.content, request.content_type, request.accept
algo-1-6c5rl_1 | File "/miniconda3/lib/python3.7/site-packages/sagemaker_containers/_transformer.py", line 227, in _default_transform_fn
algo-1-6c5rl_1 | data = self._input_fn(content, content_type)
algo-1-6c5rl_1 | File "/miniconda3/lib/python3.7/site-packages/sagemaker_containers/_functions.py", line 95, in wrapper
algo-1-6c5rl_1 | six.reraise(error_class, error_class(e), sys.exc_info()[2])
algo-1-6c5rl_1 | File "/miniconda3/lib/python3.7/site-packages/six.py", line 692, in reraise
algo-1-6c5rl_1 | raise value.with_traceback(tb)
algo-1-6c5rl_1 | File "/miniconda3/lib/python3.7/site-packages/sagemaker_containers/_functions.py", line 93, in wrapper
algo-1-6c5rl_1 | return fn(*args, **kwargs)
algo-1-6c5rl_1 | File "/miniconda3/lib/python3.7/site-packages/sagemaker_sklearn_container/serving.py", line 56, in default_input_fn
algo-1-6c5rl_1 | return np_array.astype(np.float32) if content_type in content_types.UTF8_TYPES else np_array
algo-1-6c5rl_1 | sagemaker_containers._errors.ClientError: could not convert string to float: 'IMPORTANT - You could be entitled up to �3,160 in compensation from mis-sold PPI on a credit card or loan. Please reply PPI for info or STOP to opt out.'
algo-1-6c5rl_1 | 172.18.0.1 - - [30/Jan/2020:14:14:30 +0000] "POST /invocations HTTP/1.1" 500 290 "-" "-"
.Waiting for transform job: sagemaker-scikit-learn-2020-01-30-14-14-30-490
它似乎无法处理我的字符串。我在 train.py 中有代码来使用 TfidfVectorizer 转换字符串,但该代码没有被调用
最佳答案
我是 AWS SageMaker 的工程师。感谢您提供估算器/转换器设置的详细信息以及完整的错误日志。
查看具体错误,看起来 Scikit-learn 容器在 default_input_fn
中失败。值得庆幸的是,SageMaker Scikit-learn 是开源的,因此我们可以直接获取源代码 sagemaker_sklearn_container/serving.py#L56帮助理解它是如何工作的。
容器选择在发送到模型之前执行“默认”输入函数来处理输入。显然,默认实现不适用于您所需的输入格式。
与训练类似,您需要提供自定义 Python 代码来控制 SageMaker Scikit-learn 如何在服务/推理模式下处理您的模型。如果您想覆盖默认值,则需要在自定义 Python 代码中实现 input_fn
。您可以选择将其添加到 train.py
脚本中,或在 Transformer 中传递不同的 Python 文件。
本文档应该有助于编写input_fn
:https://sagemaker.readthedocs.io/en/stable/using_sklearn.html#process-input
如果您仍然遇到问题,您可以分享自定义代码中的示例。
关于scikit-learn - Sagemaker批量转换 "ValueError: could not convert string to float",我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59988417/
我正在使用SpringBoot和JPA来调用db,我遇到异常 org.springframework.core.convert.ConverterNotFoundException: No conve
我尝试实现 Spring Converter,但在单元测试中出现错误: Kotlin: Null can not be a value of a non-null type TodoItem 如果我尝
我在 Spring Boot 2.0 示例中使用 Spring Data Redis。在此示例中,我尝试将客户数据 + 学生数据保存在一起。我不太确定这里的数据建模是如何发生的,但假设它与 Mongo
我在 Spring 的 XML 配置文件之一中有以下代码:
我们正在尝试使用 hibernate Converter 来加密/解密通过 hibernate 存储的几列数据 @Convert(attributeName="myattr",converter=Da
我有this我必须实现的功能: protected override ValidationResult IsValid( Object value, ValidationContext
我看到了 std::convert::Into有任何实现 std::convert::From 的实现: impl Into for T where U: From, 在Rust 1.0标准库
Convert.ChangeType 或 Convert.ToInt32 或 int.Parse 之间是否存在性能优势 最佳答案 如果您知道要将 string 转换为 Int32,使用 Convert
我会定期浏览我的家庭作业以供上课。我的扫描仪将原始 jpg 文件导出到 USB,然后我可以从那里使用 gimp 编辑文件并将其另存为 pdf。我发现一种节省时间的方法是将我的多页作业导出为 .mng
Grails版本:2.3.8我在BootStrap.groovy中注册了一个自定义日期编码器,但是当我使用日期填充为Json的Object时,它将引发异常:Exception message is C
我会定期浏览我的家庭作业以供上课。我的扫描仪将原始 jpg 文件导出到 USB,然后我可以从那里使用 gimp 编辑文件并将其另存为 pdf。我发现一种节省时间的方法是将我的多页作业导出为 .mng
我正在尝试制作一个 SKAction,以便我的玩家慢慢地被拉向一个要杀死他的敌人。实际上,问题在于玩家和敌人处于不同的节点,遵循以下层次结构: 场景(SKScene)-PARENT->播放器(SKNo
我通过 xml 设置了 spring data mongo 自定义转换器,如下所示 在自定义读/写转换器中,我想
我正在尝试使用名为 Simple Captcha 的 gem 这需要在机器上安装 ImageMagick。我已经安装了它并且 convert --version 显示了这个 Version: Imag
我正在尝试使用名为 Simple Captcha 的 gem 这需要在机器上安装 ImageMagick。我已经安装了它并且 convert --version 显示了这个 Version: Imag
我正在使用 Spring JPA,我需要有一个 native 查询来调用存储过程。从结果中,我只需要获取两个字段,即代码和消息。我创建了一个包含两个字段代码和消息的类。它不起作用,这是我收到的错误:
我首先有多部分文件,我想将其发送到camel管道并使用原始名称保存该文件。 我的代码: @Autowired ProducerTemplate producerTemplate; ...
我的maven项目使用了spring、hibernate。我得到“没有这样的方法错误”。我相信这是由于依赖项中的版本冲突造成的,但不知道是什么。构建成功。但是在“NetBeans:在 GlassFis
TL;DR:Vaadin 8 中是否有类似于 Vaadin 7 的转换器来更新 UI 中输入字段的表示? IE。在输入字段失去焦点后立即从用户输入中删除所有非数字,或将小数转换为货币? Vaadin
我昨天问了一个问题here关于从匿名对象读取属性并将它们写入类的私有(private)字段。问题解决了。这是一个小故事: 我有一些 json 格式的数据。我将它们反序列化为 ExpandoObject
我是一名优秀的程序员,十分优秀!