amazon-sagemaker - BlazingText jsonlines 批量转换的问题

Question

我有一个如下所示的 jsonlines 文件:

{"id":123,"source":"this is a text string"}
{"id":456,"source":"this is another text string"}
{"id":789,"source":"yet another string"}

当我对仅包含源的文件运行 BlazingText 批量转换作业时，它可以正常工作。尝试连接输入和输出时，出现 Customer Error: Unable to decode payload: Incorrect data format。 (由 AttributeError 引起)。

有什么建议吗？

代码:

bt_transformer = bt_model.transformer(
    instance_count = 1,
    instance_type = "ml.m4.xlarge",
    assemble_with = "Line",
    output_path = s3_batch_out_data,
    accept = "application/jsonlines"
)

bt_transformer.transform(
    s3_batch_in_data, 
    content_type = "application/jsonlines",
    split_type = "Line", 
    input_filter = "$.source", 
    join_source = "Input", 
    output_filter = "$['id', 'SageMakerOutput']"
)

bt_transformer.wait()

Answer 1

在 {"id":123,"source":"this is a text string"} 上应用 "$.source"时，输出是 "this is a text string"而不是 {"source":"this是一个文本字符串"}，这可能是您遇到格式错误的原因。我想知道为什么您需要对 JSON 输入进行这样的过滤 - 算法不会自动忽略无法识别的 JSON 字段吗？