machine-learning - AWS Sagemaker BlazingText 多个训练文件

Question

尝试了解您是否可以在 Amazon Sagemaker BlazingText 中为数据集使用多个文件。

我正在尝试在文本分类模式下使用它。

看来不可能，在文件模式下肯定不行，但想知道管道模式是否支持。我不想将所有训练数据放在 1 个文件中，因为如果它是由 EMR 集群生成的，我需要随后将其合并，这很笨重。

谢谢!

Answer 1

您说得对，文件模式不支持多个文件( https://docs.aws.amazon.com/sagemaker/latest/dg/blazingtext.html )。

管道模式理论上可以工作，但有一些注意事项:

• 预期格式为增强 list ( https://docs.aws.amazon.com/sagemaker/latest/dg/augmented-manifest.html )。这本质上是 Json 行，例如:

{"source":"linux ready for prime time ", "label":1}
{"source":"bowled by the slower one ", "label":2}

然后您必须将 _ AttributeNames_ 参数传递给 createTrainingJob SageMaker API(上面的链接对此进行了全部解释)。

• 对于增强 list ，目前仅支持一个标签。

为了使用管道模式，您需要修改 EMR 作业以生成增强 list 格式，并且每个句子只能使用一个标签。

在此阶段，将 EMR 作业生成的文件连接到单个文件似乎是最佳选择。