- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
当我使用 Pipe
而不是 File
作为input_mode
。我相应地将 TensorFlow Dataset
替换为 Pipemodedataset
。 File
模式下的训练成功完成。
我的数据由两个 s3 桶组成,每个桶中有多个 tfrecord 文件。尽管仔细阅读了文档,但我对如何在这种情况下使用 Pipemodedataset
没有信心 - 具体来说,如何设置 channel
。
这是我的 Sagemaker 笔记本设置:
hyperparameters = {
"batch-size": 1,
"pipe_mode": 1,
}
estimator_config = {
"entry_point": "tensorflow_train.py",
"source_dir": "source",
"framework_version": "2.3",
"py_version": "py37",
"instance_type": "ml.p3.2xlarge",
"instance_count": 1,
"role": sagemaker.get_execution_role(),
"hyperparameters": hyperparameters,
"output_path": f"s3://{bucket_name}",
"input_mode": "Pipe",
}
tf_estimator = TensorFlow(**estimator_config)
s3_data_channels = {
"training": f"s3://{bucket_name}/data/training",
"validation": f"s3://{bucket_name}/data/validation",
}
tf_estimator.fit(s3_data_channels)
如果我在 s3_data_channels
上运行 aws s3 ls
,我会得到一个 tfrecord 文件列表。
下面是我设置数据集的方式(根据是否选择pipe_mode
看if/else语句:
import tensorflow as tf
if __name__ == "__main__":
arg_parser = argparse.ArgumentParser()
...
arg_parser.add_argument("--pipe_mode", type=int, default=0)
arg_parser.add_argument("--train_dir", type=str, default=os.environ.get("SM_CHANNEL_TRAINING"))
arg_parser.add_argument(
"--validation_dir", type=str, default=os.environ.get("SM_CHANNEL_VALIDATION")
)
arg_parser.add_argument("--model_dir", type=str)
args, _ = arg_parser.parse_known_args()
AUTOTUNE = tf.data.experimental.AUTOTUNE
if args.pipe_mode == 1:
from sagemaker_tensorflow import PipeModeDataset
train_ds = PipeModeDataset(channel="training", record_format='TFRecord')
val_ds = PipeModeDataset(channel="validation", record_format='TFRecord')
else:
train_files = tf.data.Dataset.list_files(args.train_dir + '/*tfrecord')
val_files = tf.data.Dataset.list_files(args.validation_dir + '/*tfrecord')
train_ds = tf.data.TFRecordDataset(filenames=train_files, num_parallel_reads=AUTOTUNE)
val_ds = tf.data.TFRecordDataset(filenames=val_files, num_parallel_reads=AUTOTUNE)
train_ds = (
train_ds.map(tfrecord_parser, num_parallel_calls=AUTOTUNE)
.batch(args.batch_size)
.prefetch(AUTOTUNE)
)
val_ds = (
val_ds.map(tfrecord_parser, num_parallel_calls=AUTOTUNE)
.batch(args.batch_size)
.prefetch(AUTOTUNE)
)
...
最佳答案
我遇到了同样的问题,model.fit() 在使用管道模式时无限期地卡住了。经过一些研究并尝试了许多更改后,通过在拟合模型时定义 steps_per_epoch 解决了这个问题。
我想在使用文件模式时它已经知道每个纪元会有多少步,但是对于管道模式你必须手动指定它
关于tensorflow - 将 SageMaker 管道模式与 tfrecords 的 s3 目录一起使用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/69843184/
我正在试用 亚马逊 Sagemaker ,我还没有弄清楚我们如何进行持续培训。 例如,如果我在 s3 中有一个 CSV 文件,并且我想在每次更新 CSV 文件时进行训练。 我知道我们可以再次访问笔记本
SageMaker 端点的推理率是否有限制? 它是由端点后面的实例类型或实例数量以某种方式确定的吗? 我尝试以 AWS Service Quotas for SageMaker 的形式查找此信息但找不
在预处理存储在 s3 中的 2 GB 数据时,amazon sagemaker 中发生内存错误。加载数据没有问题。数据维度为 700 万行 64 列。一种热编码也是不可能的。这样做会导致内存错误。 笔
当我在 AWS SageMaker 上创建一个新作业时,使用我的自定义模板和人群表单(见附件示例)提交按钮不起作用,甚至无法点击。有没有办法让这项工作?尚未看到对 AWS 支持的良好回应。 $('#s
我正在尝试在 Amazon Sagemaker 中使用 python 构建超参数优化作业,但有些东西不起作用。这是我所拥有的: sess = sagemaker.Session() xgb = sag
我正在 P2.xlarge 实例中训练我的模型。当我下载数据集时,出现以下错误:“下载或提取过程中出现异常:[Errno 28] 设备上没有剩余空间”\ 我检查了 P2.xlarge 有 61GiB
目前我已经部署了一个 语义分割模型 和一个端点,我可以用它来调用和推理。现在,我一次得到每个图像的推论。 现在我想使用 一次尝试一批图像批量转换作业 .它工作得很好,但创建的图像是 .out 文件 我
我无法再查看项目、管道或创建新的笔记本。该投诉似乎与凭据相关。 Failed to launch app [None]. Error when retrieving credentials from
我有一个在特定数据集上训练的 sagemaker 模型,并创建了训练作业。现在我有一个新的数据集,模型必须在该数据集上进行训练,我如何根据现有模型的新数据重新训练模型?我们可以保存模型检查点吗? 最佳
我听说 Sagemaker Studio 会自动在主目录上创建 EFS。 EFS 主目录的大小是多少? 是否可以调整其大小? 我是 AWS 的完全初学者,所以如果有人回答我的问题,我会很高兴。 最佳答
如何将 SageMaker 笔记本的 jupyter 环境更新到最新的 Alpha 版本,然后重新启动该过程? 最佳答案 您好,感谢您使用 SageMaker! 要从 SageMaker Notebo
我有一个预先训练好的模型,它的工件保存在 S3 存储桶中。我试图弄清楚如何定义一个查看文档的估算器:https://sagemaker.readthedocs.io/en/stable/api/tra
我正在尝试在 SageMaker 中使用本地培训工作。 遵循此 AWS 笔记本 ( https://github.com/awslabs/amazon-sagemaker-examples/blob/
我正在写一个自定义 Estimator在 AWS Sagemaker 中,对于不支持开箱即用的框架。我有自己的 docker 图像用于训练,将训练代码捆绑到图像中,这迫使我每次代码更改时都重建图像。
我试图运行这个例子:tensorflow_abalone_age_predictor_using_layers,其中 abalone_predictor.predict(tensor_proto) 用
我试图避免将现有模型训练过程迁移到 SageMaker,并避免创建自定义 Docker 容器来托管我们训练的模型。 我希望将我们现有的、经过训练的模型注入(inject) AWS 通过 sagemak
请求帮助解决以下错误。 An error occurred (ModelError) when calling the InvokeEndpointoperation: Received client
我想从 Amazon SageMaker 上的笔记本中使用基于 mlflow 的用户界面。但是给定的地址http://127.0.0.1:5000似乎不起作用。 我已经在 SageMaker 笔记本上
能否在 SageMaker 上安装 Jupyter/JupyterLab 插件?我没有在 JupyterLab 或 SageMaker 界面中看到任何添加插件的选项。希望至少安装 VIM 插件。 最佳
这是一个基本的 AWS Sagemaker 问题。当我使用 Sagemaker 的一种内置算法运行训练时,我能够通过增加训练算法的 instance_count 参数来利用将作业分配给许多实例的巨大加
我是一名优秀的程序员,十分优秀!