个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
我使用 PythonScriptStep 制作了两个脚本，其中 data_prep.py 通过执行一些数据转换来准备数据集，然后将其发送到 train.py 以在 AzureML 中训练 ML 模型。
可以使用 PipelineData 和 OutputFileDatasetConfig 在管道步骤之间传递数据，但是这些似乎将数据保存在 azure blob 中。
问:如何在步骤之间发送数据而不将数据保存在任何地方？
最佳答案
数据必须以某种方式传递。
您可以通过更改输出数据存储来影响存储帐户。如果数据只是数字的集合，您可以在脚本之间传递“虚拟”数据(例如，空文本文件)，并让上游使用 Run.get_context().log(*) 将这些数字记录为指标。或 MLFlow，下游加载这些值。
从根本上来说，如果信息不存储在某个地方，就无法在步骤之间传递信息，无论是“默认 Blob 存储”、另一个存储帐户还是工作区中的指标。
关于AzureML 在管道之间传递数据而不保存数据，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/68843120/
25
4
0
我正在尝试使用 AMLCompute 实例来预处理我的数据。为此，我需要能够将处理后的数据写回数据存储。我采用这种方法是因为集群在完成后会自动关闭，这样我就可以让它运行直到完成，而不必担心付出比需要更
我使用 PythonScriptStep 制作了两个脚本，其中 data_prep.py 通过执行一些数据转换来准备数据集，然后将其发送到 train.py 以在 AzureML 中训练 ML 模型。
我试图使用 Run 类注册一个模型，如下所示: model = run.register_model( model_name=model_name, model_path=model_
我使用 PythonScriptStep 制作了两个脚本，其中 data_prep.py 通过执行一些数据转换来准备数据集，然后将其发送到 train.py 以在 AzureML 中训练 ML 模型。
我试图使用 Run 类注册一个模型，如下所示: model = run.register_model( model_name=model_name, model_path=model_
我需要使用 Azure 机器学习来开发管道。在此管道中，我们不将数据作为输入/输出传递，而是传递变量(例如列表或整数)。我查看了 Microsoft 文档，但似乎找不到适合我的情况的内容。还尝试使用
如果我在 Hadoop 集群或 SQL Elastic DB 中有数据，ML 是否会将这些数据带到 ML 服务器上，或者将其留在 Hadoop/sql 上并在那里运行分析？ 最佳答案 目前，Azure
我正在尝试创建一个流程，作为不同的实验进行训练测试分割、训练、验证、获得最佳模型(在 8 个差异算法中)并进行预测。问题是我需要创建实验的依赖性，并且我需要这方面的帮助。我知道 azure ml 管道
我正在尝试创建一个流程，作为不同的实验进行训练测试分割、训练、验证、获得最佳模型(在 8 个差异算法中)并进行预测。问题是我需要创建实验的依赖性，并且我需要这方面的帮助。我知道 azure ml 管道
我想知道 Azure 机器学习工作室中的feature numeric 和 numeric 列有什么区别。 documentation site状态: Because all columns are
我想使用 AzureML 执行超参数搜索。我的模型很小(大约 1GB)，因此我想在同一个 GPU/节点上运行多个模型以节省成本，但我不知道如何实现这一点。 我当前提交作业的方式如下(导致每个 GPU/
我正在使用 Python SDK 将经过训练的模型部署到 Azure 机器学习上的 ACI 端点。 我已经创建了我的 score.py 文件，但我希望通过传递的参数调用该文件(就像使用训练文件一样)，
我可以使用 Run.log 记录和获取指标到 AzureML，但是，我还需要一种方法来记录运行参数，例如学习率或动量。我似乎无法在 AzureML Python SDK 文档中找到任何内容来实现此目的
这是一种将运行 ID 与 Blob 存储链接起来的方法吗？我知道如何查找每个步骤的信息，这些信息存储在 default blob > azureml > ExperimentRun > dcid.st
我正在尝试通过 sdk 安装数据存储，如下所示 import tempfile import os mounted_path = tempfile.mkdtemp() mount_context =
我已经在 AzureML Designer 上构建了一个管道，并且正在尝试使用管道参数，但我无法在 python 脚本模块上获取这些参数的值。 https://learn.microsoft.com/
我有一个名为 data 的文件夹，里面有一堆 csv(大约 80 个)，文件大小相当小。该数据是干净的并且已经过预处理。我想上传此数据文件夹并在 azureml 中注册为数据存储。对于这种情况，使用文
背景:我正在开发一个项目，旨在使用 Azure ML 中的情绪分析将产品评论分为正面和负面。当我将评论分类到不同的部门时，我陷入了困境。 我基本上是从 csv 文件中读取单词并检查评论(v:句子列表)
在 Azure 数据工厂中使用 AzureMLBatchExecution 事件时，将数据库查询作为全局参数传递给 AzureML Web 服务是否安全？ 最佳答案 当您谈论“安全”时，您是否担心 A
使用 Azure 设计器创建模型并创建实时推理管道后，我想在本地脚本中使用经过训练的工件。我试图在 Azure 存储资源管理器中查找 model.py，但找不到它，也找不到使用 pytorch 调用训
我是一名优秀的程序员,十分优秀！