python-3.x - 如何在 azure 机器学习工作室中保存和访问 pickle/hdf5 文件

Question

我有一个pickle文件parameters.pkl，其中包含模型的一些参数及其值。 pickle 文件是通过以下过程创建的:

dict={'scaler': scaler,
'features': z_tags,
'Z_reconstruction_loss': Z_reconstruction_loss} 
pickle.dump(dict, open('parameters.pkl', 'wb'))

model_V2.hdf5

我是 azure 机器学习工作室的新手。了解如何将 pickle 文件和 hdf5 文件存储在 Azure 机器学习工作室中以及如何创建 API 端点以便可以访问 pickle 文件将很有帮助通过API。目的是通过 API 访问 pickle 文件及其内容。我尝试了以下操作:

pip install azureml , azureml-core
from azureml.core import Workspace
from azureml.core.webservice import AciWebservice
from azureml.core.webservice import Webservice
from azureml.core.model import InferenceConfig
from azureml.core.environment import Environment
from azureml.core import Workspace
from azureml.core.model import Model
from azureml.core.conda_dependencies import CondaDependencies


ws = Workspace.create(
               name='myworkspace',            
               subscription_id='<azure-subscription-id>',           
               resource_group='myresourcegroup',                 
               create_resource_group=True,                 
               location='eastus2'                
               )

ws.write_config()

ws = Workspace.from_config()

model = Model.register(workspace = ws,
              model_path ="model/parameters.pkl",
              model_name = "parameters",
              tags = {"version": "1"},
              description = "parameters",
              )


# to install required packages
env = Environment('env')
cd = CondaDependencies.create(pip_packages=['pandas==1.1.5', 'azureml-defaults','joblib==0.17.0'], conda_packages = ['scikit-learn==0.23.2'])
env.python.conda_dependencies = cd
# Register environment to re-use later
env.register(workspace = ws)
print("Registered Environment")

myenv = Environment.get(workspace=ws, name="env")

myenv.save_to_directory('./environ', overwrite=True)

aciconfig = AciWebservice.deploy_configuration(
            cpu_cores=1,
            memory_gb=1,
            tags={"data":"parameters"},
            description='parameters MODEL',
            )

inference_config = InferenceConfig(entry_script="score.py", environment=myenv)

在以下评分脚本中要修改什么，因为我不想预测任何内容，只想访问存储在 pickle 文件中的参数值。

def init():
    global modelmodel_path = Model.get_model_path("parameters")
    print("Model Path is  ", model_path)
    model = joblib.load(model_path)

def run(data):
   try:
     data = json.loads(data)
     result = model.predict(data['data'])
     return {'data' : result.tolist() , 'message' : "Successfully 
            accessed"}
   except Exception as e:
      error = str(e)
      return {'data' : error , 'message' : 'Failed to access'}

Deploy the Model
service = Model.deploy(workspace=ws,
                name='iris-model',
                models=[model],
                inference_config=inference_config,
                deployment_config=aciconfig, 
                overwrite = True)
service.wait_for_deployment(show_output=True)
url = service.scoring_uri
print(url)

Answer 1

我们需要将模型作为外部服务和 Web 服务应用程序部署到 Azure 机器学习工作室。

按照以下步骤重现将模型部署为 Web 服务应用程序以执行 API 调用的工作。

注意:在继续执行这些步骤之前，请先准备好模型 pickle 文件

打开https://studio.azureml.net/

点击新建

然后点击从本地文件上传

选择要上传的 zip 文件

正在实验中上传数据集。

使用以下 Canvas 步骤创建模型 映射所有元素并执行 python 脚本后。单击设置网络服务

单击部署 Web 服务。