python - Azure 机器学习工作室 : OSError: Cannot save file into a non-existent directory

Question

我正在使用Azure ML Studio通过创建数据 Assets 从 csv 文件读取数据 test5并将数据写入我当前工作目录的 csv 文件(失败)。我正在使用 Compute Cluster 提交作业和一个 Custom Environment我正在按照 this 的指示进行操作教程。

我在笔记本中编写的代码如下:

 from azure.ai.ml import MLClient
 from azure.identity import DefaultAzureCredential
 credential = DefaultAzureCredential()
 ml_client = MLClient(
     credential=credential,
     subscription_id="abc",
     resource_group_name="xyz",
     workspace_name="pqr",
 )
 from azure.ai.ml import command
 from azure.ai.ml import Input
    
 registered_model_name = "read_data"
 env_name = "docker-context"
 job = command(inputs=dict(data=Input(type="uri_file",path="azureml:test5:1",),
         registered_model_name=registered_model_name
     ),   
     code="./src/",g
     command="python main.py --data ${<!-- -->{inputs.data}} --registered_model_name ${<!-- -->{inputs.registered_model_name}}",
     environment="docker-context:10",
     compute="amlcluster01",
     experiment_name="read_data1",
     display_name="read_data2",
     )
 ml_client.create_or_update(job)

这很好用。 main.py的内容文件是:

 import os
 import argparse
 import pandas as pd
    
 def main():
     print("Hello")
      # input and output arguments
     parser = argparse.ArgumentParser()
     parser.add_argument("--data", type=str, help="path to input data")
     parser.add_argument("--registered_model_name", type=str, help="model name")
     args = parser.parse_args()
     print(" ".join(f"{k}={v}" for k, v in vars(args).items()))
     print("input data:", args.data)
     read_data=pd.read_csv(args.data)
     #read_data=pd.read_parquet(args.data, engine='pyarrow')
     #credit_df = pd.read_excel(args.data, header=1, index_col=0)
     print(read_data)
     read_data.to_csv(r'/home/azureuser/cloudfiles/code/Users/Ankit19.Gupta/azureml-in-a-day/src/file3.csv')
    
     print("Hello World !")
    
 if __name__ == "__main__":
     main()

在这里，除了 read_data.to_csv(r'/home/azureuser/cloudfiles/code/Users/Ankit19.Gupta/azureml-in-a-day/src/file3.csv') 之外，所有代码行都可以正常工作。 .

错误消息显示为:OSError: Cannot save file into a non-existent directory:/home/azureuser/cloudfiles/code/Users/Ankit19.Gupta/azureml-in-a-day/src .

任何人都可以帮助我如何通过作业将数据帧保存到 csv 文件中到我当前的工作目录中。任何帮助将不胜感激。

编辑: 正如 msamsami 在答案中提到的代码，当我替换 read_data.to_csv(r'/home/azureuser/cloudfiles/code/Users/Ankit19.Gupta/azureml-in-a-day/src/file3.csv') 时与

file_path = os.path.join(os.getcwd(), 'file3.csv')
read_data.to_csv(file_path)
print(f"read_data saved to {file_path}")

我得到上述打印语句的以下输出:

read_data saved to /mnt/azureml/cr/j/28bec1ee580a400894b48e5d8576f6ca/exe/wd/file3.csv

Answer 1

该错误告诉您要保存 CSV 的目录不存在。因此，为了确保一切正确，您应该确保“Ankit19.Gupta”下存在一个“azureml-in-a-day”文件夹，并且“azureml-in-a-”下的“src”文件夹也存在相同的文件夹日”。

另外，试试这个:

import os

...

file_path = os.path.join(os.getcwd(), 'file3.csv')
read_data.to_csv(file_path)

print(f"read_data saved to {file_path}")