python - 使用 AzureMachineLearningFileSystem 更新时出现 NotImplementedError

Question

我在 azure 上上传时遇到问题 https://learn.microsoft.com/pl-pl/azure/machine-learning/how-to-access-data-interactive?view=azureml-api-2&tabs=adls我使用示例

from azureml.fsspec import AzureMachineLearningFileSystem
# instantiate file system using following URI
fs = AzureMachineLearningFileSystem('azureml://subscriptions/<subid>/resourcegroups/<rgname>/workspaces/<workspace_name>/datastores/<datastorename>/paths/')

# you can specify recursive as False to upload a file
fs.upload(lpath='data/upload_files/crime-spring.csv', rpath='data/fsspec', recursive=False, **{'overwrite': 'MERGE_WITH_OVERWRITE'})

# you need to specify recursive as True to upload a folder
fs.upload(lpath='data/upload_folder/', rpath='data/fsspec_folder', recursive=True, **{'overwrite': 'MERGE_WITH_OVERWRITE'})

这是官方解决方案。

当我尝试时

from azureml.fsspec import AzureMachineLearningFileSystem
# instantiate file system using following URI
fs = AzureMachineLearningFileSystem('azureml://subscriptions/'+auth_subscription_id+'/resourcegroups/'+auth_resource_group+'/workspaces/'+auth_workspace_name+'/datastores/azure_churn_lab_datastores/paths/')

# you can specify recursive as False to upload a file
fs.upload(lpath='/' + path + seq_name + '.csv', 
          rpath='/' + path_target)

我遇到 NotImplementedError 错误:我没有关于这个问题的信息...我尝试升级包azure sdk。

我想问你 - 这是实现问题还是 azure 问题？我知道使用文件夹上传的不同方式。

第二个问题如果你在python sdk2中准备数据并且默认路径是

您上传到 blob 容器。

,

还是留在这个路径(文件共享)？为什么？因为我看到 - 很少有人保存和上传;)

我使用 Visual Studio Code - 连接到

当我保存文件时

df.to_csv('/test.csv')

默认路径是文件共享代码

Answer 1

NotImplementedError: I haven't information about this problem...

使用 AzureMachineLearningFileSystem 类上传文件时出现 NotImplementedError 很可能是由于azureml-sdk 和 fsspec 包 之间存在版本冲突。要检查是否解决了问题，请尝试将这两个软件包更新到最新或相关版本。

我尝试使用与您选择默认目录(文件共享目录)相同的代码来上传文件。

代码:

from azureml.fsspec import AzureMachineLearningFileSystem

fs = AzureMachineLearningFileSystem('azureml://subscriptions/<SUB-ID>/resourcegroups/<RESOURCE-GROUP>/workspaces/<WORKSPACE-NAME>/datastores/workspaceworkingdirectory/paths/')

# you can specify recursive as False to upload a file
fs.upload(lpath='C:\\Users\\Downloads\\owid-covid-data.csv', rpath='data/fsspec', recursive=False, **{'overwrite': 'MERGE_WITH_OVERWRITE'})

上面的代码执行并上传了默认数据存储中的文件。

输出:

对于第二个问题，如果您处理大量非结构化数据，Blob 存储可能是更好的选择。文件共享 如果您需要更高级别的访问控制并且正在处理更少量的结构化数据，这可能是更好的选择。

引用: Access data from Azure cloud storage during interactive development - Azure Machine Learning | Microsoft Learn