Azure Web 应用程序与数据湖集成

Question

我正在创建一个 python Web 作业，该作业运行脚本将存储在数据湖中的 Excel 数据转换为 csv。脚本如下:

import pandas as pd

df = pd.read_excel('path/excel file in data lake', 'sheet1',header=0)

df.to_csv('path/empty csv file in DL', encoding='utf-8')

上面的代码给出了操作系统错误:-

OSError: [Errno 22] Invalid argument: 'adl://DLstorename.azuredatalakestore.net/filename.xlsx'

任何人都可以建议我应该如何将我的网络作业与数据湖连接起来，以便它识别文件路径？

Answer 1

Pandas 无法直接与 Azure Data Lake Store 配合使用。相反，请尝试使用 ADLS python 模块连接到 ADLS 以获取文档，并且在 pandas 中完成使用后，再次使用它将其保存回来。

http://azure-datalake-store.readthedocs.io/en/latest/

希望有帮助!