gpt4 book ai didi

amazon-web-services - 将 Power BI 连接到 S3 存储桶

转载 作者:行者123 更新时间:2023-12-05 01:17:00 27 4
gpt4 key购买 nike

需要一些指导,因为我是 Power BI 和 Redshift 的新手..

我的原始 JSON 数据以 .gz 文件的形式存储在 Amazon S3 存储桶中(每个 .gz 文件有多行 JSON 数据)我想将 Power BI 连接到 Amazon s3 Bucket。到目前为止,根据我的研究,我得到了三种方法:

  1. Amazon S3 是一项 Web 服务,支持 REST API。我们可以尝试使用Web数据源来获取数据

问题:是否可以解压 .gz 文件(在 S3 存储桶或 Power BI 内部)、从 S3 提取 JSON 数据并连接到 Power BI

  • 将数据从 Amazon S3 导入 Amazon Redshift。使用 SQL 工作台在 Redshift 内进行所有数据操作。使用 Amazon Redshift 连接器获取 Power BI 中的数据
  • 问题 1:Redshift 是否允许从 S3 存储桶加载 .gzzipped JSON 数据?如果是,是直接可能的还是我必须为其编写任何代码?

    问题 2:我有 S3 帐户,是否需要单独购买 Redshift 帐户/空间?费用是多少?

  • 通过 Azure 数据工厂将数据从 AWS S3 存储桶移至 Azure Data Lake Store,使用 Azure Data Lake Analytics (U-SQL) 转换数据,然后将数据输出到 PowerBI
  • U-SQL 可识别文件扩展名为 .gz 的 GZip 压缩文件,并在提取过程中自动解压缩它们。如果我的 gzip 压缩文件包含 JSON 数据行,此过程是否有效?

    如果还有其他方法请告诉我,也请您对这篇文章提出宝贵的建议。

    提前致谢。

    最佳答案

    关于你的第一个问题:我最近刚刚遇到了类似的问题(但提取了 csv),我想注册我的解决方案。

    Power BI 仍然没有用于下载 S3 存储桶的直接插件,但您可以使用 python 脚本来完成此操作。 Get data --> Python Script

    PS:确保 boto3 和 pandas 库安装在您在 Power BI 选项中告知的 Python 主目录的同一文件夹(或子文件夹)中,或者在 Anaconda 库文件夹 (c:\users\USERNAME\anaconda3\lib\site-packages) 中。

    Power BI window for Python scripts options

    import boto3
    import pandas as pd

    bucket_name= 'your_bucket'
    folder_name= 'the folder inside your bucket/'
    file_name = r'file_name.csv' # or .json in your case
    key=folder_name+file_name

    s3 = boto3.resource(
    service_name='s3',
    region_name='your_bucket_region', ## ex: 'us-east-2'
    aws_access_key_id=AWS_ACCESS_KEY_ID,
    aws_secret_access_key=AWS_SECRET_ACCESS_KEY
    )

    obj = s3.Bucket(bucket_name).Object(key).get()
    df = pd.read_csv(obj['Body']) # or pd.read_json(obj['Body']) in your case

    数据帧将作为新查询导入(在本例中名为“df”)

    显然 pandas 库也可以获取压缩文件(例如 .gz)。请参阅以下主题:How can I read tar.gz file using pandas read_csv with gzip compression option?

    关于amazon-web-services - 将 Power BI 连接到 S3 存储桶,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51801521/

    27 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com