python - AWS Lambda : read csv file dimensions from an s3 bucket with Python without using Pandas or CSV package

Question

下午好。我希望有人可以帮助我解决这个问题。

我的 s3 文件夹中有多个 CSV 文件。我想使用没有 Pandas 的 python 和 csv 包(因为 aws lambda 的可用包非常有限，并且有大小限制)并循环遍历 s3 存储桶中的文件，并读取 csv 尺寸(长度行和列的长度)

例如，我的 s3 文件夹包含两个 csv 文件(1.csv 和 2 .csv)我的代码将运行指定的 s3 文件夹，并将行数和列数放入 1 个 csv 和 2 个 csv 中，并将结果放入新的 csv 文件中。我非常感谢你的帮助!我可以使用 Pandas 包来做到这一点(感谢上帝，Pandas，但是 aws lambda 有限制，限制了我可以使用的内容)

AWS lambda 使用 python 3.7

Answer 1

如果您可以在 lambda 函数中访问 s3 资源，那么基本上这样做是为了检查行，

def lambda_handler(event, context):
    import boto3 as bt3
    s3 = bt3.client('s3')
    csv1_data = s3.get_object(Bucket='the_s3_bucket', Key='1.csv')
    csv2_data = s3.get_object(Bucket='the_s3_bucket', Key='2.csv')

    contents_1 = csv1_data['Body'].read()
    contents_2 = csv2_data['Body'].read()
    rows1 = contents_1.split()
    rows2=contents_2.split()    
    return len(rows1), len(rows2)

它应该可以直接运行，如果不能，请告诉我。顺便说一句，像我在示例中所做的那样将存储桶和文件名硬编码到函数中根本不是一个好主意。

问候。