amazon-s3 - Julia 从 s3 csv 文件加载数据框

Question

对于这个简单的用例，我很难找到一个在线示例:

将 CSV 文件从 s3 对象位置加载到 julia DataFrame。

以下是我尝试过但没有用的方法:

using AWSS3, DataFrames, CSV

filepath = S3Path("s3://muh-bucket/path/data.csv")

CSV.File(filepath) |> DataFrames            # fails

# but I am able to stat the file
stat(filepath)

#=
Status(  mode = -rw-rw-rw-,
  ...etc  
  size = 2141032 (2.0M),
  blksize = 4096 (4.0K),
  blocks = 523,
  mtime = 2021-09-01T23:55:26,
  ...etc
=#

我还可以在本地将文件读取为字符串对象:

data_as_string = String(AWSS3.read(filepath);
#"column_1\tcolumn_2\tcolumn_3\t...etc..."

我的 AWS 配置是有序的，我可以从本地访问 julia 的对象。

如何将其放入数据框中？

Answer 1

感谢 julia slack channel (#data) 上好心人的帮助。

bytes = AWSS3.read(S3Path("s3://muh-bucket/path/data.csv"))

typeof(bytes)
# Vector{UInt8} (alias for Array{UInt8, 1})

df = CSV.read(bytes, DataFrame)

宾果游戏，我在做生意。 CSV.jl 维护者提到 S3Path 类型过去在传递给 CSV.read 时起作用，因此将来可能会更简单。

Helpful SO post for getting AWS configs in order