c++ - 来自 iostream 或内存缓冲区的 Apache Arrow 表

Question

我有一些代码可以使用 AWS API 从 AWS S3 检索 Parquet 文件。结果是一个标准的 iostream:

   std::basic_iostream< char, std::char_traits<char>> 

据此，我想创建一个 Apache 箭头表，而无需将 iostream 保存到本地文件然后加载。但是，我在 API 中看不到任何帮助。 Arrow 只提供从文件加载 parquet 的接口(interface)。

Answer 1

对直接 S3 支持的初步支持已添加到 master .您应该能够生成一个文件，该文件可以使用新 API 传入以供 Parquet 读取。我的理解是，这也是建立在官方 S3 客户端之上的，因此您也可以根据您的用例调整代码。