csv - 如何迭代/流式传输 gzip 文件(包含单个 csv)？

Question

如何迭代包含单个文本文件 (csv) 的 gzip 文件？

搜索 crates.io 我找到了 flate2其中解压代码如下:

extern crate flate2;

use std::io::prelude::*;
use flate2::read::GzDecoder;

fn main() {
    let mut d = GzDecoder::new("...".as_bytes()).unwrap();
    let mut s = String::new();
    d.read_to_string(&mut s).unwrap();
    println!("{}", s);
}

如何流式传输 gzip csv 文件？

Answer 1

对于流 io 操作，rust 有 Read和 Write特质。要按行迭代输入，您通常需要 BufRead trait，你总是可以通过在 BufReader::new 中包装一个 Read 实现来获得它.

flate2 已经具备这些特征； GzDecoder 实现了 Read，而 GzDecoder::new 接受了任何实现了 Read 的东西。

解码 stdin 的示例(当然在 playground 上效果不佳):

extern crate flate2;

use std::io;
use std::io::prelude::*;
use flate2::read::GzDecoder;

fn main() {
    let stdin = io::stdin();
    let stdin = stdin.lock(); // or just open any normal file

    let d = GzDecoder::new(stdin).expect("couldn't decode gzip stream");

    for line in io::BufReader::new(d).lines() {
        println!("{}", line.unwrap());
    }
}

然后你可以用你通常的(“没有gzip”)逻辑解码你的行；也许通过采用任何输入实现 BufRead 使其通用。