- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在尝试找出使用缓冲区和 snappy 的最佳方式在 rust 中。之前,我正在使用 BufWriter
写入文件.但现在我也想添加压缩。上面的 snappy crate 的 compress
函数需要一个 &[u8]
作为参数,但是 BufWriter
不会让我访问它的缓冲区传给活泼的。我研究了两种方法来解决这个问题。
在第一种方式中,我使用向量 (with_capacity) 而不是 BufWriter
作为我的缓冲区,并创建了一个写入函数,以确保写入向量不会导致它重新分配。如果可以,我改为压缩缓冲区中当前的内容,然后将其写出到文件并释放向量(漏函数)。我根据 BufWriter
所做的事情写了这篇文章。缺点是因为它是一个向量,如果缓冲区超出范围,它不会自动将缓冲区刷新到文件中。我必须在写入文件的范围内手动执行此操作,我不喜欢这样做。
另一方面,我或多或少地复制了 BufWriter
源代码,只是更改了 flush
函数以在将其输出到文件。这种方式似乎是最好的,但我只是不喜欢只复制代码的想法。
继续这两个选项或其他选项的最佳方法是什么?
如果相关,我写入缓冲区的对象始终具有相同的大小,并且我的缓冲区大小是对象大小的倍数。
最佳答案
因为看起来 snappy 需要一次压缩所有内容,所以您只需要缓冲所有内容直到结束。然后您可以在最后刷新和压缩:
use std::io::{self, Write, Cursor};
fn compress(_data: &[u8]) -> Vec<u8> {
// The best compression ever
b"compressed".as_ref().into()
}
struct SnappyCompressor<W> {
inner: W,
buffer: Vec<u8>,
}
impl<W> SnappyCompressor<W>
where W: Write
{
fn new(inner: W) -> Self {
SnappyCompressor {
inner: inner,
buffer: vec![],
}
}
}
impl<W> Write for SnappyCompressor<W>
where W: Write
{
fn write(&mut self, data: &[u8]) -> io::Result<usize> {
self.buffer.extend(data);
Ok(data.len())
}
fn flush(&mut self) -> io::Result<()> {
let compressed = compress(&self.buffer);
self.inner.write_all(&compressed)
}
}
fn main() {
let mut output = Cursor::new(vec![]);
{
let mut compressor = SnappyCompressor::new(output.by_ref());
assert_eq!(5, compressor.write(b"hello").unwrap());
assert_eq!(5, compressor.write(b"world").unwrap());
compressor.flush().unwrap();
}
let bytes = output.into_inner();
assert_eq!(&b"compressed"[..], &bytes[..]);
}
这个解决方案有一个很大的问题 — 我们使用 flush
来标记流的结尾,但这并不是该方法的真正含义。使用纯流压缩器可能会好得多,但有时你必须做你必须做的事情。
还有一些地雷:
flush
flush
两次。要允许用户简单地放下压缩器并让它完成,您可以实现Drop
:
impl<W> Drop for SnappyCompressor<W>
where W: Write
{
fn drop(&mut self) {
self.flush().unwrap();
}
}
为了防止尝试刷新两次,您需要添加一个标志来跟踪:
fn write(&mut self, data: &[u8]) -> io::Result<usize> {
if self.is_flushed {
return Err(Error::new(ErrorKind::Other, "Buffer has already been compressed, cannot add more data"));
}
self.buffer.extend(data);
Ok(data.len())
}
fn flush(&mut self) -> io::Result<()> {
if self.is_flushed {
return Ok(())
}
self.is_flushed = true;
let compressed = compress(&self.buffer);
self.inner.write_all(&compressed)
}
总而言之,最终版本如下所示:
use std::io::{self, Write, Cursor, Error, ErrorKind};
fn compress(_data: &[u8]) -> Vec<u8> {
// The best compression ever
b"compressed".as_ref().into()
}
struct SnappyCompressor<W>
where W: Write
{
inner: W,
buffer: Vec<u8>,
is_flushed: bool,
}
impl<W> SnappyCompressor<W>
where W: Write
{
fn new(inner: W) -> Self {
SnappyCompressor {
inner: inner,
buffer: vec![],
is_flushed: false,
}
}
// fn into_inner
}
impl<W> Write for SnappyCompressor<W>
where W: Write
{
fn write(&mut self, data: &[u8]) -> io::Result<usize> {
if self.is_flushed {
return Err(Error::new(ErrorKind::Other, "Buffer has already been compressed, cannot add more data"));
}
self.buffer.extend(data);
Ok(data.len())
}
fn flush(&mut self) -> io::Result<()> {
if self.is_flushed {
return Ok(())
}
self.is_flushed = true;
let compressed = compress(&self.buffer);
self.inner.write_all(&compressed)
}
}
impl<W> Drop for SnappyCompressor<W>
where W: Write
{
fn drop(&mut self) {
self.flush().unwrap();
}
}
fn main() {
let mut output = Cursor::new(vec![]);
{
let mut compressor = SnappyCompressor::new(output.by_ref());
assert_eq!(5, compressor.write(b"hello").unwrap());
assert_eq!(5, compressor.write(b"world").unwrap());
compressor.flush().unwrap();
}
let bytes = output.into_inner();
assert_eq!(&b"compressed"[..], &bytes[..]);
}
关于rust - 对缓冲区使用 Snappy 压缩,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33111737/
这个问题在这里已经有了答案: Possible to make an event handler wait until async / Promise-based code is done? (2
我经常有多个运行的进程(R,Python,eshell/shell),对于每个进程,我经常都有一个相关的脚本,可以从中发送摘要。为此,我通常将每个框架垂直地分成两个窗口,以便脚本文件(例如.py)位于
如何修改 emacs 在关闭缓冲区后选择要显示的缓冲区的方式? 当我有多个列显示相同的缓冲区,然后在其中一个缓冲区中打开另一个文件,然后关闭新打开的缓冲区时,它不会切换回前一个缓冲区,而是切换到另一个
如何将 ex 命令复制到剪贴板或粘贴到缓冲区? 在 Windows 上使用 gvim。 最佳答案 windows剪贴板可以通过the buffer + 访问.因此,可以使用 + 将剪贴板粘贴为前命令。
在 javascript 中如何以比以下更简单的方式获取 b 缓冲区? var num=6553599 var a = new Buffer(4); a.writeInt32LE(num)
每次我在 Google 上搜索有关 OpenGL 编程的文章时,我都会找到一些文章,但似乎所有文章都提到了着色器和缓冲区。那些是什么?你能解释其中的一些吗: 深度缓冲区 模板缓冲区 像素着色器 帧缓冲
我有java考试,当我学习时,我看到了这个练习,我尝试解决它,但我发现一些困难,所以请帮助我考虑实用程序中方法的以下注释、 header 和部分代码名为 Atbash 的加密类。 /**
每次我在 Google 上搜索有关 OpenGL 编程的文章时,我都会找到一些文章,但似乎所有文章都提到了着色器和缓冲区。那些是什么?你能解释其中的一些吗: 深度缓冲区 模板缓冲区 像素着色器 帧缓冲
对于每个属性使用跨步顶点缓冲区与紧密打包缓冲区有何优缺点?我的意思是例如: 步幅:xyzrgb xyzrgb xyzrgb 紧:xyzxyzxyz rgbrgbrgb 乍一看,使用步幅时您似乎可以轻松
我正在尝试将文本文件中每行的数字读取到 ArrayList 中。当我执行以下函数时,它总是跳过最后一个元素。有人可以帮我吗?因为我在这里没有遇到问题,因为它读取直到缓冲区为空,所以他应该在到达 Fil
#include #include int main () { time_t time_raw_format; struct tm * ptr_time; char *buff
基本上我有一个包含不同类型数据的自定义结构。例如: typedef struct example_structure{ uint8_t* example_1[4]; int example_2[4];
我之前的列表实现是一个简单的 LinearLayout,位于一个装满我的项目的 ScrollView 中。 我切换到 ListView 的 Android 实现以简单地使用 CursorAdapter
我想创建一个可变长度的输入事件窗口/缓冲区,当它接收到额外的事件时会变长。 这是为了实现“键入时搜索”功能。我想捕获点击,但为了不给服务器造成压力,我想明智地进行服务调用。 我想到的逻辑是缓冲击键,从
我想将 yuv420P 像素写入缓冲区而不是二进制文件。假设我在指针中存储了 luma 、 Cb 和 Cr。 luma = output_pixel.luma; cb = output_pixel.c
我想在 Go 中构建一个支持多个并发读取器和一个写入器的缓冲区。所有写入缓冲区的内容都应由所有读者读取。允许新读者随时加入,这意味着已经写入的数据必须能够为迟到的读者回放。 缓冲区应满足以下接口(in
本文转载自微信公众号「小明菜市场」,作者小明菜市场。转载本文请联系小明菜市场公众号。 前言 Java NIO 需要理解的主要有缓冲区,通道,选择器,这三个主要的部分。 基础
一 点睛 NIO,可以称为 New IO 或 Non Blocking IO,是在 JDK 1.4 后提供的新 API。传统的I/O 是阻塞式的 I/O、面向流的操作;而 NIO 是非阻塞 I/O 、
我正在寻找一种切换到包含搜索文本的缓冲区的方法。 例如。如果我打开了 100 个缓冲区,我想切换到一个包含 'fooBar = 1' 的缓冲区 最佳答案 我写了一个 Vim 插件来做到这一点:buff
我正在尝试将提取的视频帧(我使用 ffmpeg)推送到 FFMPEG 缓冲区中。我已经查看了 ffmpeg 的缓冲区源文件,例如 buffersrc.c 和 fifo.c,以确定我是否可以这样做,但我
我是一名优秀的程序员,十分优秀!