c# - C# 和 R 的 Gzip 字节数组不同

Question

我在 C# 上使用 RserveCLI2。我尝试将 R 生成的 gzip 字节数组传递给 C#，以便 C# 可以解压缩它。但是我无法让它工作。我在对字符串“ABCDEF”进行 gzip 压缩时对 R 和 C# 生成的字节数组进行了一些比较。这是结果。

    # R gzip compression command and result
    > as.numeric(memCompress(charToRaw("ABCDEF"),"gzip"))
    [1] 120 156 115 116 114 118 113 117   3   0   5 126   1 150

    # C-sharp gzipstream compress result
    byte[] data1 = Encoding.ASCII.GetBytes("ABCDEF");
    var memoryStream = new MemoryStream();
    using (var gz = new GZipStream(memoryStream, CompressionMode.Compress))
    {
        gz.Write(data1, 0, data1.Length);
    }

    memoryStream.ToArray()
  {byte[26]}
  [0]: 31
  [1]: 139
  [2]: 8
  [3]: 0
  [4]: 0
  [5]: 0
  [6]: 0
  [7]: 0
  [8]: 4
  [9]: 0
  [10]: 115
  [11]: 116
  [12]: 114
  [13]: 118
  [14]: 113
  [15]: 117
  [16]: 3
  [17]: 0
  [18]: 105
  [19]: 254
  [20]: 118
  [21]: 187
  [22]: 6
  [23]: 0
  [24]: 0
  [25]: 0

我做了一些研究，gzip 字节数组应该以 31 和 139(十六进制 1F 和 8B)开头。在这种情况下，C# 字节数组似乎是正确的。所以我想知道为什么 R 字节数组与 C# 相比如此不同？有没有办法让R生成类似于C#的字节数组？谢谢。

Answer 1

这应该会为您提供所需的结果。它是现已失效的 Rcompression 包中函数的修改版本。我发现内置的 mem* 函数几乎没用:

library(inline)

gz_compress <- cfunction(
  sig=c(r_content="raw"),
  body="
  int status, numProtects = 0, level = 1, method = Z_DEFLATED, 
      windowBits = 15+16, memLevel = 9, strategy = 0;
  uLongf destLen = 0;
  z_stream strm;  

  strm.zalloc = NULL;
  strm.zfree = NULL;
  strm.opaque = NULL;
  strm.total_out = 0;
  strm.next_in = RAW(r_content);
  strm.avail_in = GET_LENGTH(r_content);

  SEXP r_result = Rf_allocVector(RAWSXP, strm.avail_in * 1.01 + 12);

  status = deflateInit2(&strm, level, method, windowBits, memLevel, strategy);
  if(status != Z_OK) return(r_content);

  destLen = GET_LENGTH(r_result);

  do {
    strm.next_out = RAW(r_result) + strm.total_out;
    strm.avail_out = destLen - strm.total_out;

    status = deflate(&strm, Z_FINISH);
    if (status == Z_STREAM_END) 
      break;
    else if (status == Z_OK) {
      SET_LENGTH(r_result, 2*destLen);
      PROTECT(r_result); numProtects++;
      destLen *= 2;
    } else if (status == Z_MEM_ERROR) {
      return(r_content);
    }
  } while(1);

  SET_LENGTH(r_result, strm.total_out);

  deflateEnd(&strm);

  if (numProtects) UNPROTECT(numProtects);

  return(r_result);
  ",
  includes=c("#include <zlib.h>", "#include <Rdefines.h>", "#include <Rinternals.h>", '#include "R_ext/Memory.h"', '#include "R_ext/Utils.h"'),
  libargs="-lz"
)

您可以看到它产生了更明智的结果:

gz_compress(charToRaw("ABCDEF"))
## [1] 1f 8b 08 00 00 00 00 00 04 03 73 74 72 76 71 75 03 00 69 fe 76 bb 06 00 00 00

as.integer(gz_compress(charToRaw("ABCDEF")))
## [1]  31 139   8   0   0   0   0   0   4   3 115 116 114 118 113 117   3   0 105 254 118 187   6   0   0   0

如果有足够的需求，我可以复活并制作 Rcompression 包的现代版本(我不得不为自己和工作项目复活它，但很高兴有一个更公开的版本)比内联 C 代码更容易使用的版本)。

---

我把它放入一个小包中，您可以使用它来安装:

devtools::install_github("hrbrmstr/gzmem")

现在，您所要做的就是:

library(gzmem)

mem_compress(charToRaw("ABCDEF"))
## [1] 1f 8b 08 00 00 00 00 00 04 03 73 74 72 76 71 75 03 00 69 fe 76 bb 06 00 00 00

rawToChar(mem_inflate(mem_compress(charToRaw("ABCDEF")), 32))
## [1] 41 42 43 44 45 46

本周晚些时候将会有一个更好的 mem_inflate() 版本。