java - MessagePack 是否允许填充整数？

Question

我正在尝试使用 MessagePack 在 Erlang 和 Java 中序列化整数。

在 Java 中，我可以用任意数量的 0 填充一个包含一个整数的数组，并且 MessagePack.read()仍然返回正确的值。但在 Erlang msgpack:unpack/1如果有任何额外的零，则会失败。

例如，msgpack:unpack/1通过<<10>>按预期返回 {ok,10} 。但添加额外的零并传递 <<10,0,0>>失败，返回{error,not_just_binary} 。 API 中的注释指出，该错误意味着术语已解码，但二进制仍保留。

Answer 1

msgpack 库并不用于解码原始二进制文件，而是用于解码之前使用 msgpack:pack 编码的二进制文件。

原因是二进制文件本身没有结构，因此必须在其中包含一些信息才能进行解码。这就是像 term_to_binary 这样的函数所做的事情，使用 erlang 外部格式:

1> B = term_to_binary({12,atom,[$a,$l,$i,$s,$t]}).
<<131,104,3,97,12,100,0,4,97,116,111,109,107,0,5,97,108,
  105,115,116>>
2> binary_to_term(B).
{12,atom,"alist"}

msgpack库允许使用其他编码方法。

来谈谈你的问题。 unpack 和 unpack_stream 之间的区别在于，第一个期望二进制文件中有一个编码术语，而第二个假设尾部二进制文件包含其他编码术语。

当您调用msgpack:unpack(<<10>>)时，它落在第一个元素小于 128 的情况:在这种情况下，编码值是值本身。如果您尝试使用大于 127 的值，则会出现错误:

4> msgpack:unpack(<<10>>).
{ok,10}
5> msgpack:unpack(<<200>>).
{error,incomplete}
6>

当您调用msgpack:unpack_stream(<<10>>)时，它的作用完全相同，因此第一个元素被解码，结果为 10，二进制的其余部分被提供用于进一步解码:

8> {A,Rest} = msgpack:unpack_stream(<<10,0>>).
{10,<<0>>}
9> msgpack:unpack_stream(Rest).               
{0,<<>>}
10> msgpack:unpack_stream(<<200,0>>).            
{error,incomplete}
11> msgpack:unpack_stream(<<200,0,0>>).
{error,incomplete}
12> msgpack:unpack_stream(<<200,0,0,0>>).
{error,{badarg,{bad_ext,200}}}
13> 

使用该库的正确方法是首先对您的消息进行编码:

13> Msg = msgpack:pack(<<10,0,0>>).
<<163,10,0,0>>
14> msgpack:unpack(Msg).                 
{ok,<<10,0,0>>}

或者第一个例子:

24> Msg1 = msgpack:pack(msgpack:term_to_binary({12,atom,[$a,$l,$i,$s,$t]})).     
<<183,199,20,131,131,104,3,97,12,100,0,4,97,116,111,109,
  107,0,5,97,108,105,115,116>>
25> {ok,Rep1} = msgpack:unpack(Msg1).                                       
{ok,<<199,20,131,131,104,3,97,12,100,0,4,97,116,111,109,
      107,0,5,97,108,105,115,116>>}
26> msgpack:binary_to_term(Rep1).
{12,atom,"alist"}
27> 

[编辑]

这里建议添加填充和检测它的解包器。它使用 unpack_stream，因为无法修改整数的编码方式。

Packer = fun(X, Opt) -> {ok, {12,<<>>}} end,
Unpacker = fun(12, _) -> {ok, padding} end,
Opt = [{ext,{Packer,Unpacker}}],
Pad = fun(B) -> Size = 10 - size(B), SB = Size*8,<<B/binary,16#C7,Size,12,0:SB>> end,
R = msgpack:pack(256897),
Var = Pad(R),
{I,Rest} = msgpack:unpack_stream(Var,Opt),
{padding,<<>>} = msgpack:unpack_stream(Rest,Opt).