java - 从tcp字节流中提取协议(protocol)数据单元的有效方法

Question

我有两个 Java 项目(简单的多人游戏)，它们依赖于基于字节的面向连接协议(protocol)用于沟通。

在这两种情况下，我都对通信的实现不满意，因为我无法想出一种智能的、非冗长的和面向对象的编写方式，尤其是解析字节的方式。

<小时/>

对于写作，我有类似的东西

ProtocolDataUnitX pdux = new ProtocolDataUnitX("MyName", 2013);
int[] bytes = pdux.getBytes();
out.write(bytes); // surrounded with try/catch etc.

这在某种程度上是可以接受的，因为我有一个带有一些字节转换便利方法的 AbstractPDU 类。但我必须定义 getBytes() 方法对于每个协议(protocol)数据单元 (pdu)。我解析传入字节流的方法缺乏更多创新。

private InputStream in;

...

@Override
public void run() {

    int c;
    while ((c = in.read()) != -1)) {
                if (c == 0x01) {
                    // 0x01 means we have pdu #1 and can continue reading
                    // since we know what is coming.
                    // after we have all bytes and know the pdu
                    // we can determine the paramters. I.e., every pdu has a
                    // reverse constructor: bytes -> pdu
                }

<小时/>

问题

您如何处理这些情况？这里的最佳实践是什么？有些协议(protocol)对总长度字段进行编码，有些则没有。一些协议(protocol)数据单元具有可变长度。这里有合理的方法吗？也许某种模式定义？我不想再为此编写丑陋且令人困惑的代码。

Answer 1

摘要:最佳实践是使用现有的、成熟的协议(protocol)编译器。 Google protobufs 是一个流行的选择。

<小时/>

多年来，已经开发了许多协议(protocol)定义系统。其中大多数包括编译器，它们采用协议(protocol)描述并生成客户端和服务器代码，通常采用多种语言。这样的编译器的存在对于不限于单个客户端(或服务器)实现的项目非常有帮助，因为它允许其他团队使用标准 PDU 定义轻松创建自己的客户端或服务器。此外，正如您所观察到的，创建一个干净的面向对象的接口(interface)并非易事，即使是像 Java 这样具有您需要的大部分功能的语言也是如此。

PDU 是否应该具有明确的长度或 self 定界(例如，带有结束指示符)的问题很有趣。显式长度有很多优点:一方面，不需要有完整的解析器来接受 PDU，这可以更好地隔离反序列化与传输。如果传输由 PDU 流组成，则显式长度字段使错误恢复更简单，并允许尽早将 PDU 分派(dispatch)给处理程序。显式长度字段还使得将 PDU 嵌入到另一个 PDU 中变得更加容易，这通常很有用，特别是当 PDU 的某些部分必须加密时。

另一方面，显式长度字段要求在传输之前将整个 PDU 组装在内存中，这对于大型 PDU 来说很尴尬，并且不可能使用单个 PDU 进行流式传输。如果长度字段本身是可变长度的(这几乎总是必要的)，那么创建 PDU 组件就会变得很困难，除非在开始时就知道最终长度。 (此问题的一种解决方案是向后创建序列化字符串，但这也很尴尬，并且不适用于流式传输。)

总的来说，尽管有些系统允许“分块”，但平衡仍然有利于显式长度字段。分块的一种简单形式是定义最大块大小，并将具有最大大小的连续 block 与尺寸小于最大值的第一个后续 block 连接起来。 (能够指定 0 长度的 block 非常重要，以防 PDU 是最大大小的偶数倍。)这是一个合理的折衷方案；它允许流媒体(需要一些工作)；但这需要更多的工程工作，并且会产生许多需要测试和调试的极端情况。

设计 PDU 格式时的一个重要格言是，每个选项都可能导致信息泄露。在可能的范围内，尝试使任何给定的内部对象仅具有单个可能的序列化。另外，请记住，冗余是有代价的:只要有重复，就意味着要进行有效性测试。将测试保持在最低限度是提高效率的关键，尤其是在反序列化方面。跳过有效性测试会招致安全攻击。

在我看来，制作一个临时协议(protocol)解析器通常不是一个好主意。一方面，这是一项繁重的工作。另一方面，有很多微妙的问题，最好使用已经处理过这些问题的系统。

虽然我个人是 ASN.1 的粉丝，它被广泛使用，特别是在电信行业，但将其融入到小型项目中并不是一项容易的技术。学习曲线相当陡峭，而且开源工具并不多。

目前，最流行的选项可能是 Google protobufs ，可用于 C++、Java 和 Python(以及通过贡献的插件提供的许多其他语言)。它简单、相当容易使用并且开源。