java - Graylog GELF 最大字段大小

Question

我正在尝试将 Web 服务输入/输出作为 xml 插入到 Graylog 中。为此，我使用了“GELFJ - 用于 Log4j 的 GELF Appender 和用于 JDK 日志记录的 GELF 处理程序”。这是示例代码:

public static void main(String[] args) throws IOException {
    GelfSender gelfSender = new GelfTCPSender("172.21.120.139", 12201);

    String xmlMessage = readFile("c:\\temp\\xml.xml");

    GelfMessage message = new GelfMessage("short message", "long message", System.currentTimeMillis(), "1");
    message.setHost("localhost");

    message.addField("XML", xmlMessage);
    message.addField("LEN", xmlMessage.length());

    if (message.isValid()) {
        GelfSenderResult result = gelfSender.sendMessage(message);
        Exception exception = result.getException();
        if (exception != null) {
            exception.printStackTrace();
        }
    } else {
        System.err.println("Message is not valid!");
    }
}

这是 GELF TCP 输入属性。

我无法插入大于 20k(字符)的消息字段。消息总大小大于 1.6 MB。

我的问题是消息字段和消息总大小(以字节为单位)的限制是多少？

Answer 1

Graylog 和 GELF 协议(protocol)本身没有任何大小限制，但应该注意 Lucene(Elasticsearch 底层库)对分析字段(例如“消息”和“完整消息”)的每个字段限制为 32 KiB GELF 消息的字段)。

鉴于 Elasticsearch 和 Graylog 中的默认编码是 UTF-8，20.000 个字符大约可以匹配 32 KiB 的最大字段大小(对于分析的字段)。非分析字段可以(几乎)任意大。

参见 https://github.com/Graylog2/graylog2-server/issues/873有关 GitHub 上的相关问题。