- iOS/Objective-C 元类和类别
- objective-c - -1001 错误,当 NSURLSession 通过 httpproxy 和/etc/hosts
- java - 使用网络类获取 url 地址
- ios - 推送通知中不播放声音
我有一个 spring 应用程序,它是我的 kafka 生产者,我想知道为什么 avro 是最好的选择。我阅读了它及其提供的所有内容,但为什么我不能序列化我自己用 jackson 创建的 POJO 并将其发送到 kafka?
我这么说是因为 avro 生成的 POJO 并不是那么直接。最重要的是,它需要 maven 插件和一个 .avsc 文件。
例如,我在自己创建的 kafka 生产者上有一个名为 User 的 POJO:
public class User {
private long userId;
private String name;
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
public long getUserId() {
return userId;
}
public void setUserId(long userId) {
this.userId = userId;
}
}
我将其序列化并发送到我在 kafka 中的用户主题。然后我有一个消费者本身有一个 POJO 用户并反序列化消息。是空间的问题吗?这样序列化和反序列化不是也更快吗?更不用说维护架构注册表的开销。
最佳答案
您不需要 AVSC,you can use an AVDL file ,它基本上看起来与只有字段的 POJO 相同
@namespace("com.example.mycode.avro")
protocol ExampleProtocol {
record User {
long id;
string name;
}
}
当使用 Maven 插件的 idl-protocol
目标时,将为您创建此 AVSC,而不是您自己编写。
{
"type" : "record",
"name" : "User",
"namespace" : "com.example.mycode.avro",
"fields" : [ {
"name" : "id",
"type" : "long"
}, {
"name" : "name",
"type" : "string"
} ]
}
它还会在您的类路径中放置一个 SpecificData
POJO User.java
以便在您的代码中使用。
如果您已有 POJO,则无需使用 AVSC 或 AVDL 文件。有一些库可以转换 POJO。比如你can use Jackson ,这不仅适用于 JSON,例如,您可能只需要为 Kafka 创建一个 JacksonAvroSerializer
,或者查找是否存在。
Avro 也有 built-in library based on reflection .
Confluent Schema Registry 序列化程序具有使用基于反射的模型的设置。
那么问题来了 - 为什么选择 Avro(针对 Kafka)?
好吧,拥有架构是一件好事。想想 RDBMS 表,你可以解释这个表,然后你会看到所有的列。转向 NoSQL 文档数据库,它们几乎可以包含任何内容,这就是 Kafka 的 JSON 世界。
假设您的 Kafka 集群中有消费者不知道主题中有什么,他们必须确切地知道主题中产生了谁/什么。他们可以尝试控制台消费者,如果它是像 JSON 这样的明文,那么他们必须找出他们感兴趣的一些字段,然后执行类似 HashMap 的 flaky .get("name")
操作一次又一次,只有在字段不存在时才会遇到 NPE。使用 Avro,您可以清楚地定义默认值和可为空的字段。
您不是必需使用架构注册表,但它为 RDBMS 类比提供了那种类型的explain topic
语义。它还使您无需将模式与每条消息一起发送,以及 Kafka 主题的额外带宽费用。不过,注册表不仅对 Kafka 有用,因为它还可以用于 Spark、Flink、Hive 等围绕流数据摄取的所有数据科学分析。
假设您确实想使用 JSON,那么 try using MsgPack instead并且您可能会看到 Kafka 吞吐量增加并节省代理上的磁盘空间
您还可以使用其他格式,例如 Protobuf 或 Thrift,as Uber has compared
关于java - 为什么将 Avro 与 Kafka 一起使用 - 如何处理 POJO,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54195813/
我想要的是能够在输入获得焦点或失去焦点时执行某些操作(两个事件)。 我尝试了以下方法,但这按事件单独工作(单独编码时):仅在焦点上,或仅在失去焦点时。 另外,我希望它尽可能跨平台(包括触摸设备),这是
我分别研究了TableView的Filtering和Pagination。 过滤: this帖子帮助我满足了我的需要 分页: this , this帖子也帮助了我 我想像这样将它们组合在一起: 详情-
我是 TDD 方法的新手,所以我想知道是否有人经历过这种机智可以启发我一点。我想获得一些关于如何一起使用 UML 和 TDD 方法的线索。 我已经习惯了:用 UML 设计 --> 生成骨架类(然后保持
我尝试使用入口点和 cmd 设置 Docker。 FROM debian:stretch RUN apt-get update && \ apt install gnupg ca-certificat
我想要一个 Class 对象,但我想强制它所代表的任何类扩展类 A 并实现接口(interface) B。 我能做到: Class 或者: Class 但我不能两者兼得。有办法做到这一点吗? 最佳答案
我是 Rubymine 的长期用户。 Rubymine 非常适合基于 html 的 Rails 应用程序,但我现在正在做更多的 SPA 客户端工作(例如 javascript/react)。我发现我真
我注意到我使用的某个脚本依赖于原型(prototype)。 (Lightbox 2) 它会与 jQuery 在同一页面上一起工作吗?有没有办法确保它们不冲突? 最佳答案 可以,但你需要采取 speci
我需要对表中显示的数据进行分页并通过 ajax 调用获取它 - 这是我通过使用具有以下配置的 dataTables 插件来完成的 - bServerSide : true; sAjaxSource :
我是 gtk 新手,所以想知道在 C 语言中归档和 gtk 是否可以一起使用?例如,我可以从 .txt 文件中读取,然后在相同的代码中使用 gtk 在标签或其他内容中显示它吗?如果是,怎么办? 谢谢!
有没有人设法得到Bck2Brwsr最近与 Java 8/JavaFX 8 一起工作?有没有兼容的机会?我找不到太多关于它的信息,也没有一个好的起点。使用给定的 Maven archetype我遇到了几
在我的应用程序中,用户通过 openid(与 stackoverflow 相同)登录/注销。 我想通过 oauth 向第三方应用程序开放我的应用程序。 如何创建我的 openid-consumer 应
我在启动和运行 Hibernate 和 Spring 时遇到一些问题。我有一个网络服务器项目,它使用了其他几个具有持久实体的项目。我遇到的问题是,对于存储在 WEB-INF/libs 内的另一个 ja
我有 @ControllerAdvice 类,它处理一组异常。我们还有一些其他异常,这些异常用 @ResponseStatus 注释进行注释。为了结合这两种方法,我们使用博客文章中描述的技术:http
我想在屏幕上使用进度条而不是 progressDialog。 我在我的 XML View 文件中插入了一个进度条,我想让它在加载时显示并在不加载时禁用它。 所以我使用的是可见的,但它发生了,所以其余的
CREATE TABLE `users` ( `id` int(11) AUTO_INCREMENT, `academicdegree` varchar(255),
IN() 中使用的查询返回:1, 2。然而,整个查询返回 0 行,这是不可能的,因为它们存在。我在这里做错了什么? SELECT DISTINCT li.auto_id FROM links
亲们, 我如何在使用 Jade 生成的表单上实现 jQuery 样式?我想做的是美化 表单并使它们可点击。我在 UI 方面很糟糕。期间。 我如何在表单上实现这个可选择的方法? http://jquer
按照目前的情况,这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visit the
我可以: auto o1 = new Content; 但不能: std::shared_ptr o1(new Content); std::unique_ptr o1(new Content); 我
关闭。这个问题需要更多focused .它目前不接受答案。 想改进这个问题吗? 更新问题,使其只关注一个问题 editing this post . 关闭 4 年前。 Improve this qu
我是一名优秀的程序员,十分优秀!