- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在使用qubole's S3 sink以 Parquet 格式将 Avro 数据加载到 S3 中。
在我的 Java 应用程序中,我创建了一个生产者
Properties props = new Properties();
props.put("bootstrap.servers", KafkaHelper.getServers());
props.put("key.serializer", "org.apache.kafka.common.serialization.ByteArraySerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.ByteArraySerializer");
return new KafkaProducer<byte[], byte[]>(props);
然后将 GenericRecord
转换为 byte[]
格式:
GenericRecord avroRecord = new GenericData.Record(avroSchema);
Injection<GenericRecord, byte[]> recordInjection = GenericAvroCodecs.toBinary(avroSchema);
for (Map.Entry<String, ?> entry : map.entrySet()) {
String key = entry.getKey();
Object value = entry.getValue();
avroRecord.put(key, value);
}
ProducerRecord<byte[], byte[]> record = new ProducerRecord<>(topic, recordInjection.apply(avroRecord));
producer.send(record);
我在 Kafka Connect 属性中使用以下值:
key.converter=com.qubole.streamx.ByteArrayConverter
value.converter=com.qubole.streamx.ByteArrayConverter
internal.key.converter=org.apache.kafka.connect.json.JsonConverter
internal.value.converter=org.apache.kafka.connect.json.JsonConverter
internal.key.converter.schemas.enable=false
internal.value.converter.schemas.enable=false
以及我的文件接收器属性中的以下配置选项:
connector.class=com.qubole.streamx.s3.S3SinkConnector
format.class=io.confluent.connect.hdfs.parquet.ParquetFormat
当我运行连接器时,收到以下错误消息:“java.lang.IllegalArgumentException:Avro 架构必须是一条记录”。
我对 Kafka Connect 还很陌生,我知道可以设置架构注册表服务器 - 但我不明白接收器是否需要注册表来将 Avro 数据转换为 Parquet,或者是否需要我这边有某种格式或配置问题。在此错误的上下文中,“记录”指的是哪种数据格式?任何指导或帮助将不胜感激。
最佳答案
ByteArrayConverter
不会进行任何数据转换:它假设连接器知道如何处理原始 byte[]
,而不是实际进行任何序列化/反序列化数据。然而,ParquetFormat
(实际上是大多数格式)不能只处理原始数据。相反,他们期望数据被反序列化并结构化为记录(您可以将其视为 C 结构、POJO 等)。
请注意,qubole streamx 自述文件指出,ByteArrayConverter
在您可以安全地直接复制数据的情况下非常有用。例如,如果您有 JSON 或 CSV 格式的数据。这些不需要反序列化,因为每个 Kafka 记录值的字节可以简单地复制到输出文件中。在这些情况下,这是一个很好的优化,但通常不适用于所有输出文件格式。
关于java - Kafka Connect S3 接收器在加载 Avro 时抛出 IllegalArgumentException,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41812371/
媒体存在于外部服务器上,我想在我的 Actor 接收器上播放该媒体( Google's CastReferencePlayer 的修改版本)。接收器与该服务器持续通信(通过长轮询),并在需要播放某个媒
我想将我的 PyQt4 应用程序移植到 PyQt5,但遇到了一个微妙的问题。 有时我会检查自定义 QThread 对象 (worker) 是否仍然连接了一些特定的信号,我在 PyQt4 中已经这样做了
假设我们有 n 台设备,n 为偶数。每个设备都可以作为发射器 (T) 或接收器 (R)。对于每个设备 i,我们都给定了 2 个数字,Ti 和 Ri。 Ti 是设备用作发射器时的成本,Ri 是设备用作接
我想在 android 中创建 airplay,其中我的 android 设备将用作 airplay 服务器(接收器),而 iPhone 设备将用作接收器。我在我的应用程序中使用了 jmdns,它是
简单问题 - 我可以将单个 BroadcastReceiver 注册到多个 Intent 操作吗?这是我正在考虑的: 所以在 myRecei
假设我在 2 个应用程序(应用程序 A 和应用程序 B)的 list 中有以下接收器: 在每个应用程序中,我想创建一个 PendingIntent(如果不存在
我正在尝试向接收方应用程序的关闭事件添加逻辑,但每次发送方断开连接时,调试器都会关闭并且不会执行任何逻辑(例如发送一些 HttpRequest)。我的一段代码: this.context.addEve
我们正在使用flume,我需要将一些日志消息收集到rabbitmq 中。我找到了一个来源 implementation从rabbitmq读取消息,但我找不到可以将消息写入rabbit的接收器。所以我想
我遇到了一个远程异常: “这个远程代理没有 channel 接收器,这意味着服务器没有注册的服务器 channel 正在监听,或者这个应用程序没有合适的客户端 channel 来与服务器通信。” th
我是 WebRTC 的新手,并试图弄清楚如何在浏览器之外创建一个程序,该程序接收 WebRTC 音频流并将其输出到扬声器上。 是否有适用于 Java 或 C# 的 WebRTC 库? 该接收器将在 l
我正在创建一个简单的 Spring Boot 应用程序,我想接收发送到 AMQP(Rabbit)交换(来自另一个应用程序)的消息。 我收到一条错误消息,指出我要接收的队列不存在。当我看 http://
我将 EJB 3.0 与 JBoss AS 7.1.1 Final 一起使用。当我尝试将客户端连接到服务器时出现此错误: Aug 15, 2012 12:05:00 PM org.jboss.ejb.
我正在为 Google Cast SDK 使用 React Native 包装器,但无法从发送方向接收方发送消息。我能够转换媒体或暂停并恢复它。问题仅在于自定义消息。我的自定义消息监听器永远不会在接收
我正在开发自定义 Serilog 接收器,它继承自 PeriodicBatchingSink 并调用我的网络服务将数据写入数据库,使用类似于 Serilog.Sinks.Seq 的模式。使用此代码作为
我想为安卓手机开发一个定制的 FM radio 应用程序,里面有 FM 接收芯片。 通过研究,我发现 FM 接收器通常由 BroadComm 开发。 主要的安卓手机制造商——三星、HTC、索尼爱立信是
我的 android list 中有一个 Intent 接收器,但我想让用户有机会选择他/她是否希望应用程序在特定状态下自动启动。到目前为止,我一直在使用带有广播接收器的服务,但我真的很想删除这个服务
我正在做一个如果我们摇动手机就锁屏的应用程序,我已经写了屏幕关闭的代码,但现在的问题是我需要一个广播接收器来检查屏幕是关闭还是打开,我怎么能做吗? 最佳答案 如果您需要在特定时刻检查屏幕是否关闭或打开
我让 MySQL 在一页上生成具有相同操作和提交按钮的表单。表格的数量各不相同。它们在提交时都调用同一个 PHP 文件。另外,我有一个 PHP 文件,它在提交时收集数据。请参见下面的示例。 问题是当提
谁能给我一个例子,说明如何在 Activity 类中正确取消注册 LocalBroadcastManager 接收器? Android 开发人员培训建议这样做: @Override publ
有问题的代码: func tableView(tableView: UITableView, didSelectRowAtIndexPath indexPath: NSIndexPath) {
我是一名优秀的程序员,十分优秀!