gpt4 book ai didi

apache-kafka - 用于 Kafka 的 CSV 连接器

转载 作者:行者123 更新时间:2023-12-04 04:06:44 28 4
gpt4 key购买 nike

我的任务是创建一个基本的 ETL 应用程序。我们有一个远程位置,每个月都会删除 csv 文件,它们大约是。大小为 250MB。

应用程序将导入 csv --> 应用业务逻辑(如果需要)--> 插入到 SQLServer 表中。

我一直在考虑为此使用 Kafka。不过,我对它还很陌生,无法找到一个连接器,可以将 csv 文件导入到 Kafka 中。我已经在 github 中看到了一些项目,但它们似乎已经过时了,而且我在整个板上遇到了 UnsupportedOperationExceptions 的错误

任何人都可以指出正确的方向吗?我现在正在考虑使用 confluent_kafka 编写连接器

最佳答案

如果您想使用 Kafka(从您的要求中不清楚您是否需要使用),那么 kafka-connect-spooldir是满足您要求的良好连接器。 This article显示了它的设置和使用示例。

免责声明:我为 Confluent 工作,我写了这篇文章:)

关于apache-kafka - 用于 Kafka 的 CSV 连接器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50844697/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com