gpt4 book ai didi

batch-processing - ETL批处理

转载 作者:行者123 更新时间:2023-12-05 07:17:30 24 4
gpt4 key购买 nike

<分区>

我正在寻找一些允许我创建计划批处理的开源技术(例如,每 1 小时查询一些 SQL 数据库,如 Oracle,然后插入到 Kafka。可能会对数据进行一些转换之间)。问题是我需要能够传输大量数据(“大数据”- Oracle 查询可能返回 10GB 或更多)。

例如,我阅读了 Apache Airflow,但它似乎不适合处理大量数据。

我还可以使用哪些其他技术来实现该目的?

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com