gpt4 book ai didi

mysql - hadoop 如何处理从 RDBMS 获取的行的更改

转载 作者:可可西里 更新时间:2023-11-01 16:17:53 25 4
gpt4 key购买 nike

我有一个场景,每天将数据从 MYSQL 数据库提取到 hadoop 到一个日期文件夹中。每天都会编辑几行,并且可能还会有一些架构更改。如果我只对最新的数据和模式感兴趣,我们如何在 hadoop 中处理这个问题

最佳答案

Here是 Sqoop 中增量导入的文档。此外,Sqoop 可以在导入数据时获取表名,因此如果架构更改,Sqoop 命令应该相同。

bin/sqoop import --connect jdbc:mysql://localhost/bigdata --table widgets -m 1

关于mysql - hadoop 如何处理从 RDBMS 获取的行的更改,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15938931/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com