gpt4 book ai didi

java - 带有Hadoop ETL的数据仓库

转载 作者:可可西里 更新时间:2023-11-01 16:15:24 24 4
gpt4 key购买 nike

我有点困惑。现在我应该集成我的数据仓库和
Hadoop平台。直到现在我一直在做传统的ET。现在我的问题是

1. How Hadoop will involve into this ETL process ? 
2. I need to load my data into SQL server
3. How can I achieve ETL in Hadoop ?

我的hdfs保存平面文件(.csv)
有人能帮我吗?
欢迎任何意见

最佳答案

在hadoop中,可以将dw数据作为文件存储在hdfs中。如果您希望将dw迁移到hadoop。您可以将数据从现有的dw传输到apache hive,apache hive是一个基于hadoop的dw工具。你可以使用sqoop来移植你的数据(在你的dw服务器和hadoop服务器之间建立连接来使用sqoop)
你能详细谈谈你的第二点吗?
你可以通过pig工具在hadoop中实现etl。对于更多的ETL用途,UCA使用Java编写自定义的猪UDF。

关于java - 带有Hadoop ETL的数据仓库,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22498172/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com