gpt4 book ai didi

hadoop - sqoop oozie 将查询结果写入文件

转载 作者:可可西里 更新时间:2023-11-01 16:50:44 25 4
gpt4 key购买 nike

我有一个当前的 oozie 作业查询 Oracle 表并写入 - 覆盖配置单元查询的结果。现在我需要防止覆盖配置单元表并将现有数据保存在该配置单元表上。为此,我想计划这样的步骤:第一步:获取运行“select count(*) from...”查询的记录数并将其写入文件。第 2 步:检查写入文件的计数。第三步:决定是否应用第四步的步骤。第 4 步:运行主查询并覆盖 hive 表。

我的问题是我找不到任何关于将它们写入文件的文档和/或示例(我知道导入和导出是 sqoop 的目标)。有谁知道如何将 wuery 结果写入文件?

最佳答案

理论上:

  1. 构建一个 Pig 作业来运行“count(*)”并将结果转储到 StdOut就好像它是一个 Java 属性,例如my.count=12345
  2. 在 Oozie 中,用 <capture_output/> 定义一个 Pig Action标志,运行该作业
  3. 然后根据关键字 my.count 的值定义一个决策使用合适的 EL 函数

在练习中,好吧,玩得开心!

关于hadoop - sqoop oozie 将查询结果写入文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33531233/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com