gpt4 book ai didi

python - 使 pig 嵌入 python 脚本和 pig cassandra 集成以与 oozie 一起工作

转载 作者:可可西里 更新时间:2023-11-01 16:16:25 26 4
gpt4 key购买 nike

我是 oozie 的新手,遇到的问题很少。1) 我试图在 oozie 中嵌入一个 pig Action ,它有一个 python 脚本导入。我已将 jython.jar 文件放在 lib 路径中,并在将采用 python UDF 的 pig 脚本中导入。我似乎没有得到这个工作。 .py 文件未被拾取。怎么办?2) 我有一个 pig cassandra 集成,在其中我使用 cql 使用 pig 从 cassandra 获取数据并进行一些基本转换。在 CLI 中,我能够使它正常工作。但在 oozie 方面我不是。我似乎没有找到在 oozie 中执行此操作的解决方案(配置和其他)。谁能帮我解决这个问题?提前致谢。

最佳答案

这就解决了。解决方案..

1) 将 python 文件放在 oozie worklow 路径中,然后从此处引用 if。

2) 在oozie的HDFS路径的lib文件夹中添加了cassandra jar文件。

关于python - 使 pig 嵌入 python 脚本和 pig cassandra 集成以与 oozie 一起工作,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20036040/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com