hadoop - 针对 S3 的 oozie fs 操作未更新 S3 存储的 MANIFESTS(DynamoDB 元存储 - emrfs 不同步)中的 key

Question

从理论上讲，使用 HDFS CLI 运行 hdfs 命令，

hdfs dfs -touchz s3://bucketname/folder/file

它通过 EMRFS 并在创建 S3 条目时更新 dynamodb 中 MANIFESTS 中的 key 。

emrfs diff - 在 S3 和 MANIFESTS (Dynamodb) 中说。到目前为止一切都很好。

当我尝试对 s3 文件运行以下 oozie fs 操作时，我注意到该操作不是通过 EMRFS 发生的，因为我没有在 MANIFESTS (dynamodb) 中看到键。

emrfs diff - 表示文件在 S3 中但不在 MANIFESTS (Dynamodb) 中。

<action name="fs_action">
    <fs>
    <name-node>${nameNode}</name-node>
        <touchz path='folder/file'/>
    </fs>
</action>

只是想知道 oozie fs 操作在从 oozie 服务器本身运行时是否在屏幕后面使用 emrfs。只想了解针对 s3 的 oozie fs 屏幕背后发生了什么？

提前致谢。

Answer 1

Oozie 是不使用 EMRFS 与 S3 交互的 Hadoop 应用程序之一。

There are some applications on EMR ­— like Presto and Oozie — that do not use EMRFS to interact with S3

EMRFS