hadoop - hadoop是否支持文件级锁

Question

请问hadoop是否支持文件级锁？

在生产批处理作业设置中遇到问题-

场景如下:

我必须在我的批处理作业中引用企业化数据，这些数据由我无法控制的其他一些外部应用程序刷新。现在我的初始作业集运行大约 6 小时，然后很少有顺序作业开始执行。在此之后，我有另一个 hadoop 作业，它再次从第一组作业引用的相同位置引用相同的企业化数据。此脚本运行超过 4 小时，并且由于总共 10 小时的时间窗口，刷新作业可能会再次运行，首先删除文件并重新创建它。如果我的第二个作业在第二次 refrsnot h 期间仍在执行，那么我的作业很可能会失败，因为它找不到文件，因为刷新作业会被删除。

那么有没有一种方法可以使用 hadoop 中的任何文件 lock.machenism 来控制它，就像我们与其他 rdbms 一样。

Answer 1

我们有类似的要求。我们在 mysql 中创建了一个表，该表将持有一个文件夹的锁。任何开始的工作都需要获得锁，并且将检查表并失败或重新安排它正在操作的任何文件夹是否已经有锁。但因此 Hadoop 中没有锁定机制。