algorithm - 图上的 Hadoop 作业结构

Question

我有一个算法必须在可以并行化的图形上执行大量计算，虽然我可以使用 Hadoop 将这些计算分配给映射器，然后在缩减器上恢复结果，但我正在努力并开始认为也许我正在使用 Hadoop 来做一些我不应该使用 Hadoop 的事情(你知道，当你有一把锤子时，一切看起来都像钉子)。

您可以在 https://gist.github.com/brenes/79d980708aae463079b8 查看该算法的 ruby​​ 版本但是，在某种程度上，它是这样的:

• 我们有一个图表。
• 我们得到一个配置(节点和边的列表)来帮助我们控制整个图。
• 我们摆脱了这种配置的一个(随机)节点，并获得了一系列替代配置。然后我们得到这些配置之一(随机)作为选择的配置。
• 对于每个节点，我们计算它有多少个选择的配置。

第三步必须重复很多次(与图中的节点数成正比)，所以我认为它非常适合 Map 步骤。然后，计数任务将是一个 Reducer 步骤(事实上，LongSumReducer 类非常适合)。

问题出在前两个步骤。我想我可以创建图形并在自定义 InputFormat 类上获取配置，这样我的自定义 Reader 就可以向每个映射器发送一个随机节点。

这样，输入并不是真正基于通过 HDFS 共享的文件，因为读取图形(这将是我的输入文件)仅由主节点执行，映射器将接收所有内容。

当 JobSubmitter 尝试写入拆分时，问题就来了，因为它们并不是真正的文件拆分，而且我遇到了一些错误，因为(我认为)它试图创建对我的结构没有意义的拆分文件。

为了检查我是否可以创建图表等，我创建了一个简化版本的算法:

• 我们有一个图表。 (输入格式和阅读器)
• 我们得到图的每条边。 (映射器)
• 对于每个节点，我们计算它有多少条边(Reducer)

您可以在 https://github.com/wild-fire/controllability-samping-algorithm/tree/stack-overflow-30151672 查看这个简化版本

问题是，当我运行作业时(有两个参数，图形文件的路径和输出文件夹的路径)我得到一个错误:

Exception in thread "main" java.lang.NullPointerException
  at org.apache.hadoop.mapreduce.split.JobSplitWriter.writeNewSplits(JobSplitWriter.java:132)
  at org.apache.hadoop.mapreduce.split.JobSplitWriter.createSplitFiles(JobSplitWriter.java:79)
  at org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:603)
  at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:614)
  at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:492)
  at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1296)
  at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1293)
  at java.security.AccessController.doPrivileged(Native Method)
  at javax.security.auth.Subject.doAs(Subject.java:415)
  at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
  at org.apache.hadoop.mapreduce.Job.submit(Job.java:1293)
  at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1314)
  at jobs.SamplingAlgorithm.main(SamplingAlgorithm.java:29)

我一直在搜索非文件输入拆分，但我唯一找到的是解释文件输入拆分的教程，所以我开始怀疑，我可以用 Hadoop 做到这一点吗？还是我想用锤子拧螺丝？

谢谢!

编辑:在我继续努力的过程中，我创建(并链接)了一个标签，这样您就可以在我发布问题时看到代码

Answer 1

虽然我没有合适的方法来做到这一点，但我找到了解决方法。

我的解决方案是将第一步移到 Hadoop 流程之外，并在 Hadoop 作业开始之前在我的作业类上执行它们。

流程是:

• 解析图表。
• 获取第一个配置。
• 将此配置保存在文件中。
• 获取一个随机的节点列表并将它们保存到另一个文件中。
• 将此文件提供给常规 Hadoop 作业。

每个映射器然后接收一行临时随机节点文件(一个随机节点)并解析图形文件和配置文件，以便执行所需的操作。

你可以看看最后一版的代码:https://github.com/wild-fire/controllability-samping-algorithm/tree/master特别是工作类:https://github.com/wild-fire/controllability-samping-algorithm/blob/master/src/jobs/SamplingAlgorithm.java .

由于我没有使用 Hadoop 的经验，所以我不确定这是正确的方法还是只是一个糟糕的解决方法，但我认为这个答案可以帮助其他人解决同样的问题。