个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
我正在尝试通过jobClient和runningjob api从一个简单的Java应用程序获取mapreduce输出文件夹。我只有工作ID。
正在运行的作业api显示它具有getConfiguration方法，但我在程序中未得到它。我正在使用cdh4.5.0版本
还有其他使用文件系统api获取映射输出文件夹的方法吗？也许。
最佳答案
最简单的方法是从Job tracker Web控制台中查找。转到JobTracker.jsp选择作业，然后单击xml链接Job File: hdfs://192.z.z.z:9000/hadoop/mapred/system/job_201401060430_0001/job.xml。这将显示作业的所有属性。寻找mapred.output.dir
关于java - 使用JobID获取MapReduce输出文件夹，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/20944540/
25
4
0
好吧，这会有点长。我对 React 和 Redux 有点陌生。所以我有一个 React 和 Redux 前端，一个 Node 和 Express 后端以及用于数据库的 mySQL。 我正在构建门户网站
我尝试将规则名称、通配符和外部作业 ID 包含到管道的日志文件名中，以使调试过程更加顺利(例如: snakejob...e )。我找不到合并规则名称或作业 ID 的方法。默认日志文件名包括作业 ID，
我有一个将调用 shell 文件的 oozie 工作流，Shell 文件将进一步调用 mapreduce 作业的驱动程序类。现在我想将我的 oozie jobId 映射到 Mapreduce jobI
我想从 shell 脚本中的字符串中获取 Jobid。我可以使用以下代码获得以“CY”开头的 jobid。 regex_jobid='CY[_0-9a-zA-Z]*' temp="CY0PNI9135
我有问题如何检查作业是否完成。我到处都在寻找，但我没有看到 Laravel/Lumen 有什么可以使用的，我可能遗漏了一些。示例代码: $job = ((new FooJob($data))); $j
我正在使用 slurm 调度程序 (v14.11.4) 运行大型 snakemake (v5.3.0) 管道。不幸的是，大约 1/1000 的作业因 NODE_FAILED(ExitCode 0)而崩
我需要从执行批处理内部获取 jobId。我已经能够从我启动 Batchlet 的类中获取 jobId，但不能从 Batchlet 内部获取 jobId。 long jobId = job.start(
在我的数据库中，我当前有两种对象:用户和作业。我已经将用户 ID 存储在作业中。我还需要在每个用户中存储 jobID 吗？ 典型的用户: "-JqzUjcOfddBNd_HtjKb" : { "
所有 Hadoop 作业都有唯一的 jobid。您可以使用 jobid 获取作业状态或作业计数器。问题是我如何才能获得刚刚从我的脚本运行的作业的 jobid？当然，我想以可靠且简单(如果可能)的方式做
框架 Scrapy - Scrapyd 服务器。 我在获取 spider 内部的 jobid 值时遇到了一些问题。 将数据发布到 http://localhost:6800/schedule.json
我正在尝试为集群上运行的 snakemake 工作流日志使用不同的目录。因此，我的 cluster.yaml 文件如下所示: __default__: time: 5:00:00 th
在 Slurm 中，我想 squeue给定用户的作业根据他们的 JOBID 按升序排序。我试过 squeue -u username --sort=+JOBID 但它不起作用。你有什么想法？ 最佳答案
我在尝试启动 Web 服务时收到此错误消息:org.apache.jasper.JasperException: javax.el.PropertyNotFoundException: 在 com.b
当我们执行 dagrun 时，在 Airflow UI 上的“图 TableView ”中，我们会获得每个作业运行的详细信息。 JobID 类似于“scheduled__2017-04-11T10:4
我刚开始使用 SLURM 训练一批卷积神经网络。为了轻松跟踪所有训练有素的 CNN，我想将 SLURM jobID 作为输入参数传递给 python。将其他变量作为参数传递很好。但是，我无法访问要通过
我刚开始使用 SLURM 训练一批卷积神经网络。为了轻松跟踪所有训练有素的 CNN，我想将 SLURM jobID 作为输入参数传递给 python。将其他变量作为参数传递很好。但是，我无法访问要通过
我想在 Linux 中从 procfs 获取 jobid。我在/proc//status 文件中只看到 Pid 和 Ppid 。但我也需要工作。如果有办法获取信息，请告诉我。 谢谢! 最佳答案 如果您
是否可以在 Spring Batch 中获取 ItemWriter 中的 jobId 或 JobName。 我读到了late binding但不确定如何使用它在 Item Writer 中获取作业名称
我有这个FileWriter我正在尝试将当前作业 ID 附加到生成的文件名中。 ${csv.file}_#{st
我运行多个批处理作业，我想将 dataproc 中的 jobId 引用到保存的输出文件中。 这将允许所有参数日志和与结果相关的输出。缺点仍然存在:随着 YARN 中的执行器消失，无法再获取单个执行器的
我是一名优秀的程序员,十分优秀！