parsing - 如何解析Yarn日志获取性能指标？-6ren

parsing - 如何解析Yarn日志获取性能指标？

转载作者：行者123 更新时间：2023-12-03 17:12:28

24

4

总结:我需要东西给yarn logs -applicationId myID | parse .

我正在开发具有某种程度的并行性的代码，所以我需要关于使用的 vcores 和 RAM 内存的反馈......我有每个测试的应用程序 ID，所以，运行后我可以使用

 yarn logs -applicationId application_1581298836342_95477 > myYarnLog.txt

但它是一个大而复杂的日志，我只需要检查使用的 vcores 和内存。

有对 myYarnLog.txt 的解析，那过滤还是计算性能指标？

PS:“RAM 内存”可以是“聚合资源分配”，vcores 可以是一些虚拟 CPU 分配统计信息等。

最佳答案

在你的 yarn site.xml中类似，像here

 yarn.resourcemanager.scheduler.monitor.enable

您需要文件 capacity-scheduler.xml 中的 silimar 作为响应 here

<property>
    <name>yarn.scheduler.capacity.resource-calculator</name>
    <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
</property>

关于parsing - 如何解析Yarn日志获取性能指标？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/60302265/

24

4

0

文章推荐： php - Laravel 基于角色处理 trait 中的用户重定向

文章推荐： c - 链接器:将除两个之外的所有函数移动到特定的内存区域

文章推荐： sql - 如何在简单的三向关系上实现基于约束的参照完整性

parse-platform - Parse Image + Parse httpRequest 替换——从 Parse Cloud Code 迁移到 Parse Server on Node (Heroku/AWS/DO)
我发现在使用parse-node包时，不能再使用Parse.Cloud.httpRequest了。我也知道 Parse 的 Image 对象将不可用。到目前为止，我已经能够用原生的替换一些 Pars
parsing - 'parse' 的反义词是什么？
关闭。这个问题是opinion-based 。目前不接受答案。已关闭 9 年前。已锁定。这个问题及其答案是locked因为这个问题是题外话，但却具有历史意义。目前不接受新的答案或互动。我有一个函
parse-platform - Parse Server - 用于配置新 Parse 实例的架构 API
开源 Parse Server 是否包含用于配置新 Parse 实例的 Schema API？我试图消除手动创建应用程序的需要。这是通过 Parse.com 提供的架构 API http://blo
parse-platform - 如何从客户端正确创建 Parse.com Parse.Cloud.httpRequest？
我想从我的云代码发出一个 http 请求，该请求在我的客户端被调用。最佳答案一开始我发现这有点令人困惑，所以希望这会有所帮助。在您的云代码中main.js Parse.Cloud.define(
parsing - *** 异常 : Prelude. 读取 : no parse in Haskell - Parsing, 表达式和递归
这部分代码应该读入两个或更多数字(省略主 io 函数)，然后是一个“+”来给出总和。使用有理数是因为稍后我将进行乘法和其他此类操作。 data Expression = Number Rationa
parse-platform - Parse.Config 在 Parse Server 上不起作用？
我似乎找不到任何关于此的官方信息:Does Parse.Config work on Parse Server?它曾经在 Parse.com 上工作，但是当我尝试迁移到 Parse.Server 时，
passwords - Parse.com 在 Parse.Cloud.beforeSave(Parse.User
我正在尝试找到使用 Parse.com 添加密码要求的最佳程序。似乎最简单的方法是在保存用户数据之前使用云功能执行。我唯一的警告是，只有当密码与数据库中存储的密码不同或者用户不存在于数据库中时，我才想
android - Parse 中的初始化 (com.parse.Parse.Configuration) 无法应用于 MainActivity 错误？
我是 android 开发、应用程序开发和一般开发的初学者，我正在尝试为我的 android 应用程序设置后端数据库。我决定使用一个名为 back4app 的服务，以便获得更加用户友好的数据库体验，因
android - 编译com.parse :parsefacebookutils leads to com. parse.Parse Class not found异常
我目前正在尝试将 Facebook 登录功能添加到我的应用程序。根据Android文档，当我添加 compile 'com.parse:parsefacebookutils-v4-android:1
parsing - 如何使用 PARSE 从字符串中解析货币值
我正在尝试使用 Rebol 2/3 从字符串中解析货币值，货币值的格式为: 10,50 欧元或 10,50 欧元我在浏览了所有 PARSE 文档后想出了这段代码，我可以在 Red 中找到它，但在 R
parsing - DateTimeFormat.parse() 失败
代码: DateTimeFormat dateFormat = DateTimeFormat .getFormat("EEE MMM dd HH:mm:ss zzz y
parse-platform - Parse 上不再有导入按钮
我不再在 Parse 上看到用于导入 JSON 或 CSV 文件的导入按钮。他们是否将其移动到某个地方，或者不再可能导入这些文件类型？最佳答案官方原因是这样的: “[导入类按钮] 几天前被删除，因
parsing - JSON.parse() 是必要的吗？
我正在使用 PHP 从我的服务器检索一些数据。我想在 javascript 应用程序中使用这些数据，所以我正在做这样的事情: var polylines = ; $polylines 只是一个 PHP
parsing - BigInteger.Parse() 对十六进制数给出负数
我已经开始使用 .NET 4 System.Numerics.BigInteger Structure我遇到了一个问题。我正在尝试解析一个包含无符号(正数)的十六进制数字的字符串。我得到一个负数。
parsing - JSON.parse() 是必要的吗？
我正在使用 PHP 从我的服务器检索一些数据。我想在 javascript 应用程序中使用这些数据，所以我正在做这样的事情: var polylines = ; $polylines 只是一个 PHP
parsing - time.Parse 行为
在 Go 中，尝试将字符串转换为 time.Time 时，使用时间包的 Parse 方法不会返回预期结果。似乎问题出在时区。我想更改为 ISO 8601 结合 UTC 日期和时间。 package m
parsing - time.Parse 自定义布局
我正在尝试将此字符串模式 "4-JAN-12 9:30:14" 解析为 time.Time。尝试了 time.Parse("2-JAN-06 15:04:05", inputString) 和许多其
parse-platform - "Please refrain from creating a Parse project inside another Parse project."
从云代码和解析开始。使用this . 如何删除所有 Parse 项目以便开始创建新项目？我收到以下错误: “您想要创建一个新应用程序，还是将 Cloud Code 添加到现有应用程序中？输入“(n)e
parse-platform - parse.com cloudcode 查询，如何告诉 parse 只返回在表中找到的 PFObject 的某些列？
我在解析云代码时有这个功能: Parse.Cloud.define("testfunction", function(request, response) { var username = r
parse-platform - 一个 Parse.Object.saveAll 请求可以保存多少数据？以及一个 Parse.Object.saveAll 将使用多少请求
最近，我在 parse.com 上做了一些测试。我现在面临在后台作业中使用 Parse.Object.saveAll 的问题。从 parse.com 的文档来看，后台作业可以运行 15 分钟。我现在

首页

博学

6Ren·AI

商城

parsing - 如何解析Yarn日志获取性能指标？