个人中心
文章发布
退出
作者热门文章
- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库？
- java - OnItemClickListener 不起作用，但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
25
4
背景:我正在分析 AWS Hadoop 作业在各种集群配置上的性能，一些 Hadoop 计数器令人困惑。
问题:“所有 map 在占用槽中花费的总时间”和“所有 map task 花费的总时间”有什么区别？ (减少相同的问题)。为简单起见，我们称这些计数器为 mapO、mapT、redO 和 redT。这是我在三种不同的配置中看到的(每种配置都有不同数量的核心/从节点):
1) 对于 AWS/EMR 作业 (Hadoop 2.4.0-amzn-3)，mapO/mapT 的比率始终为 6.0，redO/redT 的比率始终为 12.0。
2)对于使用实例存储的手动安装的Hadoop(Hadoop 2.4.0.2.1.5.0-695)，mapO/mapT 的比率始终为1.0，但redO/redT 的比率有时为1.0，有时为2.0。
3) 对于使用EBS存储手动安装的Hadoop，mapO/mapT的比值始终为1.0，redO/redT的比值始终为2.0。
我假设其他配置会有不同的比率，但这些计数器/计时器实际测量的是什么？
我买了 Tom White 出色的“Hadoop”一书(第 3 版)，但没有特别提到 mapO 或 redO 计数器，也没有一般性地提到“已占用的插槽”。
我还进行了大量的 Google 搜索，并在 hadoop.apache.com 上查看了数十个页面。我也在我的 MacBook 上安装(并运行)了 hadoop 并搜索了这些计数器的代码但找不到它(我确定它在那里但是？？)。
正如在一个相关的(未回答的)问题中指出的那样，令人惊讶和奇怪的是，即使是对这些基本计数器的基本描述也不容易获得。
最佳答案
在代码中，“所有 map 在占用的插槽中花费的总时间(毫秒)”由 JobCounter.java 中的枚举 SLOTS_MILLIS_MAPS(或 SLOTS_MILLIS_REDUCES)表示。这些常量已弃用。他们通过将任务持续时间乘以用于映射任务的 MB 与一个 yarn slot 所需的最小 MB 的比率来获得他们的数字。
因此，如果您的 map task 使用了 4 MB，并且最小槽大小为 1 MB，那么您的任务花费了 4* 本可以用于其他任务的时间。这可以解释为什么您会看到不同设置的不同比率。我不认为该指标特别有用(特别是因为如果不深入研究代码就不清楚它的含义)。
关于apache - Hadoop/map-reduce : Total time spent by all maps in occupied slots vs. 所有 map task 花费的总时间，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/28861620/
25
4
0
在尝试 time 的 python 执行时，我发现在一条语句中两次调用 time.time() 时出现奇怪的行为。在语句执行期间获取time.time() 有一个非常小的处理延迟。 例如time.ti
我要疯了。对于我的生活，我无法弄清楚为什么以下代码会导致 Unity 在我按下播放键后立即卡住。这是一个空的项目，脚本附加到一个空的游戏对象。在控制台中，什么也没有出现，甚至没有出现初始的 Debug
我要疯了。对于我的生活，我无法弄清楚为什么以下代码会导致 Unity 在我按下播放键后立即卡住。这是一个空的项目，脚本附加到一个空的游戏对象。在控制台中，什么也没有出现，甚至没有出现初始的 Debug
我不明白为什么下面的结果是一样的。我预计第一个结果是指针地址。 func print(t *time.Time) { fmt.Println(t) // 2009-11-10 23:00:00
Python 3.6.4 (v3.6.4:d48eceb, Dec 19 2017, 06:54:40) [MSC v.1900 64 bit (AMD64)] on win32 Type "help
当我有一个time.Time时: // January, 29th t, _ := time.Parse("2006-01-02", "2016-01-29") 如何获得代表 1 月 31 日的 ti
首先，我意识到不推荐使用 time with time zone。我要使用它是因为我将多个 time with time zone 值与我当前的系统时间进行比较，而不管是哪一天。 IE。用户说每天 0
长期以来，在 Rust 中精确测量时间的标准方法是 time crate 及其 time::precise_time_ns功能。但是，time crate 现在已被弃用，std 库有 std::tim
我正在我学校的一个科学集群上运行我的有限差分程序。该程序使用 openmpi 来并行化代码。 当程序连续运行时，我得到: real 78m40.592s user 78m34.920s s
尽管它们已被弃用并且有比 time 更好的模块(即 timeit)，但我想知道这两个函数 time 之间的区别.clock() 和 time.time()。 从后者 (time.time()) 开始，
这个问题在这里已经有了答案: Python's time.clock() vs. time.time() accuracy? (16 个答案) 关闭 6 年前。 我认为两者都衡量时间量？但是他们返回
我正在尝试测试 http 请求处理代码块在我的 Flask Controller 中需要多长时间，这是我使用的示例代码: cancelled = [] t0 = time.time() t1 = ti
运行 python 的计算机时钟(Windows 或 Linux)时会发生什么自动更改并调用 time.time()? 我读到，当时钟手动更改为过去的某个值时，time.time() 的值会变小。 最
我有一个结构可能无法在其字段之一上设置 time.Time 值。测试无效性时，我不能使用 nil 或 0。time.Unix(0,0) 也不相同。我想到了这个: var emptyTime time.
我有一个打算用数据库记录填充的结构，其中一个日期时间列可以为空: type Reminder struct { Id int CreatedAt time.Time
问题陈述:通过匹配其百分比随机执行各种命令。比如执行 CommandA 50% 的时间和 commandB 25% 的时间和 commandC 15% 的时间等等，总百分比应该是 100%。 我的问题
我正在使用 laravel 6。我在同一个应用程序中有类似的 Controller 和类似的 View ，它工作正常。对比之后还是找不到错误。 Facade\Ignition\Exceptions\V
我需要用 ("%m/%d/%Y %H:%M:%S") 格式表示时间，我得到的浮点值是 time.time(). 我已经有了一个 time.time() 形式的值。例如，我已经有一个值，我每 0.3 秒
我正在使用以下方法获取 utc 日期时间: import datetime import time from pytz import timezone now_utc = datetime.datet
我在 Ubuntu 上使用 time.clock 和 time.time 为一段 python 代码计时: clock elapsed time: 8.770 s time elapsed time
我是一名优秀的程序员,十分优秀！