个人中心
文章发布
退出
作者热门文章
- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库？
- java - OnItemClickListener 不起作用，但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
27
4
我正在评估 EC2/EMR用于运行约 20 个节点的 Hadoop 集群。 (custom JAR 集群)。我已经在单节点 3.3 GHz 2GB RAM 本地 VMWare 实例上运行了简单的 WordCount 示例，该实例只需不到 10 秒即可完成。 WordCount 示例需要 3 分钟才能在 EMR 上完成 2 c1.mediumm实例(不包括 3-5 分钟的启动时间)。 2 个 m1.small 实例花费相同的时间。在 EMR 上运行作业会有一些开销，也许这个问题规模太小，所以这似乎可以理解。
大约在什么规模的问题上，您开始看到云的性能优势？或者大约有多少个节点或计算单元？
最佳答案
如果您正在启动一项 EMR 作业，这实际上意味着您要求 Amazon 为您提供一个由 N 台机器组成的按需集群，而配置和提供这些机器这一简单事实很容易花费几分钟时间，更不用说这些机器需要设置，可以有引导操作，等等。我很少看到 EMR 作业(即使是大型作业)需要超过 10 分钟才能让集群准备就绪，但我也很少看到集群在不到几分钟的时间内启动。
如果您有一项经常运行的工作(例如每小时运行一次)，那么设置和关闭 EMR 集群的成本可能太大，在这种情况下，最好创建您的与 EC2 上的一些保留实例集群。使用预留实例，您将始终拥有自己的集群并由您管理，因此设置/关闭集群不会浪费时间，这就像常规 Hadoop 集群一样。
过去几年我一直在做的是在保留实例上使用 EC2 集群，该集群始终处于运行状态并且所有作业都在其上运行，但对于一些非常大且无法容纳的作业我的集群，我在 EMR 上运行它们，在那里我可以选择我想要的节点数量，并且由于这些是大型作业，因此与总运行时间相比，设置/关闭集群的时间很小。我不建议将 EMR 用于小型/频繁的工作。
关于hadoop - Elastic MapReduce (EMR) 的扩展？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/16891884/
27
4
0
我是 magento 的新手，目前我在 magento 安装期间遇到“必须加载 PHP 扩展 curl ”错误。你能帮帮我吗？ 最佳答案 如果您的服务器上没有安装 curl，您可以键入以下命令之一来安
我在 macOS Mojave/macOS Big Sur/macOS Monterey/macOS Ventura 上使用最新的 php 版本 7.2 并收到类似错误 $composer requ
这个问题已经有答案了: Why generic type is not applicable for argument extends super class for both? (5 个回答) 已关
我正在使用 NightWatch.js 并进行一些 UI 测试，我想用一些额外的 desiredCapabilities 启动默认浏览器实例(即启用扩展并应用一些特定值)。 p> 注意:我可以执行这些
有人知道为什么我在 java 8 中使用此代码时没有服务器扩展名称吗: try { URL url = new URL(urlString); URLC
扩展提供给我的类(class)。为现有的类提供新功能。或扩展现有的mixin s 或虚拟类，任何东西都可以工作。 也许是这样的: class FlatButton {} // maybe no
我有一个关于使用 c 代码和 mod_wsgi 扩展 python 的问题。 我在 apache 服务器中有一个 django 应用程序，它查询 postgresql 数据库以生成报告。在某些报告中，
testcafe支持在Chrome浏览器中加载crx扩展吗？ 如果是这样，请告诉我需要尝试什么方法。 我尝试了下面的代码，但没有成功 await t.eval(new Function(fs.read
这个问题已经有答案了: What is a raw type and why shouldn't we use it? (16 个回答) 已关闭 3 年前。 有什么区别: // 1 class A c
我正在编写一个 chrome 扩展来记录单击开始按钮后触发的请求。 这是我的文件:1. list .json { "manifest_version": 2, "name": "recorde
扩展是将较短的文本，例如一组提示或主题列表，输入到大型语言模型中，让模型生成更长的文本。我们可以利用这个特性让大语言模型生成基于某个主题的电子邮件或小论文。通过这种方式使用大语言模型，可以为工作与生活
我每天都在使用 vim 和 perforce 现在我的问题是，如果我想查看 perforce 文件修订版，则从命令模式下的 vim :!p4 打印文件#1 vim 试图让我获得缓冲区 #1。有没有办法
大家好，我有一个关于 NUnit 扩展(2.5.10)的问题。 我想做的是向 数据库。为此，我使用 Event 创建了 NUnit 扩展 听众。 我遇到的问题是公共(public)无效 TestFin
我有弹出窗口，而不是模态窗口。 如何通过单击页面的其他部分(不在窗口中)来关闭此窗口？ 最佳答案 像这样的东西: function closeWin(e, t) { var el = win.
我通常非常谨慎地使用扩展方法。当我确实觉得有必要编写一个扩展方法时，有时我想重载该方法。我的问题是，您对调用其他扩展方法的扩展方法有何看法？不好的做法？感觉不对，但我无法真正定义原因。 例如，第二个
扩展 Ant Ant带有一组预定义的任务，但是你可以创建自己的任务，如下面的例子所示。 定制Ant 任务应扩展 org.apache.tools.ant.Task 类，同时也应该拓展 execut
我想要一个重定向所有请求的扩展: http://website.com/foo.js 到: http://localhost/myfoo.js 我无法使用主机文件将主机从 website.com 编辑
对于为什么 QChartView 放在 QTabWidget 中时会扩展，我有点迷惑。 这是 QChartView 未展开(因为它被隐藏)时应用程序的图片。 应用程序的黑色部分是 QOpenGLWid
如果在连接条件中使用 OR 运算符，如何优化以下查询以避免 SQL 调优方面的 OR 扩展？ SELECT t1.A, t2.B, t1.C, t1.D, t2.E FROM t1 LEFT J
一旦加载插件的问题得到解决(在 .NET 中通过 MEF 的情况下)，下一步要解决的是与它们的通信。简单的方法是实现一个接口(interface)，使用插件实现，但有时插件只需要扩展应用程序的工作方式
我是一名优秀的程序员,十分优秀！