hadoop - 这不正常吧？所需的 AM 内存 (471859200+47185920 MB) 高于最大阈值 (2048 MB)

Question

我已经阅读了很多有关通过设置 yarn.scheduler.maximum-allocation-mb 来解决此类问题的内容，我已将其设置为 2gb，因为我当前正在运行 select count(*) from <table>我想这不是一个繁重的计算。但是什么是Required AM memory (471859200+47185920 MB)应该是什么意思其他问题说关于(1024+2048)问题或类似的东西。我在一台机器上设置，即我的桌面有 4-gb ram 和 2 个内核。将 Spark 作为 Hive 执行引擎运行的规范是否非常低？目前我正在从 java 运行这项工作，我的设置是

Connection connect = DriverManager.getConnection("jdbc:hive2://saurab:10000/default", "hiveuser", "hivepassword");
Statement state = connect.createStatement();
state.execute("SET hive.execution.engine=spark");
state.execute("SET spark.executor.memory=1g");
state.execute("SET spark.yarn.executor.memoryOverhead=512m");

yarn-site.xml

<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>3g</value>
</property>

一个简单的查询

 String query = "select count(*) from sales_txt";
 ResultSet res = state.executeQuery(query);
 if (res.next()) {
        System.out.println(res.getString());
     }

那两个内存编号 (A+B) 是多少？

Answer 1

AM 代表 Application Master，用于在 Yarn 上运行 Spark。很好的解释在这里: https://jaceklaskowski.gitbooks.io/mastering-apache-spark/yarn/spark-yarn-applicationmaster.html

目前还不清楚为什么您需要在单台机器上运行 yarn 来进行测试。您可以在独立模式下运行它以消除 yarn 开销，并测试您的 spark 应用程序代码。 https://spark.apache.org/docs/latest/

部署spark应用时需要设置spark.*.memory和spark.yarn.executor.memoryOverhead。它们不能在这些语句中设置。