个人中心
文章发布
退出
作者热门文章
- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库？
- java - OnItemClickListener 不起作用，但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
25
4
我是否需要将 Spark 与 YARN 结合使用才能通过 HDFS 实现 NODE LOCAL 数据局部性？
如果我使用 Spark 独立集群管理器并将我的数据分布在 HDFS 集群中，Spark 如何知道数据位于本地节点上？
最佳答案
YARN 是一个资源管理器。它处理内存和进程，而不处理 HDFS 或数据局部性的工作。
既然 Spark 可以从 HDFS 源中读取，并且名称节点和数据节点负责 YARN 之外的所有 HDFS block 数据管理，那么我认为答案是否定的，您不需要 YARN。但是您已经拥有 HDFS，这意味着您拥有 Hadoop，那么为什么不利用将 Spark 集成到 YARN 中呢？
关于hadoop - 我是否需要将 Spark 与 YARN 结合使用才能通过 HDFS 实现 NODE LOCAL 数据局部性？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/40101578/
25
4
0
YARN 中的 yarn-site.xml 与 yarn-default.xml 有什么区别？看起来yarn-default.xml 在Hadoop 2.2 中已被弃用？ 最佳答案 在所有 Hadoo
我们有一个在 yarn 上运行的流媒体应用程序，我们希望确保它 24/7 全天候运行。 有没有办法告诉 yarn 在失败时自动重启特定的应用程序？ 最佳答案 你试过了吗Hadoop Yarn - Re
我在根队列下有 4 个队列，配置如下。 |-------------|-----------------|---------------------|-------------------| | Qu
我正在使用 YARN(和 Dask)版本 Hadoop 2.7.3-amzn-1 在 AWS EMR 上构建应用程序。我正在尝试测试各种故障场景，并且我想模拟容器故障。我似乎找不到一种简单的方法来杀死
我想创建一个 cron 来通过它的应用程序名称杀死一个 yarn 应用程序(Spark)。但我发现 yarn 应用程序 -kill 需要一个应用程序 ID。是否有解决方案可以通过应用程序名称杀死它，或
我正在尝试从此链接运行通用入门套件:https://github.com/ng-seed/universal即使我按照步骤安装了 Yarn，当我运行命令来运行服务器时，它给了我以下错误: 错误:找不到
我正在尝试 YARN 2.2 中的分布式 Shell 示例，希望有人能澄清托管和非托管应用程序管理器之间的区别是什么？ 例如以下几行出现在客户端代码中 // unmanaged AM appConte
我有一个像这样的工作区项目: /project - package.json /packages /project-a package.json
这两个到底做什么用，在哪里使用它们？ yarn 安装 yarn 构建 最佳答案 简而言之，yarn install 是用于安装项目所有依赖项的命令，通常在 package.json 文件中分配。在大多
所以，到目前为止，似乎没有 yarn audit --fix ，所以我想弄清楚如何修复我的 yarn audit错误。 我试过 yarn upgrade它修复了一些错误(这很好)，但仍然存在一些错误。
我正在使用一个使用 yarn 的 dockerized pyspark 集群。为了提高数据处理管道的效率，我想增加分配给 pyspark 执行程序和驱动程序的内存量。 这是通过将以下两个键值对添加到
我尝试重新安装yarn，但重新安装后发现这个问题，我尝试搜索互联网但没有找到解决方案。 fiii@neo:~$ yarn --version node:internal/modules/cjs/loa
我正在试验2号纱和植面。 我创建了一个新文件夹:/projects/yarn2/根据他们的安装指南https://yarnpkg.com/getting-started我跑了 cd /projects
我是hadoop和YARN的新手。启动hdfs之后，我使用软件包中提供的start-yarn.sh启动YARN并出现错误。 我在Ubuntu 18.04上使用hadoop 3.2.0，jdk-11。
Apache Spark最近更新了版本至0.8.1，新增了yarn-client模式。我的问题是，yarn-client 模式的真正含义是什么？在文档中它说: With yarn-client mod
我们有一个在 HDFS 2.7.3 上运行的 Spark 流应用程序，使用 Yarn 作为资源管理器....在运行应用程序时......这两个文件夹 /tmp/hadoop/data/nm-local
我的机器上的 yarn 命令有问题。我的机器上安装了 hadoop 和 yarn 包管理器(Javascript)。当我运行 yarn init 时，它调用 hadoop 的 YARN 并响应: Er
我正在尝试运行此处列出的简单 yarn 应用程序:https://github.com/hortonworks/simple-yarn-app 我是 Java 和 Hadoop 的初学者，当我尝试使用
我正在尝试使用 YARN node labels标记工作节点，但是当我在 YARN(Spark 或简单的 YARN 应用程序)上运行应用程序时，这些应用程序无法启动。 使用 Spark，指定 --co
我一直只使用 npm 而从不显式使用 yarn/webpack。我需要从这个 repo 运行代码: https://github.com/looker-open-source/custom_visua
我是一名优秀的程序员,十分优秀！