- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在尝试在 Mesos 集群上运行 Spark。
当我从运行 Mesos master 的机器上运行 ./bin/spark-shell --master mesos://host:5050
时,一切正常。但是,如果我从不同的机器运行相同的命令,进程在尝试连接后最终会挂起:
I0825 07:30:10.184141 27380 sched.cpp:126] Version: 0.19.0
I0825 07:30:10.187476 27385 sched.cpp:222] New master detected at master@192.168.0.241:5050
I0825 07:30:10.187619 27385 sched.cpp:230] No credentials provided. Attempting to register without authentication
[...]
I0825 15:30:23.928402 23214 master.cpp:684] Giving framework 20140825-143817-4043352256-5050-23194-0002 0ns to failover
I0825 15:30:23.929033 23210 master.cpp:2849] Framework failover timeout, removing framework 20140825-143817-4043352256-5050-23194-0002
I0825 15:30:23.929095 23210 master.cpp:3344] Removing framework 20140825-143817-4043352256-5050-23194-0002
I0825 15:30:23.929687 23210 hierarchical_allocator_process.hpp:636] Recovered mem(*):512 (total allocatable: cpus(*):4; mem(*):6831; disk(*):455983; ports(*):[31000-32000]) on slave 20140822-144404-4043352256-5050-15999-31 from framework 20140825-143817-4043352256-5050-23194-0002
I0825 15:30:23.935073 23210 hierarchical_allocator_process.hpp:636] Recovered mem(*):512 (total allocatable: cpus(*):4; mem(*):15001; disk(*):917264; ports(*):[31000-32000]) on slave 20140822-144404-4043352256-5050-15999-29 from framework 20140825-143817-4043352256-5050-23194-0002
I0825 15:30:23.938248 23210 hierarchical_allocator_process.hpp:636] Recovered mem(*):512 (total allocatable: mem(*):6823; disk(*):455991; ports(*):[31000-32000]; cpus(*):4) on slave 20140822-144404-4043352256-5050-15999-32 from framework 20140825-143817-4043352256-5050-23194-0002
I0825 15:30:23.938356 23210 hierarchical_allocator_process.hpp:636] Recovered mem(*):512 (total allocatable: mem(*):4939; disk(*):457873; ports(*):[31000-32000]; cpus(*):4) on slave 20140822-144404-4043352256-5050-15999-28 from framework 20140825-143817-4043352256-5050-23194-0002
I0825 15:30:23.938397 23210 hierarchical_allocator_process.hpp:362] Removed framework 20140825-143817-4043352256-5050-23194-0002
I0825 15:30:27.952940 23215 http.cpp:452] HTTP request for '/master/state.json'
W0825 15:30:29.595441 23208 master.cpp:2718] Ignoring unknown exited executor 20140822-144404-4043352256-5050-15999-32 on slave 20140822-144404-4043352256-5050-15999-32 at slave(1)@192.168.0.233:5051 (cluster2)
W0825 15:30:29.596709 23213 master.cpp:2718] Ignoring unknown exited executor 20140822-144404-4043352256-5050-15999-29 on slave 20140822-144404-4043352256-5050-15999-29 at slave(1)@192.168.0.241:5051 (cluster4)
W0825 15:30:29.615630 23213 master.cpp:2718] Ignoring unknown exited executor 20140822-144404-4043352256-5050-15999-31 on slave 20140822-144404-4043352256-5050-15999-31 at slave(1)@192.168.0.213:5051 (cluster3)
W0825 15:30:29.935130 23214 master.cpp:2718] Ignoring unknown exited executor 20140822-144404-4043352256-5050-15999-28 on slave 20140822-144404-4043352256-5050-15999-28 at slave(1)@192.168.0.212:5051 (cluster1)
[...]
I0825 15:30:08.450343 980 slave.cpp:1337] Asked to shut down framework 20140825-143817-4043352256-5050-23194-0002 by master@192.168.0.241:5050
I0825 15:30:08.455153 980 slave.cpp:1362] Shutting down framework 20140825-143817-4043352256-5050-23194-0002
I0825 15:30:08.455401 980 slave.cpp:2698] Shutting down executor '20140822-144404-4043352256-5050-15999-31' of framework 20140825-143817-4043352256-5050-23194-0002
I0825 15:30:13.456045 982 slave.cpp:2768] Killing executor '20140822-144404-4043352256-5050-15999-31' of framework 20140825-143817-4043352256-5050-23194-0002
I0825 15:30:13.456217 982 mesos_containerizer.cpp:992] Destroying container '37cc2b09-0e6d-4738-a837-7956367bba2b'
I0825 15:30:14.134845 977 mesos_containerizer.cpp:1108] Executor for container '37cc2b09-0e6d-4738-a837-7956367bba2b' has exited
I0825 15:30:14.135220 978 slave.cpp:2413] Executor '20140822-144404-4043352256-5050-15999-31' of framework 20140825-143817-4043352256-5050-23194-0002 has terminated with signal Killed
I0825 15:30:14.135356 978 slave.cpp:2552] Cleaning up executor '20140822-144404-4043352256-5050-15999-31' of framework 20140825-143817-4043352256-5050-23194-0002
I0825 15:30:14.135499 978 slave.cpp:2627] Cleaning up framework 20140825-143817-4043352256-5050-23194-0002
I0825 15:30:14.135627 976 status_update_manager.cpp:282] Closing status update streams for framework 20140825-143817-4043352256-5050-23194-0002
I0825 15:30:14.135571 975 gc.cpp:56] Scheduling '/tmp/mesos/slaves/20140822-144404-4043352256-5050-15999-31/frameworks/20140825-143817-4043352256-5050-23194-0002/executors/20140822-144404-4043352256-5050-15999-31/runs/37cc2b09-0e6d-4738-a837-7956367bba2b' for gc 6.99999843242074days in the future
I0825 15:30:14.135910 975 gc.cpp:56] Scheduling '/tmp/mesos/slaves/20140822-144404-4043352256-5050-15999-31/frameworks/20140825-143817-4043352256-5050-23194-0002/executors/20140822-144404-4043352256-5050-15999-31' for gc 6.99999843187556days in the future
I0825 15:30:14.135980 975 gc.cpp:56] Scheduling '/tmp/mesos/slaves/20140822-144404-4043352256-5050-15999-31/frameworks/20140825-143817-4043352256-5050-23194-0002' for gc 6.99999843111111days in the future
I0825 15:31:04.450660 978 slave.cpp:2873] Current usage 60.67%. Max allowed age: 2.053113079446458days
最佳答案
结果证明该问题不是由网络连接问题引起的,而是由此处概述的 Mesos 从属恢复策略引起的:http://mesos.apache.org/documentation/latest/slave-recovery/
由于一个无关的问题,我最初会将从站连接到主站并断开它们的连接,但是当我后来再次尝试连接从站时,它们被主站删除了。引用上面链接的文档:
A restarted slave should re-register with master within a timeout (currently, 75s). If the slave takes longer than this timeout to re-register, the master shuts down the slave, which in turn shuts down any live executors/tasks. Therefore, it is highly recommended to automate the process of restarting a slave (e.g, using monit).
--strict
连接来解决了这个问题。选项设置为
false
.
关于apache-spark - 只能在同一台机器上从 Spark 连接到 Mesos,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25481282/
我正在努力解决这个问题, 要获得 mesos slave,我们是必须安装 Mesos 并启动 mesos slave 设置还是? 而且我运行命令的 mesos master 也有问题 ./bin/me
Mesos Master 和 Mesos 代理是否需要 root 访问权限? Mesos master 和 Mesos agent 的默认权限级别是多少?他们可以以非root访问权限运行吗? 最佳答案
我有一些 mesos-slave 节点,我想公开到互联网上。因此,我希望 mesos-slave 除了其默认的大量端口/资源外还提供端口 80 和 443。 来自 what I have gather
我正在尝试与Marathon一起执行一次性任务。我能够运行任务容器,但是在task命令完成之后,马拉松运行另一个任务,依此类推。如何防止Marathon运行多个任务/命令? 或者,如果“马拉松”无法做
我试图了解 Mesos 的各个组件如何一起努力,发现this excellent tutorial其中包含以下架构概述: 我对此有一些未明确说明的担忧(无论是在文章中还是在官方 Mesos docs
我浏览了 video on introduction of DCOS .这很好,但让我对 Mesosphere 中组件定义的分类感到有些困惑。 我知道 DCOS 是一个生态系统,而 Mesos 就像一
我们有多种应用程序在同一个 Mesos-Marathon 集群上运行。这些应用程序可以分为耦合非常松散的类别,几乎可以单独运行。考虑到易于配置、维护集群、重用 CI/CD 管道等,它们在同一个集群上运
我正在学习本教程:http://mesosphere.io/docs/getting-started/cloud-install/ 只是在 Digital Ocean 上的一个 Ubuntu 实例上学
我们的服务有很多批处理作业,从一台机器执行,现在 CPU 资源快用完了。 大多数这些工作都非常简单。比如每隔5分钟查询一次我们的数据库,找到需要处理的数据,然后对这些数据进行处理,将结果写回数据库。
我正在运行一个 mesos 集群,目前在同一台机器上有三个主节点和从节点。 我的问题是,有时我会在 Marathon 和 Chronos 中看到一个进程突然停止。检查我看到的日志后,mesos-sla
我有 3 个 CentOS 虚拟机,我在主节点上安装了 Zookeeper、Marathon 和 Mesos,而只在其他 2 个虚拟机上安装了 Mesos。主节点上没有运行 mesos-slave。我
我正在编写一个 mesos 框架,我想使用我的自定义执行器来执行我的任务。我浏览了其他几个 mesos 框架代码库(chronos 和 marathon),并编写了一个使用默认命令执行器执行 shel
我正在阅读 Building Applications on Mesos ,并遇到以下语句: cpus This resource expresses how many CPU cores are a
我们有一个现有的 Apache Mesos 集群,并希望以其崭新的开源形式试用 DCOS。但是,破坏性地重新安装 DCOS 会很痛苦。那么是否可以在现有的 Mesos 安装上“覆盖”DCOS? DCO
Marathon 不支持可以建立命令模式和避免冗余的任务配置模板。我们正在努力寻找解决方法,否则我们需要创建 100,000 个任务,并且管理这些配置文件将非常困难。我们正在考虑的一种方法是在 mes
我有一个小型 Mesos 集群,我正在使用 Marathon 管理一组长期运行的服务,每个服务的实例数量可变。 我希望能够根据业务需要启动新节点或终止其中的一些节点。然而,当终止一个节点时,我意识到有
Mesos 现在支持 Docker。如果我将 Docker 作为 Executor 运行,我是否还能获得 Mesos 的一些高可用性和调度优势?或者我是否必须运行 Docker 任务,例如在马拉松比赛
我在尝试在 mesos 集群上运行 mesos-dns dockerized 时遇到了一些麻烦。 我在 Windows 8.1 主机上设置了 2 个 ubuntu 可信赖的虚拟机。 我的虚拟机被称为
我正在尝试使用 DCOS cli 在 mesos 上启动一个 spark streaming 作业。我可以开始工作了。我的程序需要一个配置文件作为 cli 参数传递。如何使用 dcos spark r
我想在 Mesos 上运行多个 Kafka 代理作为 Marathon 作业。我在考虑使用什么作为经纪人 ID。我知道有些人正在使用基于 IP 的代理 ID,但我读到这种方法对于将代理迁移到不同机器的
我是一名优秀的程序员,十分优秀!