hadoop - Apache Mesos 从站无法连接到主站-6ren

hadoop - Apache Mesos 从站无法连接到主站

转载作者：可可西里更新时间：2023-11-01 16:59:24

我一直在尝试设置 apache mesos，有两台机器，一台作为从机，另一台作为主机和从机。为此，我一直在使用 mesosphere 包。

master 机器 (james-pc) 上的 slave 连接正常，但另一台机器上的 slave 似乎连接不上。在下方记录消息。

这些是样本。时间戳可能不匹配。我运行了相同的命令并大量阅读了 og 文件:(

谢谢!!

奴隶

I1015 13:44:40.098458 16485 main.cpp:126] Build: 2014-09-23 05:36:09 by root
I1015 13:44:40.098520 16485 main.cpp:128] Version: 0.20.1
I1015 13:44:40.098530 16485 main.cpp:131] Git tag: 0.20.1
I1015 13:44:40.098537 16485 main.cpp:135] Git SHA: fe0a39112f3304283f970f1b08b322b1e970829d
I1015 13:44:40.098558 16485 containerizer.cpp:89] Using isolation: posix/cpu,posix/mem
I1015 13:44:40.100411 16485 main.cpp:149] Starting Mesos slave
I1015 13:44:40.101066 16485 slave.cpp:167] Slave started on 1)@127.0.1.1:5051
I1015 13:44:40.101238 16485 slave.cpp:278] Slave resources: cpus(*):4; mem(*):6649; disk(*):109050; ports(*):[31000-32000]
I1015 13:44:40.101335 16485 slave.cpp:306] Slave hostname: riri-desktop
I1015 13:44:40.101346 16485 slave.cpp:307] Slave checkpoint: true
I1015 13:44:40.102597 16489 state.cpp:33] Recovering state from '/tmp/mesos/meta'
I1015 13:44:40.102684 16489 state.cpp:62] Failed to find the latest slave from '/tmp/mesos/meta'
I1015 13:44:40.102777 16493 status_update_manager.cpp:193] Recovering status update manager
I1015 13:44:40.102821 16493 containerizer.cpp:252] Recovering containerizer
I1015 13:44:40.102982 16491 slave.cpp:3198] Finished recovery
I1015 13:44:40.103219 16488 slave.cpp:589] New master detected at master@10.117.149.130:5050
I1015 13:44:40.103313 16488 slave.cpp:625] No credentials provided. Attempting to register without authentication
I1015 13:44:40.103317 16491 status_update_manager.cpp:167] New master detected at master@10.117.149.130:5050
I1015 13:44:40.103333 16488 slave.cpp:636] Detecting new master

I1015 13:45:40.109150 16487 slave.cpp:3053] Current usage 27.72%. Max allowed age: 4.359784084743518days
I1015 13:46:40.119501 16489 slave.cpp:3053] Current usage 27.72%. Max allowed age: 4.359794862235926days

大师

I1015 13:47:55.462615  5670 hierarchical_allocator_process.hpp:563] Recovered cpus(*):4; mem(*):6659; disk(*):107176; ports(*):[31000-32000] (total allocatable: cpus(*):4; mem(*):6659; disk(*):107176; ports(*):[31000-32000]) on slave 20141015-130401-16842879-5050-3432-0 from framework 20141015-134423-16842879-5050-5654-0000
I1015 13:47:58.048534  5671 http.cpp:466] HTTP request for '/master/state.json'
I1015 13:48:01.461993  5667 master.cpp:3559] Sending 1 offers to framework 20141015-134423-16842879-5050-5654-0000
I1015 13:48:01.464038  5670 master.cpp:2169] Processing reply for offers: [ 20141015-134423-16842879-5050-5654-36 ] on slave 20141015-130401-16842879-5050-3432-0 at slave(1)@127.0.1.1:5051 (james-pc.syd.local) for framework 20141015-134423-16842879-5050-5654-0000
I1015 13:48:01.464246  5670 hierarchical_allocator_process.hpp:563] Recovered cpus(*):4; mem(*):6659; disk(*):107176; ports(*):[31000-32000] (total allocatable: cpus(*):4; mem(*):6659; disk(*):107176; ports(*):[31000-32000]) on slave 20141015-130401-16842879-5050-3432-0 from framework 20141015-134423-16842879-5050-5654-0000
I1015 13:48:06.464457  5669 master.cpp:3559] Sending 1 offers to framework 20141015-134423-16842879-5050-5654-0000
I1015 13:48:06.466624  5667 master.cpp:2169] Processing reply for offers: [ 20141015-134423-16842879-5050-5654-37 ] on slave 20141015-130401-16842879-5050-3432-0 at slave(1)@127.0.1.1:5051 (james-pc.syd.local) for framework 20141015-134423-16842879-5050-5654-0000
I1015 13:48:06.466841  5671 hierarchical_allocator_process.hpp:563] Recovered cpus(*):4; mem(*):6659; disk(*):107176; ports(*):[31000-32000] (total allocatable: cpus(*):4; mem(*):6659; disk(*):107176; ports(*):[31000-32000]) on slave 20141015-130401-16842879-5050-3432-0 from framework 20141015-134423-16842879-5050-5654-0000
I1015 13:48:08.064483  5673 http.cpp:466] HTTP request for '/master/state.json'
I1015 13:48:12.465992  5674 master.cpp:3559] Sending 1 offers to framework 20141015-134423-16842879-5050-5654-0000
I1015 13:48:12.468195  5670 master.cpp:2169] Processing reply for offers: [ 20141015-134423-16842879-5050-5654-38 ] on slave 20141015-130401-16842879-5050-3432-0 at slave(1)@127.0.1.1:5051 (james-pc.syd.local) for framework 20141015-134423-16842879-5050-5654-0000
I1015 13:48:12.468408  5670 hierarchical_allocator_process.hpp:563] Recovered cpus(*):4; mem(*):6659; disk(*):107176; ports(*):[31000-32000] (total allocatable: cpus(*):4; mem(*):6659; disk(*):107176; ports(*):[31000-32000]) on slave 20141015-130401-16842879-5050-3432-0 from framework 20141015-134423-16842879-5050-5654-0000

james@james-pc:/var/log/mesos$ cat mesos-slave.james-pc.invalid-user.log.INFO.20141015-134946.6069

Log file created at: 2014/10/15 13:49:46
Running on machine: james-pc
Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
I1015 13:49:46.323657  6069 logging.cpp:142] INFO level logging started!
I1015 13:49:46.323825  6069 main.cpp:126] Build: 2014-09-23 05:36:09 by root
I1015 13:49:46.323837  6069 main.cpp:128] Version: 0.20.1
I1015 13:49:46.323842  6069 main.cpp:131] Git tag: 0.20.1
I1015 13:49:46.323846  6069 main.cpp:135] Git SHA: fe0a39112f3304283f970f1b08b322b1e970829d
I1015 13:49:46.323860  6069 containerizer.cpp:89] Using isolation: posix/cpu,posix/mem
I1015 13:49:46.324012  6069 main.cpp:149] Starting Mesos slave
I1015 13:49:46.324472  6084 slave.cpp:167] Slave started on 1)@127.0.1.1:5051
I1015 13:49:46.324604  6084 slave.cpp:278] Slave resources: cpus(*):4; mem(*):6659; disk(*):107176; ports(*):[31000-32000]
I1015 13:49:46.324697  6084 slave.cpp:306] Slave hostname: james-pc.syd.local
I1015 13:49:46.324709  6084 slave.cpp:307] Slave checkpoint: true
I1015 13:49:46.326089  6079 state.cpp:33] Recovering state from '/tmp/mesos/meta'
I1015 13:49:46.326375  6084 status_update_manager.cpp:193] Recovering status update manager
I1015 13:49:46.326452  6079 containerizer.cpp:252] Recovering containerizer
I1015 13:49:46.326608  6083 slave.cpp:3198] Finished recovery
I1015 13:49:46.327335  6084 group.cpp:313] Group process (group(1)@127.0.1.1:5051) connected to ZooKeeper
I1015 13:49:46.327352  6084 group.cpp:787] Syncing group operations: queue size (joins, cancels, datas) = (0, 0, 0)
I1015 13:49:46.327360  6084 group.cpp:385] Trying to create path '/mesos' in ZooKeeper
I1015 13:49:46.328199  6085 detector.cpp:138] Detected a new leader: (id='5')
I1015 13:49:46.328272  6085 group.cpp:658] Trying to get '/mesos/info_0000000005' in ZooKeeper
I1015 13:49:46.328738  6084 detector.cpp:426] A new leading master (UPID=master@127.0.1.1:5050) is detected
I1015 13:49:46.328806  6085 slave.cpp:589] New master detected at master@127.0.1.1:5050
I1015 13:49:46.328881  6085 slave.cpp:625] No credentials provided. Attempting to register without authentication
I1015 13:49:46.328886  6078 status_update_manager.cpp:167] New master detected at master@127.0.1.1:5050
I1015 13:49:46.328897  6085 slave.cpp:636] Detecting new master
I1015 13:49:46.662595  6085 slave.cpp:816] Re-registered with master master@127.0.1.1:5050
W1015 13:50:19.134799  6078 slave.cpp:791] Already registered with master master@127.0.1.1:5050
I1015 13:50:46.338639  6082 slave.cpp:3053] Current usage 59.91%. Max allowed age: 2.106364690479491days
W1015 13:51:07.704756  6082 slave.cpp:791] Already registered with master master@127.0.1.1:5050
W1015 13:51:15.611064  6078 slave.cpp:791] Already registered with master master@127.0.1.1:5050
W1015 13:51:18.703999  6082 slave.cpp:791] Already registered with master master@127.0.1.1:5050
W1015 13:51:21.911741  6079 slave.cpp:791] Already registered with master master@127.0.1.1:5050

最佳答案

您正在使用本地 ip 地址:

I1015 13:49:46.324472  6084 slave.cpp:167] Slave started on 1)@127.0.1.1:5051

尝试将它们设置为适当的 ips，可能是它们无法正确地相互通信

几个要看的地方(我使用 mesosphere google deploy):

Slave(有的需要master IP，有的需要slave IP):

/etc/mesos-slave/hostname
/etc/mesos-slave/attributes/host
/etc/mesos/zk
/etc/hadoop/conf/core-site.xml
/etc/hadoop/conf/mapred-site.xml

希望对您有所帮助!

关于hadoop - Apache Mesos 从站无法连接到主站，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/26373738/

文章推荐： hadoop - 我的 2 节点 hadoop 比我的 4 节点 hadoop 表现更好

文章推荐： hadoop - 删除 Hadoop 的一个节点，它也是 NameNode

文章推荐： java - 如何在 Hadoop 级联中打印管道输出

文章推荐： Hadoop - 如何提高我的案例的性能？

database - 主-主 vs 主-从数据库架构？
我听说过两种数据库架构。大师级主从 master-master不是更适合现在的web吗，因为它就像Git一样，每个单元都有整套数据，如果一个宕机也无所谓。主从让我想起了 SVN(我不喜欢它)，你
mysql 复制主-主-主
我们当前将 MySQL 配置为支持故障转移:Site1 Site2。当它们被设置为主/主时。在给定时间点，应用程序服务器仅主动写入一个站点。我们想要设置一个新的故障转移站点。然后我们将拥有 Site
database - 主-主 vs 主从数据库架构？
我听说过两种数据库架构。大师-大师主从 master-master 不是更适合当今的网络吗，因为它就像 Git，每个单元都有整套数据，如果其中一个发生故障，也没关系。主从让我想起 SVN(我不喜
MySQL:类别和子类别的交叉表引用(主、主、名称)？
我正在创建一个标记为类别的表，其中主类别(父列)包含 0，子类别包含父类别的 ID。我听说这叫引用。我的问题:这张表的结构正确吗？或者是否有更好的方法，例如实现遍历树或类似方法？ CREATE TAB
C++ 主 vs C 主
我正在阅读一份关于 C++ 与 C 的文档。该文档说与 C 相比，C++ 编写得非常紧凑。一个例子是，C 允许 main() 函数类型为 void。另一方面，C++ 不允许这样做，他给出了标准中的以下
java - C 主 vs Java 主
C main函数和Java main函数有什么区别？ int main( int argc, const char* argv[] ) 对比 public static void main(Strin
responsive-design - 3 列(左、主、右)站点，但较小的设备首先是主(主、左、右)
我一直摸不着头脑，但运气不好。设计器有一个包含 3 栏的站点、两个侧边栏和一个主要内容区域。专为桌面设计，左栏、主要内容、右栏。但是，在较小的设备上，我们希望首先堆叠主要内容。所以通常情况下，你可
Jenkins 主/从配置
我一直在阅读有关 Jenkins 主/从配置的信息，但我仍然有一些问题: 是不是真的没有像 Jenkins 主站那样安装和启动从站 Jenkins？我假设我会以相同的方式安装一个主 Jenkins 和
c# - 主/细节的通用Viewmodel模式
据我了解，Viemodel中MVVM背后的概念包括业务逻辑和/或诸如暴露于 View 的数据的主/明细关系之类的事物因此，正如我发现的那样，有很多ORM生成器，例如模型的telerik a.o以及另
elasticsearch - 主/副本计分不一致
我们有一个群集，其中包含3个主分区，每个主分区有2个副本。主/副本分片的总文档数相同；但是，对于同一查询/文档，我们得到3个不同的分数。当我们将preference = primary添加为查询参数时
java - 从指定目录启动Java应用程序(主)
我有一个非常大/旧/长时间运行的项目，它使用相对于启动目录的路径访问文件资源(即应用程序仅在从特定目录启动时才工作)。当我需要调试程序时，我可以从 eclipse 启动它并使用“运行配置”->->“工
c - 主/从设备出现段错误
谁能向我解释一下为什么我在这段代码上遇到段错误？我一直试图弄清楚这一点，但在各种搜索中却一无所获。当我运行代码而不调用 main(argc, argv) 时，它会运行。 Slave 仅将 argv 中
ios - 主 - 详细项目未按预期工作
使用 xcode 中的默认项目作为主从应用程序，如果我在折叠委托(delegate)中放置 print 调试语句，当我旋转设备时它似乎永远不会被触发(事实上我永远无法触发它)。我编辑的代码位于 Ap
mysql 主/从故障转移
是否有任何产品可以使 mysql 主/从故障转移过程更容易？一些可以自动发生的事情，而不是手动修复它。最佳答案 [...稍后...;) 你所说的“更容易”是什么？MySQL 有很多解决方案: MyS
MySQL 主/主复制仅以一种方式工作
我有两个 mysql 数据库。我想做主/主复制。复制以一种方式进行。然而，反过来说却不然。该错误表明它无法与用户“test@IPADDRESS”连接。如何将用户名更改为 repl？从未进行过测试，
MySQL 主-主复制
我正在尝试在 MySQL 中运行以下查询: GRANT REPLICATION SLAVE ON *.* TO 'replication'@’10.141.2.%’ IDENTIFIED BY ‘sl
android - 主/从流程中的操作栏菜单项
我正在尝试使用 Android 提供的主/详细流程模板创建一个应用程序，并且我正在尝试将多个操作栏菜单项添加到操作栏的主要部分和详细信息部分。这就是我要实现的目标: (来源:softwarecrew.
C++ 主/工
我正在寻找一个跨平台的 C++ master/worker 库或工作队列库。一般的想法是我的应用程序将创建某种任务或工作对象，将它们传递给工作主机或工作队列，这将依次在单独的线程或进程中执行工作。为了
MySQL 主/外键大小？
我似乎看到很多人在他们的 MySQL 模式中任意分配大尺寸的主/外键字段，例如 INT(11) 甚至 WordPress 使用的 BIGINT(20)。如果我错了，请纠正我，但即使是 INT(4)
sql - 主/外键与没有主键的单表的性能
如果我有一个可以与多个键相关联的用户，正确的表设置应该是: 一个表有两列，例如: UserName | Key 没有主键且用户可以有多行，或者: 具有匹配标识符的两个表 Table 1 Us

可可西里

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

hadoop - Apache Mesos 从站无法连接到主站