hive - Presto 集群无法对配置单元定义的表运行查询

hive - Presto 集群无法对配置单元定义的表运行查询 - "No nodes available to run query"

转载作者：行者123 更新时间：2023-12-05 01:31:15

我正在运行一个指向 EMR 上的配置单元的 2 节点 presto 集群，该集群配置了 S3 上的数据。

hive 元数据是可见的；在 CLI 中，我可以描述(表)claim1，并查看有关它的元数据。

两个节点在 sys.node 表中都显示为事件的。

当我运行查询时(select count(*) from claim1 where col1='M')，我在协调器节点上看到很多日志记录，最后是:

2014-05-19T22:19:32.760+0000     INFO   HiveHdfsWalker-144  stdout  22:19:32.760 [HiveHdfsWalker-144] DEBUG c.a.s.s.m.t.XmlResponsesSaxParser - Examining listing for bucket: unzippeddata

2014-05-19T22:19:32.763+0000     INFO   HiveHdfsWalker-144  stdout  22:19:32.763 [HiveHdfsWalker-144] DEBUG com.amazonaws.request - Received successful response: 200, AWS Request ID: 9B844EEC8586FF3B

2014-05-19T22:19:32.766+0000    DEBUG   query-scheduler-8   com.facebook.presto.execution.SqlStageExecution Stage 20140519_221932_00005_mfhtx.1 is FAILED
2014-05-19T22:19:32.766+0000    DEBUG   query-scheduler-6   com.facebook.presto.execution.SqlStageExecution Stage 20140519_221932_00005_mfhtx.0 is FAILED
2014-05-19T22:19:32.768+0000    DEBUG   query-scheduler-7   com.facebook.presto.execution.QueryStateMachine Query 20140519_221932_00005_mfhtx is FAILED
2014-05-19T22:19:32.770+0000    ERROR   Stage-20140519_221932_00005_mfhtx.1-126 com.facebook.presto.execution.SqlStageExecution Error while starting stage 20140519_221932_00005_mfhtx.1
com.facebook.presto.spi.PrestoException: No nodes available to run query
    at com.facebook.presto.util.Failures.checkCondition(Failures.java:79) ~[presto-main-0.68.jar:0.68]
    at com.facebook.presto.util.Failures.checkCondition(Failures.java:73) ~[presto-main-0.68.jar:0.68]
    at com.facebook.presto.execution.NodeScheduler$NodeSelector.computeAssignments(NodeScheduler.java:184) ~[presto-main-0.68.jar:0.68]
    at com.facebook.presto.execution.SqlStageExecution.scheduleSourcePartitionedNodes(SqlStageExecution.java:631) [presto-main-0.68.jar:0.68]
    at com.facebook.presto.execution.SqlStageExecution.startTasks(SqlStageExecution.java:549) [presto-main-0.68.jar:0.68]
    at com.facebook.presto.execution.SqlStageExecution.access$200(SqlStageExecution.java:91) [presto-main-0.68.jar:0.68]
    at com.facebook.presto.execution.SqlStageExecution$4.run(SqlStageExecution.java:521) [presto-main-0.68.jar:0.68]
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) [na:1.7.0_51]
    at java.util.concurrent.FutureTask.run(FutureTask.java:262) [na:1.7.0_51]
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) [na:1.7.0_51]
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) [na:1.7.0_51]
    at java.lang.Thread.run(Thread.java:744) [na:1.7.0_51]
2014-05-19T22:19:32.775+0000     INFO   query-scheduler-7   com.facebook.presto.event.query.QueryMonitor    TIMELINE: Query 20140519_221932_00005_mfhtx :: elapsed 483.00ms :: planning 74.12ms :: scheduling 409.00ms :: running 0.00ms :: finishing 409.00ms :: begin 2014-05-19T22:19:32.285Z :: end 2014-05-19T22:19:32.768Z
2014-05-19T22:19:32.872+0000    DEBUG   task-notification-0 com.facebook.presto.execution.TaskStateMachine  Task 20140519_221932_00005_mfhtx.0.0 is CANCELED
2014-05-19T22:19:32.880+0000    DEBUG   20140519_221932_00005_mfhtx.0.0-0-56    com.facebook.presto.execution.TaskExecutor  Split 20140519_221932_00005_mfhtx.0.0-0 (start = 1400537972443, wall = 437 ms, cpu = 3 ms, calls = 2) is finished

...或者:

2014-05-19T22:22:43.972+0000     INFO   HiveHdfsWalker-170  stdout  22:22:43.972 [HiveHdfsWalker-170] DEBUG c.a.s.s.m.t.XmlResponsesSaxParser - Parsing XML response document with handler: class com.amazonaws.services.s3.model.transform.XmlResponsesSaxParser$ListBucketHandler

2014-05-19T22:22:43.972+0000     INFO   HiveHdfsWalker-170  stdout  22:22:43.972 [HiveHdfsWalker-170] DEBUG c.a.s.s.m.t.XmlResponsesSaxParser - Examining listing for bucket: unzippeddata

2014-05-19T22:22:43.976+0000     INFO   HiveHdfsWalker-170  stdout  22:22:43.976 [HiveHdfsWalker-170] DEBUG com.amazonaws.request - Received successful response: 200, AWS Request ID: 476D4ABA552DAA66

2014-05-19T22:22:43.979+0000    DEBUG   query-scheduler-17  com.facebook.presto.execution.SqlStageExecution Stage 20140519_222243_00007_mfhtx.1 is FAILED
2014-05-19T22:22:43.979+0000    ERROR   Stage-20140519_222243_00007_mfhtx.1-160 com.facebook.presto.execution.SqlStageExecution Error while starting stage 20140519_222243_00007_mfhtx.1
com.facebook.presto.spi.PrestoException: No nodes available to run query
    at com.facebook.presto.util.Failures.checkCondition(Failures.java:79) ~[presto-main-0.68.jar:0.68]
    at com.facebook.presto.util.Failures.checkCondition(Failures.java:73) ~[presto-main-0.68.jar:0.68]
    at com.facebook.presto.execution.NodeScheduler$NodeSelector.computeAssignments(NodeScheduler.java:184) ~[presto-main-0.68.jar:0.68]
    at com.facebook.presto.execution.SqlStageExecution.scheduleSourcePartitionedNodes(SqlStageExecution.java:631) [presto-main-0.68.jar:0.68]
    at com.facebook.presto.execution.SqlStageExecution.startTasks(SqlStageExecution.java:549) [presto-main-0.68.jar:0.68]
    at com.facebook.presto.execution.SqlStageExecution.access$200(SqlStageExecution.java:91) [presto-main-0.68.jar:0.68]
    at com.facebook.presto.execution.SqlStageExecution$4.run(SqlStageExecution.java:521) [presto-main-0.68.jar:0.68]
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) [na:1.7.0_51]
    at java.util.concurrent.FutureTask.run(FutureTask.java:262) [na:1.7.0_51]
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) [na:1.7.0_51]
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) [na:1.7.0_51]
    at java.lang.Thread.run(Thread.java:744) [na:1.7.0_51]
2014-05-19T22:22:43.983+0000    DEBUG   query-scheduler-13  com.facebook.presto.execution.SqlStageExecution Stage 20140519_222243_00007_mfhtx.0 is FAILED
2014-05-19T22:22:43.984+0000    DEBUG   query-scheduler-14  com.facebook.presto.execution.QueryStateMachine Query 20140519_222243_00007_mfhtx is FAILED
2014-05-19T22:22:43.990+0000     INFO   query-scheduler-14  com.facebook.presto.event.query.QueryMonitor    TIMELINE: Query 20140519_222243_00007_mfhtx :: elapsed 233.00ms :: planning 60.01ms :: scheduling 173.00ms :: running 0.00ms :: finishing 173.00ms :: begin 2014-05-19T22:22:43.751Z :: end 2014-05-19T22:22:43.984Z
2014-05-19T22:22:44.088+0000    DEBUG   task-notification-3 com.facebook.presto.execution.TaskStateMachine  Task 20140519_222243_00007_mfhtx.0.0 is CANCELED
2014-05-19T22:22:44.102+0000    DEBUG   20140519_222243_00007_mfhtx.0.0-0-50    com.facebook.presto.execution.TaskExecutor  Split 20140519_222243_00007_mfhtx.0.0-0 (start = 1400538163839, wall = 259 ms, cpu = 0 ms, calls = 2) is finished

非协调节点有时(但不总是)在其日志中得到几行:

2014-05-19T22:19:32.340+0000    DEBUG   task-notification-10    com.facebook.presto.execution.TaskStateMachine  Task 20140519_222103_00006_mfhtx.0.0 is CANCELED
2014-05-19T22:19:32.352+0000    DEBUG   20140519_222103_00006_mfhtx.0.0-0-48    com.facebook.presto.execution.TaskExecutor  Split 20140519_222103_00006_mfhtx.0.0-0 (start = 1400538063009, wall = 343 ms, cpu = 0 ms, calls = 2) is finished

最佳答案

这个问题曾经是因为忘记在 worker 上配置 datasources 引起的，但这不再是问题，因为 Presto 不再需要为此进行显式配置(并且 config 属性可能会被删除在未来的版本中)。

关于hive - Presto 集群无法对配置单元定义的表运行查询 - "No nodes available to run query"，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/23748175/

文章推荐： drag-and-drop - 在两个 QListWidgets PyQt5 之间拖放

文章推荐： arrays - 如何在R中制作和排序元组数组

文章推荐： visual-studio-2012 - WIF 4.5 本地开发 STS 未运行？

文章推荐： c - GProf 输出中缺少函数

ruby - 如何要求正确版本的测试/单元
我试图要求 test/unit 的新版本(即不是与 ruby 捆绑的版本) .根据 instructions我用 gem i test-unit 安装它.但是现在当我需要 test/unit我似乎
Systemd 单元，使用外部脚本检查状态
简短版本是: 我有一个 systemd 单元，我想在调用时检查脚本的返回代码: systemctl status service.service 长版本:我有一个 lsb init 脚本正是这样做的，
c# - 单元/集成测试中的反射问题
我正在使用反射动态创建一个类的实例，这工作正常，除非尝试通过单元测试执行此操作 - 我使用的是 MS 测试框架。我收到熟悉的错误:“无法加载文件或程序集‘Assy’或其依赖项之一。系统找不到指定的文
javascript - (单元)测试网站界面的方法
我想知道测试网站“界面功能”的最佳实践是什么。我对哪些方法可用于测试界面和动态生成的内容感兴趣。特别是，我很难弄清楚是否可以为需要用户交互的操作创建自动化测试，或者这是否只是浪费时间，我应该让一些
python - (单元)测试python信号处理程序
我有一个简单的 Python 服务，其中有一个无限执行某些操作的循环。在各种信号上，sys.exit(0) 被调用，这导致 SystemExit 被引发，然后如果可以的话应该进行一些清理。在测试中，
c# - HoughLinesP参数!单元？
我正在使用 OpenCV 2.4.2 这是 OpenCV 文档中的引文 C++: void HoughLinesP(InputArray image, OutputArray lines, doubl
c# - 单元/集成测试和恢复数据库
忙于 C# 中的自动化测试用例，我们需要在每次测试后恢复数据库快照。问题是，当运行多个测试时它会失败，因为“其他用户正在使用数据库时无法更改数据库状态。” 我们使用 SqlConnection.Cle
C# 单元(文件范围)命名空间
我阅读了 C# 规范并用谷歌搜索了它，但一无所获。我 99% 肯定 C# 中没有像单元命名空间指令这样的功能，但问题是:为什么？是否有惯用或技术原因？这很方便，尤其是当我们的大部分文件都由单个命名
ios - iOS 单元/应用程序测试目标如何与其宿主应用程序中的类进行链接？
我目前正在尝试向我的应用程序(一个非常老的项目......评论说 iOS 2.0)添加单元测试(精确的应用程序测试)并且总是偶然发现 undefined symbols for architectur
delphi - 如何向项目添加新的(自制)单元
我正在使用Delphi 7，并且有一个新单元要在我的项目中使用。我已经编译了新的。当我尝试通过将其添加到uses子句在项目中使用此单元时，出现错误，提示未找到.dcu文件。我还尝试将文件的完整路径放在
unit-testing - 单元/集成测试nHibenrate查询
场景：我需要编写一个复杂的nHibernate查询，该查询将返回预计的DTO，但是我想使用TDD方法。该方法如下所示： public PrintDTO GetUsersForPrinting(int
slideshow - 以幻灯片模式运行 Jupyter 单元
您可以通过运行以下命令在事件 html 设置中显示 Jupyter 笔记本: $ jupyter nbconvert untitled.ipynb --to slides --post serve 有
adsense - 如何在一个页面上使用多个 AdSense 单元？
如何在一个网站上拥有多个 AdSense 单元？ Google 提供的唯一代码是按单位计算的。 (adsbygoogle = window.adsbygoogle || []).push({})
unit-testing - 单元/集成测试中文件系统依赖关系的最佳实践
我刚刚开始为大量代码编写测试。有很多类依赖于文件系统，即读取 CSV 文件、读/写配置文件等。当前测试文件存储在项目(这是一个 Maven2 项目)的 test 目录中，但由于多种原因该目录并不总是
unit-testing - (单元)测试驱动开发
我对 TDD 还很陌生，在单元测试方面也不是很老练，所以才有这个问题。我有这个用 PHP 编写的遗留函数 function foo(){ x = bar(); y = baz();
java - 垂直排列 JCheckBox 单元
我创建了一个程序，在 Swing 窗口的一侧显示结果过滤选项，但默认情况下它们水平相邻显示，这浪费了我在 BorderLayout 的西侧分配的空间。我可以在构造函数或添加语句中传递任何内容来将它们堆
c# - 如何(单元)测试弱引用列表的内存管理功能？
标题不好的借口:如果有人能更好地描述它，请做。我有一个 WeakList类，它“基本上”是一个 List> (虽然不是字面意义上的派生自列表，但它应该对用户完全透明)。现在的基本思想是“如果引用的
ios - 如何继续添加多个原型(prototype)单元
我正在尝试在 UITableView 上添加两个原型(prototype)单元。但是，我不知道如何验证是否能够为每个原型(prototype)“返回”正确的单元格。你们能帮我一下吗？ func ta
swift - 如何重新加载经过编辑的更改的 CloudKit 单元
我正在使用 CloudKit 作为数据库创建一个简单的待办事项列表应用程序。目前我可以添加和删除对象，但对编辑对象感到困惑。编辑项目 Controller protocol EditItemCont
python - 涉及序列的任务需要多少个 RNN 单元？
我正在针对以下任务训练 RNN:给定一个包含 30 个单词的序列，然后将该序列分类为二进制类。在我的网络中拥有超过 30 个单元(LSTM、GRU 或普通 RNN)有好处吗？我在网上看到过很多例子，

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

hive - Presto 集群无法对配置单元定义的表运行查询 - "No nodes available to run query"