python - 使用Python将多阶段作业的HIVE刷新错误转换为stderr

Question

我想知道是否有可能在发生时将消息从Hive CLI刷新到stderr。当前，我正在尝试执行一个多阶段查询(只是一个示例而不是实际的):

SELECT  COUNT(*) FROM ( 
SELECT user from users
where datetime = 05-10-2013
UNION ALL
SELECT user from users
where datetime = 05-10-2013 
) a

这将启动3个作业，但是如果作业1由于被杀死而失败，则我不想运行作业2。当前，我的代码如下所示，但是，在所有子查询完成之前，hive不会写入stderr返回错误。

def execute_hive_query(query):
    return_code = None
    cmd = ["hive", "-e", query]
    proc = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
    while return_code is None:
        out = proc.stdout.read()
        error = proc.stderr.read()
        handle_hive_exception(out,error)
        time.sleep(10)
        return_code = proc.poll()

def handle_hive_exception(stdout,stderr):
      if stderr != '':
      raise Exception(stderr)

谢谢!

Answer 1

我怀疑查询的各个阶段正在并行执行。如果按顺序执行它们，则失败将导致整个作业失败。

尝试在查询中设置hive.exec.parallel=false。