python - 是否可以在Hive中按列表查询？

Question

我有一个身份证 list

[id1, id2, id3.......]

我想查询所有行，以使ID匹配列表中的ID之一

现在我正在以一种怪异的方式

# This is a python script
id_list_str = "`_id` = '" + str(_id[0]) + "' "

for m_id in _id[1:]:
    id_list_str += " OR `_id` = '" + str(m_txn_id) + "' "


hive_query = "SELECT" \
             "  `_id`, " \
             "  time, " \
             "  state " \
             "FROM " \
             "  transaction " \
             "WHERE " \
             "  %s " \
             % (id_list_str)

我认为这不会随着列表中id数量的增加而扩展，还有另一种方法吗？

谢谢

Answer 1

在 hive 中，尝试展开侧 View 以扩展列表。如果您还有很多列表，也可以使用。

  select a.id
    , a.time
    , a.state
  from transaction a 
 left semi join
  (SELECT distinct id 
  from list_of_ids LATERAL VIEW explode(id_list_Str) idTable as id
  ) 
  t on a.id = t.id