python - 通过 Python 从 Impala 访问表

Question

我需要在同一个 cloudera 服务器上使用 python 通过 CLI 从 Impala 访问表

我已尝试使用以下代码建立连接:

def query_impala(sql):
    cursor = query_impala_cursor(sql)
    result = cursor.fetchall()
    field_names = [f[0] for f in cursor.description]
    return result, field_names


def query_impala_cursor(sql, params=None):
    conn = connect(host='xx.xx.xx.xx', port=21050, database='am_playbook',user='xxxxxxxx', password='xxxxxxxx')
    cursor = conn.cursor()
    cursor.execute(sql.encode('utf-8'), params)
    return cursor

但是因为我在同一个cloudera服务器上，所以我不需要提供主机名。您能否提供正确的代码以通过 python 访问存在于同一服务器上的 Impala/hive 表。

Answer 1

您可以使用 pyhive 连接到 hive 并访问您的 hive 表。

from pyhive import hive
import pandas as pd
import datetime

conn = hive.Connection(host="hostname", port=10000, username="XXXX")
hive.connect('hostname', configuration={'hive.execution.engine':'tez'})
query="select col1,col2,col3,col4 from db.yourhiveTable"

start_time= datetime.datetime.now()

data=pd.read_sql(query,conn)
print(data)

end_time=datetime.datetime.now()
print 'Finished reading from Hive table', (start_time-end_time).seconds/60.0,' minutes'