python - 使用 Python 访问 Hive 数据

Question

我在 HDFS 中有一些数据，我需要使用 python 访问这些数据，谁能告诉我如何使用 python 从 hive 访问数据？

Answer 1

要安装你需要这些库:

pip install sasl
pip install thrift
pip install thrift-sasl
pip install PyHive

如果您使用的是 Linux，则可能需要在运行上述命令之前单独安装 SASL。使用 apt-get 或 yum 或任何包管理器安装包 libsasl2-dev。对于 Windows，有一些选项 on GNU.org .如果您安装了 xcode 开发人员工具 (xcode-select --install)，在 Mac 上应该可以使用 SASL

安装后，您可以像这样执行配置单元查询:

from pyhive import hive
conn = hive.Connection(host="YOUR_HIVE_HOST", port=PORT, username="YOU")

现在您已经有了 Hive 连接，您可以选择如何使用它。您可以直接查询:

cursor = conn.cursor()
cursor.execute("SELECT cool_stuff FROM hive_table")
for result in cursor.fetchall():
  use_result(result)

...或使用连接制作 Pandas 数据框:

import pandas as pd
df = pd.read_sql("SELECT cool_stuff FROM hive_table", conn)