Python/Hive 接口(interface)使用 fetchone() 速度慢，使用 fetchall() 挂起

Question

我有一个使用 pyhs2 查询 HiveServer2 的 python 脚本，如下所示:

import pyhs2;
conn = pyhs2.connect(host=localhost,
               port=10000,
               user='user',
               password='password',
               database='default');

cur = conn.cursor();
cur.execute("SELECT name,data,number,time FROM table WHERE date = '2014-01-01' AND number in (1,5,6,22) ORDER BY name,time ASC");

line = cur.fetchone();
while line is not None:
   <do some processing, including writing to stdout>
   .
   .
   .
   line = cur.fetchone();

我也尝试过使用 fetchall() 而不是 fetchone()，但它似乎永远挂起。

我的查询运行良好并返回了约 2.7 亿行。为了进行测试，我将 Hive 的输出转储到一个以制表符分隔的平面文件中，并针对它编写了我的 python 脚本的内容，这样我就不必在每次运行时都等待查询完成。我读取平面文件的脚本将在大约 20 分钟内完成。令我困惑的是，当我直接查询 Hive 时，我看不到相同的性能。事实上，完成处理需要大约 5 倍的时间。我对 Hive 和 python 还很陌生，所以也许我犯了一些愚蠢的错误，但我在网上看到的例子显示了这样的设置。我只想遍历我的 Hive 返回，尽可能快地一次获取一行，就像我使用我的平面文件一样。有什么建议吗？

附言我发现这个问题听起来很相似:

Python slow on fetchone, hangs on fetchall

但这最终成为一个 SQLite 问题，我无法控制我的 Hive 设置。

Answer 1

您是否考虑过使用 fetchmany()。

这将是 DBAPI 以 block 的形式提取数据的答案(更大的 block ，开销是一个问题，小于所有行，内存是一个问题)。