hadoop - PyHive忽略Hive配置

Question

我间歇性地收到错误消息

DAG did not succeed due to VERTEX_FAILURE.

通过PyHive运行Hive查询时。因此，Hive在EMR群集上运行，其中将hive-site.xml文件中的 hive.vectorized.execution.enabled设置为 false。

我可以通过Hive连接上的配置来设置上述属性，并且每次执行该查询时都可以成功运行我的查询，但是我想确认这已经解决了该问题，并且 hive 站点肯定是这种情况。 xml被忽略。

谁能确认这是否是预期的行为，或者有其他方法可以通过PyHive检查Hive配置，因为我无法找到任何方法来做到这一点？

谢谢!

Answer 1

PyHive是一个瘦客户端，它连接到HiveServer2，就像Java或C客户端(通过JDBC或ODBC)一样。它在本地计算机上不使用任何Hadoop配置文件。 HS2 session 从服务器端设置的任何属性开始。ImPyla BTW也是如此。

因此，您有责任根据自己的Python代码设置自定义 session 属性，例如执行此语句...SET hive.vectorized.execution.enabled =False...在运行SELECT之前。