hadoop - org.apache.hive.jdbc.HiveDriver : HiveBaseResultSet has not implemented absolute()?

Question

我刚开始使用驱动org.apache.hive.jdbc.HiveDriver(版本 1.2.1 for spark2) 与 Spark Thrift 服务器 (STS)(引用 here)

java.sql.ResultSet 定义方法 absolute() (JavaDoc here )

但是HiveBaseResultSet似乎选择了不实现该方法(源码here)

现在我的应用程序(构建在 SmartGWT 之上)正在执行一个简单的操作，我收到以下错误消息:

=== 2017-05-13 18:06:16,980 [3-47] WARN  RequestContext - dsRequest.execute() failed:
java.sql.SQLException: Method not supported
        at org.apache.hive.jdbc.HiveBaseResultSet.absolute(HiveBaseResultSet.java:70)
        at org.apache.commons.dbcp.DelegatingResultSet.absolute(DelegatingResultSet.java:373)
        at com.isomorphic.sql.SQLDataSource.executeWindowedSelect(SQLDataSource.java:2970)
        at com.isomorphic.sql.SQLDataSource.SQLExecute(SQLDataSource.java:2024)

驱动程序选择不执行 absolute() 的原因是什么？

是否有解决该限制的方法？

Answer 1

感谢 Mark Rotteveel 的提示。现在我理解得更好了，让我发布一个我自己的问题的答案。

absolute() 的实现是可选的

正如 ResultSet#absolute() 的接口(interface) ( link ) 所指定的，absolute() 的实现是可选的——尤其是当结果集类型是 TYPE_FORWARD_ONLY。

解决方法

在我的例子中，结果集来自 Spark Thrift 服务器 (STS)，所以我猜它确实是只向前的。所以问题变成了如何指示我的应用程序不调用 absolute()，这基本上是为了光标移动。

SmartGWT 特定的答案

对于 SmartGWT，这是由一个名为 sqlPaging 的属性控制的，我们可以为 OperationBinding 指定该属性。使用的正确值似乎是 dropAtServer(更多引用 here)。所以我将我的 SmartGWT 数据源 XML 文件设置为类似这样的内容

<operationBindings>
    <operationBinding   operationType="fetch"  progressiveLoading="false"
                sqlPaging="dropAtServer" 
        >

之后我看到另一个错误，现在与 HiveConnection#commit() 相关:

java.sql.SQLException: Method not supported
    at org.apache.hive.jdbc.HiveConnection.commit(HiveConnection.java:742)
    at org.apache.commons.dbcp.DelegatingConnection.commit(DelegatingConnection.java:334)
    at com.isomorphic.sql.SQLTransaction.commitTransaction(SQLTransaction.java:307)
    at com.isomorphic.sql.SQLDataSource.commit(SQLDataSource.java:4673) 

经过更多挖掘，我意识到 SmartGWT 控制提交行为的正确属性是 autoJoinTransactions，我应该将其设置为 false(更多引用 here)。在这两个更改之后，我可以通过 jdbc.HiveDriver

获取与 STS 通信的应用程序

对于同样尝试此操作的任何人，这是我在 SmartGWT 的 server.properties 中对驱动程序的完整设置(更多引用 here)

sql.defaultDatabase: perf2 # this name is picked by me, but it can be anyname

sql.perf2.driver.networkProtocol: tcp
sql.perf2.driver: org.apache.hive.jdbc.HiveDriver   # important
sql.perf2.database.type: generic                    # important
sql.perf2.autoJoinTransactions: false               # important
sql.perf2.interface.type: driverManager             # important
sql.perf2.driver.url: jdbc:hive2://host:port        # important -- pick your host:port
sql.perf2.driver.user: someuser                     # important -- pick your username
sql.perf2.interface.credentialsInURL: true
sql.perf2.driver.databaseName: someDb
sql.perf2.driver.context: