tomcat - 如何在没有 ClassNotFound 异常的 Apache Tomcat 中配置 Impala/Hive2 JDBC 驱动程序

Question

我正在尝试将 Impala/Hive2 JDBC 驱动程序添加到使用 Tomcat 7 (7.0.54) 部署的现有应用程序。其他 JDBC 驱动程序工作正常(Oracle、MS SS、SyBase)。

但是，驱动程序从未连接并且总是抛出不会被 Eclipse (Kepler) 中的 Java (JDK 1.7.0_55) 捕获的异常。这是在 Windows 8.1 Lenovo T500 笔记本电脑上完成的。没有有意义的错误消息，也没有堆栈跟踪。

为了找出错误发生的地方，我得到了 Hive 源代码并制作了一个简单的 Java 程序来测试在 DEBUG 中单步执行的 JDBC 连接。存在对不在 jars 中的缺失类的引用错误，而不是在 Clouder's documentation 中指定的类. HiveConnection.java (org.apache.hive.jdbc) 中存在以下错误:

import org.apache.hadoop.hive.ql.session.SessionState;  
import org.apache.http.impl.client.DefaultHttpClient;  

我追踪到这些类存在的位置，并将以下 jar 添加到我制作的 UserLibrary 中:

hive-exec-0.12.0.jar     which contains the packages for ....hive.ql.....  
httpclient-4.2.5.jar     which contains the packages for ....http.impl.client....  

添加httpclient后，仍然存在引用错误

httpClient.addRequestInterceptor   - message =  The type org.apache.http.HttpRequestInterceptor cannot be resolved. It is indirectly referenced from required .class files

我跟踪到:httpcore-4.2.4.jar

独立 Java 程序成功连接到 Impala 守护进程。我将这些 jar 添加到 Tomcat/WEB-INF/ib/文件夹以及 JDBC 包作为 Java 源代码。 Tomcat 存在问题，包括无法发布 IndexOutOfBounds 异常。我发现这主要是由于 hadoop-common jar。我能够通过完全清理 Tomcat 定义和项目并将这个 jar 作为最后一个添加来发布它。还是尝试了几次。

然后，运行的应用程序也因 DriverManager.getConnection(connstr) 异常而停止。错误总是与看不到加载到/WEB-INF/lib/文件夹中的 jar 文件中的各种类有关。删除并重新导入它们会按以下顺序处理这些错误:

org/apache/http/client/httpclient      (in httpclient jar)  
org/apache/http/httprequestinterceptor (in httpcore jar)  
org/apache/hadoop/conf/configuration   (in hadoop-common jar)  
org/apache/hadoop/hive/conf/hiveconf   (in hive-common AND hive-exec jars)  

HIVE_CLI_SERVICE_PROTOCOL_V6 的最终奇怪错误。后者很难追踪，直到我在 HiveConnection.java 的 Java 代码中看到它，其中 HIVE_CLI_SERVICE_PROTOCOL_Vx 被添加到 supportedProtocols 的集合中。这用于检查来自 Impala 的响应，如果 Impala 使用不在列表中的响应，则连接将被取消。在我的版本中，使用了 V1-V3。我发现 SVN 上的最新源代码最高为 V7，但这些未在 CDH5 附带的 JDBC 代码中使用。

执行另一个删除所有内容的循环，然后将库 jar 和 JDBC 的源代码(因此没有添加 JDBC jar)添加到我的 Tomcat Java/src 文件夹中的包中:

org.apache.hadoop.hive.jdbc     (Hive 1 driver)  
org.apache.hive.jdbc            (Hive 2 driver)  

终于，我能够在 DEBUG 中单步执行 HiveConnection 并成功进行通信并可以检查 Impala 的响应。它回应说它正在使用 ____V1 协议(protocol)，所以它被接受了。

由于文档指出只需要一些 jar，但我发现还需要几个 jar 来满足导入语句，我如何配置 Tomcat 以便我可以只使用分布式 JDBC 驱动程序及其支持 jar？我怀疑 Tomcat 如何进行类加载可能存在问题，因为我注意到 Catalina.jar 及其类加载器中发生了致命异常(没有源代码，所以我不知道确切的位置或原因)。

Answer 1

我可以从 Tomcat 连接到 Impala(尽管我使用的是 Tomcat 8，而不是 7)。我将所有这些 jar 复制到 tomcats lib 目录:

commons-logging-1.1.3.jar          
hive-metastore-0.12.0-cdh5.0.2.jar 
libfb303-0.9.0.jar          
slf4j-log4j12.jar
hadoop-common-2.3.0-cdh5.0.2.jar   
hive-service-0.12.0-cdh5.0.2.jar   
libthrift-0.9.0.cloudera.2.jar
hive-common-0.12.0-cdh5.0.2.jar    
httpclient-4.2.5.jar               
log4j-1.2.16.jar
hive-jdbc-0.12.0-cdh5.0.2.jar      
httpcore-4.2.5.jar                 
slf4j-api-1.7.5.jar