hadoop - beeline 和 spark-shell 可以为同一个 apache spark 显示不同的数据库吗？

Question

我在ubuntu上安装了hadoop 2.8.1，然后在上面安装了spark-2.2.0-bin-hadoop2.7。首先，当我通过 spark-shell 创建数据库并尝试通过 java JDBC 程序访问它时，我发现没有表存在。然后我使用直线并观察到这里也不存在数据库。我通过直线创建数据库。为什么spark-shell和beeline显示的DB不同？

他们可能应该显示相同的内容。我尝试了连接 hive2 并获取表的普通 JDBC 程序，观察到有时它显示我通过 spark-shell 创建的表，有时显示通过直线创建的表...请帮助。有时直线也会发生同样的情况。

Answer 1

这可能是因为你的Spark安装未正确配置以访问您的 Hive 仓库。

在这种情况下，Spark-SQL 被设计为建立自己的本地仓库并恢复到独立模式。这是为了简化采用对于非 Hive 用户。

要解决此问题，您应该:

1. 引用official documentation .
2. 阅读日志并查找与“hive”或“metastore”相关的任何内容以了解发生了什么

3. 确保 Spark 可以访问 hive-site.xml 配置文件。例如，您可以设置一个符号链接(symbolic link)(一定要先检查路径)

   ln -s /etc/hive/conf/hive-site.xml    /etc/spark/conf/hive-site.xml
   

4. 确保您的 Spark 安装可以访问 Hive jar(检查 $SPARK_HOME/lib)

5. 确保您已通过以下方式启用 Hive 支持:

   SparkSession.builder.enableHiveSupport().getOrCreate()
   

希望这对您有所帮助。