hadoop - 由 : ERROR XSDB6: Another instance of Derby may have already booted the database 引起

Question

我正在尝试运行 SparkSQL:

val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)  

但是我得到的错误如下:

        ... 125 more
Caused by: java.sql.SQLException: Another instance of Derby may have already booted the database /root/spark/bin/metastore_db.
        at org.apache.derby.impl.jdbc.SQLExceptionFactory.getSQLException(Unknown Source)
        at org.apache.derby.impl.jdbc.SQLExceptionFactory40.wrapArgsForTransportAcrossDRDA(Unknown Source)
        at org.apache.derby.impl.jdbc.SQLExceptionFactory40.getSQLException(Unknown Source)
        at org.apache.derby.impl.jdbc.Util.generateCsSQLException(Unknown Source)
        ... 122 more
Caused by: ERROR XSDB6: Another instance of Derby may have already booted the database /root/spark/bin/metastore_db.
        at org.apache.derby.iapi.error.StandardException.newException(Unknown Source)
        at org.apache.derby.impl.store.raw.data.BaseDataFileFactory.privGetJBMSLockOnDB(Unknown Source)
        at org.apache.derby.impl.store.raw.data.BaseDataFileFactory.run(Unknown Source)
        at java.security.AccessController.doPrivileged(Native Method)
        at org.apache.derby.impl.store.raw.data.BaseDataFileFactory.getJBMSLockOnDB(Unknown Source)
        at org.apache.derby.impl.store.raw.data.BaseDataFileFactory.boot(Unknown Source)

我看到有一个 metastore_db 文件夹存在..
我的配置单元 metastore 包括 mysql 作为 metastore。但不确定为什么错误显示为 derby execption

Answer 1

我在 Spark Shell 上创建数据帧时遇到了同样的错误:

原因:错误 XSDB6:Derby 的另一个实例可能已经启动了数据库/metastore_db。

原因:

我发现这种情况正在发生，因为有多个其他 Spark-Shell 实例已经在运行并且已经持有 derby DB，所以当我启动另一个 Spark Shell 并使用 RDD.toDF() 在其上创建数据帧时，它是抛出错误:

解决方案:

我运行 ps 命令来查找 Spark-Shell 的其他实例:

ps -ef | grep Spark 外壳

然后我使用 kill 命令将它们全部杀死:

kill -9 Spark-Shell-processID(示例:kill -9 4848)

在所有 SPark-Shell 实例都消失后，我启动了一个新的 SPark SHell 并重新运行我的 Data frame 函数，它运行得很好:)