apache-spark - 无法从 spark 插入到配置单元分区表中

Question

我在配置单元中创建了一个外部分区表。在日志中它显示 numinputrows。这意味着查询正在运行并正在发送数据。但是当我使用直线和查询连接到配置单元时，select * or count(*) 它总是空的。

def hiveOrcSetWriter[T](event_stream: Dataset[T])( implicit spark: SparkSession): DataStreamWriter[T] = {

    import spark.implicits._
    val hiveOrcSetWriter: DataStreamWriter[T] = event_stream
      .writeStream
      .partitionBy("year","month","day")
      .format("orc")
      .outputMode("append")
      .option("compression", "zlib")
      .option("path", _table_loc)
      .option("checkpointLocation", _table_checkpoint)

    hiveOrcSetWriter
  }

可能是什么问题？我无法理解。

Answer 1

msck repair table tablename

它会检查表的位置并在有新分区时添加分区。

在您的 spark 进程中添加此步骤以便从 hive 进行查询。