apache-spark - 在 spark 2.2.0 中查询 Hive 表

Question

我有一个包含 1900 列的 avro 文件格式的配置单元表(比如表 1)。当我在配置单元中查询表时 - 我能够获取数据但是当我在 spark sql 中查询同一个表时，我得到 Metastore 客户端丢失连接。正在尝试重新连接

我还查询了另一个具有 130 列的 avro 文件格式的 hive 表(比如 table2)，它正在 hive 和 spark 中获取数据。

我观察到的是我可以在 table2 的 hdfs 位置看到数据，但在 table1 hdfs 位置看不到任何数据(但当我仅在 hive 中查询时它正在提取数据)

Answer 1

1. Split 告诉您 MR 作业中映射器的数量。
2. 它不会向您显示采集数据的确切位置。