apache-spark - Spark可以像Hive一样读取Alluxio的元数据吗？

Question

我试图通过使用Alluxio来减少Spark用于读取和写入数据的时间。

但是我发现我必须指定读取数据的路径。

我发现我可以使用Hive的metatool将Hive的仓库从HDFS更改为Alluxio，因此可以通过Spark sql将数据写入Alluxio。但是我不知道如何通过sql读取Alluxio的数据。

是否像Hive一样可以读取/写入Alluxio的数据？也许阅读Alluxio的元数据并将其添加到metastore？

Answer 1

您需要做的就是修改location的metastore中的表Spark。

您可以检查Alluxio以获得详细信息，如果表位置更改花费的时间太长，请检查this thread以获得帮助。

请注意，第一次查询该表时，Alluxio将从UFS中获取数据。数据存储在Alluxio中之后，将来的表查询将直接从Alluxio中读取数据。