apache-spark - 拦截并修改对 Spark Thrift 服务器的传入 SQL 查询

Question

我有一个 thrift 服务器启动并运行，用户通过 JDBC 连接发送查询。我能否在查询传入时对其进行拦截和修改，然后将修改后的查询结果发送回用户？

例如 - 我希望用户能够发送查询

SELECT * FROM table_x WHERE pid="123";

并将查询修改为

SELECT * FROM table_y WHERE pid="123";

并且应该返回第二个查询的结果。这对用户应该是透明的。

Answer 1

SparkExecuteStatementOperation 和 SparkSession 是我们认为要添加的代码。我正在使用(尚未投入生产)一个基于一些外部策略的简单规则，我在传递之前将表的名称更改为 SQL 中的 View 。虽然有点老套。