sql - 以可通过Impala查询的方式在包含复杂类型的配置单元表上创建日期限制 View ？

Question

我有一个非常大的镶木表，其中包含嵌套的复杂类型，例如结构和数组。我已按日期对它进行了分区，并希望将某些用户限制为最近一周的数据。

通常的做法是在表格顶部创建一个限时 View ，例如:

'''CREATE VIEW time_limited_view
AS SELECT * FROM my_table
在哪里partition_date> ='2020-01-01''''

在Hive中查询 View 时，此方法会正常工作。但是，如果尝试从Impala查询此 View ，则会收到错误消息:

** AnalysisException:选择列表中的Expr'my_table.struct_column'返回复杂类型**

原因是Impala不允许选择列表中包含复杂类型。我建立的任何选择复杂列的 View 都将导致类似这样的错误。如果我弄平/嵌套复杂的类型，这当然可以解决这个问题。但是由于涉及嵌套的层，我想保持表结构不变。

我看到另一个建议的解决方法是使用Ranger行级过滤，但是我没有Ranger，因此无法将其安装在群集上。关于Hive / Impala SQL解决方法的任何建议将不胜感激

Answer 1

在处理另一个问题时，我遇到了一种适合我需要的解决方案(但绝不是一般的解决方案)。我想我会把它贴出来，以防有人有类似的需求。
除了使用 View ，我还可以使用外部表。因此，首先我将使用Hive在database_1中创建一个表，该表在hdfs中具有对应的位置location_1。这是我用于ETL的“生产”数据库/表，其中包含大量数据。只有某些用户可以访问此数据库。

CREATE TABLE database_1.tablename
(`col_1` BIGINT,
`col_2` array<STRUCT<X:INT, Y:STRING>>)
PARTITIONED BY (`date_col` STRING)
STORED AS PARQUET
LOCATION 'location_1';

接下来，我在hdfs 的 相同位置创建第二个外部表。但是，此表存储在具有更广泛的用户组(database_2)的数据库中。

CREATE EXTERNAL TABLE database_2.tablename
(`col_1` BIGINT,
`col_2` array<STRUCT<X:INT, Y:STRING>>)
PARTITIONED BY (`date_col` STRING)
STORED AS PARQUET
LOCATION 'location_1';

由于这是一个外部表，因此我可以随意添加/删除日期分区，而不会影响基础数据。我可以将值(value)1周的日期分区添加到元存储中，据最终用户所知，这就是表中可用的全部内容。我什至可以将其作为ETL工作的一部分，每次添加新数据时，我都会将该分区添加到外部表中，然后从一周前删除该分区，从而使1周数据的滚动窗口可用此用户组，而不必将数据负载复制到单独的位置。
这绝不是行过滤解决方案，而是使用分区将数据的子集提供给更广泛的用户组的便捷方法，而不必在单独的位置重复该数据。