firebase - 与不使用通配符和 _TABLE_SUFFIX 相比，BigQuery -firebase 导出的工作方式有所不同

Question

我的需求:
将未嵌套的数据附加到单独的表中并将其用于可视化和分析
实现它 :
因为我不确定 events_intraday_YYYYMMDD 是在什么时间同步到 events_YYYYMMDD 以供引用检查 here
0- 创建了一个 events_normalized开始时使用表一次(不是每天完成一次)

  create analytics_data_export.events_normalized AS
SELECT .....
FROM
    `analytics_xxxxxx.events_*

从 events_YYYYMMDD 收集所有数据
1- 创建/替换每日 temp table和

create or replace table analytics_data_export.daily_data_temp AS
SELECT...
_TABLE_SUFFIX BETWEEN 
  FORMAT_DATE("%Y%m%d", DATE_SUB(CURRENT_DATE(), INTERVAL 4 DAY)) AND
  FORMAT_DATE("%Y%m%d", DATE_SUB(CURRENT_DATE(), INTERVAL 1 DAY))

因为我已经看到多天的数据同步在一起，所以为了安全起见，我使用了 1-4 天的数据
2- 从 daily_data_temp,events_normalized 中删除两个表( events_normalized )的内连接删除它可能有的任何重复项，比如 events_normalized有数据到 18 日，但 daily_data_temp有 16-19th 的数据，所以所有行到 18th 从 events_normalized将被移除
4- 重新插入 daily_data_temp在 events_normalized 问题 :
1-是否有任何优化的方式来实现要求
2- 在第 0 步中创建 events_normalized如果我使用表:

WHERE
  _TABLE_SUFFIX  <=
  FORMAT_DATE("%Y%m%d", DATE_SUB(CURRENT_DATE(), INTERVAL 0 DAY))

与使用时相比，我得到了不同的结果

create analytics_data_export.events_normalized AS
    SELECT .....
    FROM
        `analytics_xxxxxx.events_*

不同之处在于后者也有当前日期数据，其中 events_YYYYMMDD 我只能看到昨天的数据。我不明白这种行为
就像在 events_YYYYMMDD 中的当前日期是 7 月 20 日我只能看到直到 events_20200719

Answer 1

要优化，您可以按照以下步骤操作:

从 event_time_stamp 和其他唯一字段创建哈希，使用它来过滤数据

不是从较大的初始表中删除重复的行，而是从小的临时表中删除它们，然后插入表。

因为过滤器 analytics_xxxxxx.events_*将匹配每天事件表和日内事件表，它们是名称
喜欢 events_intraday_20200721