google-cloud-platform - 数据准备 : creating a column to converts to Big Query timestamp type

Question

我一直在疯狂地尝试从现有的 Datetime 列类型创建一个列，该列将“发布”到 Big Query“timestamp”列。我已经尝试了 Dataprep 函数“unixtime”和“unixtimeformat”函数的所有排列，但都无济于事:我总是让 Dataprep 发布到“字符串”或“日期时间”列类型。

更新:我的工作流程如下:GCS .csv 文件 ==> Dataprep ==> BQ。

请帮忙!!谢谢!!!

解决方案:Trifacta 的人员(即 Cloud Dataprep)提供了解决方案。创建一个包含“时间戳”类型列(假设名为“dt”)的 BQ 表，并使用 Dataprep 的“追加”发布功能以及源列类型“日期时间”(同名“dt”)。

Answer 1

检查 Cloud Dataprep Supported Data Types不支持“时间戳”数据类型。

但是，如果 Dataprep 中的列是日期时间(时间戳)类型，那么当您写入 BigQuery 时，它将保持时间戳类型(参见 BigQuery Data Type Conversions)

这是一个虚拟的例子:

1. 从 BigQuery 导入数据集到具有架构的表。

1. 添加配方并运行作业:

1. 将结果导出到 GCS 并将其加载回 BigQuery。
   • "dataformatt_timestamp_col"是 STRING 类型，但是
   • “datetime_col”可以“发布”到 Big Query TIMESTAMP 列。