hadoop - 从Pig生成的CurrentTime()在Hive Datetime列中显示为NULL-6ren

hadoop - 从Pig生成的CurrentTime()在Hive Datetime列中显示为NULL

转载作者：行者123 更新时间：2023-12-02 18:34:24

25

4

在Pig脚本中，我生成了datetime列，其值为CurrentTime()。
从Hive Table读取PigScript生成的输出数据时，它显示为NULL。
有什么方法可以从PIG加载当前日期时间列以显示在Hive表中？
文件中的数据看起来像2020-07-24T14:38:26.748-04:00，而在配置单元表中，该列属于timestamp数据类型

最佳答案

hive 时间戳记应采用'yyyy-MM-dd HH:mm:ss.SSS'格式(不包括T和时区-04:00)
1.将Hive栏定义为STRING
2.Transfom字符串格式与Hive时间戳兼容
如果不需要毫秒:

--use your string column instead of literal
from_unixtime(unix_timestamp('2020-07-24T14:38:26.748-04:00',"yyyy-MM-dd'T'HH:mm:ss.SSSX"))

返回值:

2020-07-24 18:38:26

如果需要毫秒，则另外提取毫秒并与转换后的时间戳连接:

select concat(from_unixtime(unix_timestamp('2020-07-24T14:38:26.748-04:00',"yyyy-MM-dd'T'HH:mm:ss.SSSX")), 
              '.',regexp_extract('2020-07-24T14:38:26.748-04:00','\\.(\\d{3})',1))

结果:

2020-07-24 18:38:26.748

这两个结果均与Hive时间戳兼容，并且可以根据需要使用 CAST(str as timestamp)函数将其显式转换为Timestamp类型，尽管将这些字符串与时间戳进行比较或插入时间戳时无需显式转换即可。
或者，您可以将Pig中的时间戳格式设置为 'yyyy-MM-dd HH:mm:ss.SSS'。我没有Pig，也无法检查ToString的工作方式。
同样对于LazySimpleSerDe，可以通过将格式提供给SerDe属性 "timestamp.formats"(从1.2.0版本开始，带有 HIVE-9298)来支持其他时间戳格式。试试 "yyyy-MM-dd'T'HH:mm:ss.SSSX"

关于hadoop - 从Pig生成的CurrentTime()在Hive Datetime列中显示为NULL，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/63080648/

25

4

0

文章推荐： hadoop - HBase split 命令抛出 NOT splittable 错误

文章推荐： scala - 我们可以在IDE中使用spark.sql API创建表吗

文章推荐： java - 在Impala DB中将表创建为选择百分比子查询

python - datetime.datetime 对象的总和给出了错误 TypeError : unsupported operand type(s) for +: 'datetime.datetime' and 'datetime.datetime'
我正在尝试使用以下方法对 datetime.datetime 对象列表求和: from datetime import datetime, timedelta d= [datetime.datetim
python - (datetime.datetime.today()-datetime.datetime.today()).天给-1
我正在尝试这个 (datetime.datetime.today()-datetime.datetime.today()).days 给出 -1 并期待值 0 而不是我得到 -1。在这种情况下，我将结
Average of datetime.datetime.now() is overstated(Datetime.Datetime.now()的平均值被夸大了)
如果我列一个时间增量的列表，平均值比我对这些增量的微秒值求平均时要大。为什么会这样呢？。赠送。这是Linux上的Python3.8.10。
python - 为什么 datetime.datetime.now() - datetime.datetime.now() 等于 datetime.timedelta(-1, 86399, 999974)？
考虑以下片段: import datetime print(datetime.datetime.now() - datetime.datetime.now()) 在 x86_64 Linux 下的 P
python - SQLAlchemy DateTime 到 datetime.datetime
如何在 SQLAlchemy 查询中比较 DateTime 字段和 datetime.datetime 对象？例如，如果我这样做 candidates = session.query(User).f
python - 类型对象 'datetime.datetime' 没有属性 'datetime'
我收到以下错误: type object 'datetime.datetime' has no attribute 'datetime' 在下面一行: date = datetime.datetime
python - dateNow = datetime.datetime.now() 导致 AttributeError : type object 'datetime.datetime' has no attribute 'datetime' "while calculating age
尝试找出如何将当前日期锁定为变量，以从输入的 self.birthday 中减去。我已经查看了各种示例和链接，但无济于事......建议？ from datetime import datetime
python - pandas datetime 和 datetime datetime 之间的区别
您好，我有一些 datetime.datetime 格式的日期，我用它们来过滤带有 Pandas 时间戳的 Pandas 数据框。我刚刚尝试了以下方法并获得了 2 小时的偏移量: from datet
python - 为什么 datetime.now(datetime.timezone.utc) 和 datetime.datetime.utcnow() 之间存在差异
如果您调用 datetime.datetime.now(datetime.timezone.utc) 您会得到类似 datetime.datetime(2021, 9, 8, 1, 33, 19, 6
python:将 pywintyptes.datetime 转换为 datetime.datetime
我正在使用 pywin32 读取/写入 Excel 文件。我在 Excel 中有一些日期，以 yyyy-mm-dd hh:mm:ss 格式存储。我想将它们作为 datetime.datetime 对象
python - 为什么 datetime.datetime.now().timestamp() 和 datetime.datetime.utcnow().timestamp() 之间存在差异？
据我所知，自 Unix 纪元(1970-01-01 00:00:00 UTC)以来的秒数在全局各地应该是相同的，因为它固定为 UTC。现在，如果您所在的时区有几个小时 +/- UTC，为什么这样做会
python - 添加 datetime.datetime 和 datetime.time
我正在尝试添加 datetime.datetime 和 datetime.time 以获得一列。我正在尝试结合: import datetime as dt dt.datetime.combine(m
python - "import datetime"对比"from datetime import datetime"
我有一个脚本需要在脚本的不同行执行以下操作: today_date = datetime.date.today() date_time = datetime.strp(date_time_string
python - "type object ' datetime.datetime ' has no attribute ' datetime '"即使是"import datetime"
我在 AppEngine 上收到 type object 'datetime.datetime' has no attribute 'datetime' 错误，提示日期时间类型，但我的导入是 impo
python - 使用 datetime.now 给出 datetime.datetime 错误
所以我一直在使用 python 语言制作东西。我遇到了一些不太容易理解的错误: TypeError: 'datetime.datetime' object is not subscriptable (
python - datetime.date + datetime.timedelta = datetime.date 什么意思
当我运行时 from datetime import date, time, timedelta date(2012, 11, 1) + timedelta(0, 3600) 结果是 datetime
datetime - 如何将 chrono `DateTime` 实例转换为 `DateTime` ？
我的目标是转换 utc进入loc : use chrono::{Local, UTC, TimeZone}; let utc = chrono::UTC::now(); let loc = chron
python - 将 datetime.date 对象与 datetime.datetime 对象中的时间字符串组合
假设您有一个 datetime.date 对象，例如 datetime.date.today() 返回的对象。稍后您还会得到一个表示时间的字符串，它补充了日期对象。在 datetime.datet
python - 如何检查变量是否是 datetime.datetime 或 datetime.date 的实例
我试过了 In [16]: import datetime In [17]: now = datetime.datetime.utcnow() In [18]: isinstance(now, dat
python - 无法将 datetime.datetime 与 datetime.date 进行比较
我有以下代码并且收到上述错误。由于我是 python 新手，因此无法理解此处的语法以及如何修复错误: if not start or date < start: start = date 最佳答案有

首页

博学

6Ren·AI

商城

hadoop - 从Pig生成的CurrentTime()在Hive Datetime列中显示为NULL