datetime - Hive SQL:如何按最大时间对记录组进行子集-6ren

datetime - Hive SQL:如何按最大时间对记录组进行子集

转载作者：行者123 更新时间：2023-12-02 18:57:21

我有按ID1和ID2分组的记录，例如:

ID1      ID2         date_time
Apple pear         2020-03-09T12:11:25:622Z
Apple pear         2020-03-09T12:23:36:825Z
Apple lemon        2020-03-08T08:01:16:030Z
Apple lemon        2020-03-09T10:11:12:930Z
Apple lemon        2020-03-09T15:13:02:610Z
Lime  peach        2020-03-09T07:34:06:825Z
Lime peach         2020-03-09T07:54:12:220Z
Melon banana       2020-03-09T03:54:11:041Z
Melon banana       2020-03-09T09:22:10:220Z
Orange pear        2020-03-09T11:13:36:217Z
Orange pear        2020-03-09T11:23:26:040Z
Orange pear        2020-03-09T11:43:35:721Z

我正在尝试提取具有通过时间范围的最大记录的记录，这样，如果我想提取最大时间不大于3月9日正午的记录，则上述记录将被子集为:

ID1      ID2         date_time
Lime  peach        2020-03-09T07:34:06:825Z
Lime peach         2020-03-09T07:54:12:220Z
Melon banana       2020-03-09T03:54:11:041Z
Melon banana       2020-03-09T09:22:10:220Z
Orange pear        2020-03-09T11:13:36:217Z
Orange pear        2020-03-09T11:23:26:040Z
Orange pear        2020-03-09T11:43:35:721Z

由于@leftjoin，我使用 cast(regexp_replace('2020-03-09T16:05:06:827Z','(.*?)T(.*?):([^:]*?)Z$','$1 $2\\.$3') as timestamp)将date_time转换为时间戳。

感谢任何帮助。

按时间进行子设置后，添加了顶点问题:

注意:我只能做一个临时表。

首先:我通过ID1和ID2来分解原始数据集

 create temporary table data1 as 
select id1, id2, name, value,
       cast(regexp_replace(oldtime,'(.*?)T(.*?):([^:]*?)Z$','$1 $2\\.$3') as timestamp) as date_time
       from (
        select ID1, ID2,
        ROW_NUMBER() OVER (PARTITION BY id1, id2,name, value ORDER BY value) as rn,
        case when name like '%_TIME' then value end as date_time
        from df.data1
         )undup

        where undup.rn = 1 AND 
        value <> '' and value is not null
        order by ID1, ID2, date_time ASC

然后我按时间子集:

create temporary table data2 as
    select *
     from(
     select *,
           max(date_time) over (partition by id1,id2) as max_date
      from data1
      ) s

      where max_date <= '2020-03-12 12:00:00'

在此之后，我得到一个顶点错误。

 ERROR: Execute error: Error while processing statement: FAILED: Execution Error, return code 2 from 
        org.apache.hadoop.hive.ql.exec.tez.TezTask. Vertex failed, vertexName=Reducer 2, vertexId=vertex_1583806821840_6890_2_01, 
        diagnostics=[Task failed, taskId=task_1583806821840_6890_2_01_000036, diagnostics=[TaskAttempt 0 failed, info=[Error: Error 
        while running task ( failure ) : attempt_1583806821840_6890_2_01_000036_0:java.lang.RuntimeException: 
        java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row at 
        org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor(TezProcessor.java:296) at 
        org.apache.hadoop.hive.ql.exec.tez.TezProcessor.run(TezProcessor.java:250) at 
        org.apache.tez.runtime.LogicalIOProcessorRuntimeTask.run(LogicalIOProcessorRuntimeTask.java:374) at 
        org.apache.tez.runtime.task.TaskRunner2Callable$1.run(TaskRunner2Callable.java:73) at 
        org.apache.tez.runtime.task.TaskRunner2Callable$1.run(TaskRunner2Callable.java:61) at 
        java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at 
        org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730) at 
        org.apache.tez.runtime.task.TaskRunner2Callable.callInternal(TaskRunner2Callable.java:61) at 
        org.apache.tez.runtime.task.TaskRunner2Callable.callInternal(TaskRunner2Callable.java:37) at 
        org.apache.tez.common.CallableWithNdc.call(CallableWithNdc.java:36) at 
        com.google.common.util.concurrent.TrustedListenableFutureTask$TrustedFutureInterruptibleTask.runInterruptibly(TrustedListenab
        leFutureTask.java:108) at com.google.common.util.concurrent.InterruptibleTask.run(InterruptibleTask.java:41) at 
        com.google.common.util.concurrent.TrustedListenableFutureTask.run(TrustedListenableFutureTask.java:77) at 
        java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at 
        java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at 
        java.lang.Thread.run(Thread.java:748)Caused by: java.lang.RuntimeException: 
        org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row at 
        org.apache.hadoop.hive.ql.exec.tez.ReduceRecordSource.pushRecord(ReduceRecordSource.java:304) at 
        org.apache.hadoop.hive.ql.exec.tez.ReduceRecordProcessor.run(ReduceRecordProcessor.java:318) at 
        org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor(TezProcessor.java:267) ... 16 moreCaused by: 
        org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row at 
        org.apache.hadoop.hive.ql.exec.tez.ReduceRecordSource$GroupIterator.next(ReduceRecordSource.java:378) at 
        org.apache.hadoop.hive.ql.exec.tez.ReduceRecordSource.pushRecord(ReduceRecordSource.java:294) ... 18 moreCaused by: 
        java.lang.NullPointerException at 
        org.apache.hadoop.hive.ql.exec.persistence.PTFRowContainer.first(PTFRowContainer.java:115) at 
        org.apache.hadoop.hive.ql.exec.PTFPartition.iterator(PTFPartition.java:114) at 
        org.apache.hadoop.hive.ql.udf.ptf.BasePartitionEvaluator.getPartitionAgg(BasePartitionEvaluator.java:200) at 
        org.apache.hadoop.hive.ql.udf.ptf.WindowingTableFunction.evaluateFunctionOnPartition(WindowingTableFunction.java:155) at 
        org.apache.hadoop.hive.ql.udf.ptf.WindowingTableFunction.iterator(WindowingTableFunction.java:538) at 
        org.apache.hadoop.hive.ql.exec.PTFOperator$PTFInvocation.finishPartition(PTFOperator.java:349) at 
        org.apache.hadoop.hive.ql.exec.PTFOperator.process(PTFOperator.java:123) at 
        org.apache.hadoop.hive.ql.exec.Operator.baseForward(Operator.java:994) at 
        org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:940) at 
        org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:927) at 
        org.apache.hadoop.hive.ql.exec.SelectOperator.process(SelectOperator.java:95) at 
        org.apache.hadoop.hive.ql.exec.tez.ReduceRecordSource$GroupIterator.next(ReduceRecordSource.java:363) ... 19 more], 
        TaskAttempt 1 failed, info=[Error: Error while running task ( failure ) : 
        attempt_1583806821840_6890_2_01_000036_1:java.lang.RuntimeException: java.lang.RuntimeException: 
        org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row at 
        org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor(TezProcessor.java:296) at 
        org.apache.hadoop.hive.ql.exec.tez.TezProcessor.run(TezProcessor.java:250) at 
        org.apache.tez.runtime.LogicalIOProcessorRuntimeTask.run(LogicalIOProcessorRuntimeTask.java:374) at 
        org.apache.tez.runtime.task.TaskRunner2Callable$1.run(TaskRunner2Callable.java:73) at 
        org.apache.tez.runtime.task.TaskRunner2Callable$1.run(TaskRunner2Callable.java:61) at 
        java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at 
        org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730) at 
        org.apache.tez.runtime.task.TaskRunner2Callable.callInternal(TaskRunner2Callable.java:61) at 
        org.apache.tez.runtime.task.TaskRunner2Callable.callInternal(TaskRunner2Callable.java:37) at 
        org.apache.tez.common.CallableWithNdc.call(CallableWithNdc.java:36) at 
        com.google.common.util.concurrent.TrustedListenableFutureTask$TrustedFutureInterruptibleTask.runInterruptibly(TrustedListenab
        leFutureTask.java:108) at com.google.common.util.concurrent.InterruptibleTask.run(InterruptibleTask.java:41) at 
        com.google.common.util.concurrent.TrustedListenableFutureTask.run(TrustedListenableFutureTask.java:77) at 
        java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at 
        java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at 
        java.lang.Thread.run(Thread.java:748)Caused by: java.lang.RuntimeException: 
        org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row at 
        org.apache.hadoop.hive.ql.exec.tez.ReduceRecordSource.pushRecord(ReduceRecordSource.java:304) at 
        org.apache.hadoop.hive.ql.exec.tez.ReduceRecordProcessor.run(ReduceRecordProcessor.java:318) at 
        org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor(TezProcessor.java:267) ... 16 moreCaused by: 
        org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row at 
        org.apache.hadoop.hive.ql.exec.tez.ReduceRecordSource$GroupIterator.next(ReduceRecordSource.java:378) at 
        org.apache.hadoop.hive.ql.exec.tez.ReduceRecordSource.pushRecord(ReduceRecordSource.java:294) ... 18 moreCaused by: 
        java.lang.NullPointerException at 
        org.apache.hadoop.hive.ql.exec.persistence.PTFRowContainer.first(PTFRowContainer.java:115) at 
        org.apache.hadoop.hive.ql.exec.PTFPartition.iterator(PTFPartition.java:114) at 
        org.apache.hadoop.hive.ql.udf.ptf.BasePartitionEvaluator.getPartitionAgg(BasePartitionEvaluator.java:200) at 
        org.apache.hadoop.hive.ql.udf.ptf.WindowingTableFunction.evaluateFunctionOnPartition(WindowingTableFunction.java:155) at 
        org.apache.hadoop.hive.ql.udf.ptf.WindowingTableFunction.iterator(WindowingTableFunction.java:538) at 
        org.apache.hadoop.hive.ql.exec.PTFOperator$PTFInvocation.finishPartition(PTFOperator.java:349) at 
        org.apache.hadoop.hive.ql.exec.PTFOperator.process(PTFOperator.java:123) at 
        org.apache.hadoop.hive.ql.exec.Operator.baseForward(Operator.java:994) at 
        org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:940) at 
        org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:927) at 
        org.apache.hadoop.hive.ql.exec.SelectOperator.process(SelectOperator.java:95) at 
        org.apache.hadoop.hive.ql.exec.tez.ReduceRecordSource$GroupIterator.next(ReduceRecordSource.java:363) ... 19 more], 
        TaskAttempt 2 failed, info=[Error: Error while running task ( failure ) : 
        attempt_1583806821840_6890_2_01_000036_2:java.lang.RuntimeException: java.lang.RuntimeException: 
        org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row at 
        org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor(TezProcessor.java:296) at 
        org.apache.hadoop.hive.ql.exec.tez.TezProcessor.run(TezProcessor.java:250) at 
        org.apache.tez.runtime.LogicalIOProcessorRuntimeTask.run(LogicalIOProcessorRuntimeTask.java:374) at 
        org.apache.tez.runtime.task.TaskRunner2Callable$1.run(TaskRunner2Callable

最佳答案

使用最大解析函数并对其进行过滤:

with your_data as (
select stack (12,
'Apple', 'pear'      ,  '2020-03-09T12:11:25:622Z',
'Apple', 'pear'      ,  '2020-03-09T12:23:36:825Z',
'Apple', 'lemon'     ,  '2020-03-08T08:01:16:030Z',
'Apple', 'lemon'     ,  '2020-03-09T10:11:12:930Z',
'Apple', 'lemon'     ,  '2020-03-09T15:13:02:610Z',
'Lime',  'peach'     ,  '2020-03-09T07:34:06:825Z',
'Lime', 'peach'      ,  '2020-03-09T07:54:12:220Z',
'Melon', 'banana'    ,  '2020-03-09T03:54:11:041Z',
'Melon', 'banana'    ,  '2020-03-09T09:22:10:220Z',
'Orange','pear'      , '2020-03-09T11:13:36:217Z',
'Orange','pear'      , '2020-03-09T11:23:26:040Z',
'Orange','pear'      , '2020-03-09T11:43:35:721Z'
) as (ID1,ID2,date_time)
)
select ID1,ID2,date_time
from
(
select max(timestamp(regexp_replace(date_time,'(.*?)T(.*?):([^:]*?)Z$','$1 $2\\.$3'))) over (partition by ID1,ID2) as max_date,
       ID1,ID2,timestamp(regexp_replace(date_time,'(.*?)T(.*?):([^:]*?)Z$','$1 $2\\.$3')) as date_time
  from your_data 
)s 
where max_date<='2020-03-09 12:00:00'

结果:

id1     id2     date_time
Lime    peach   2020-03-09 07:54:12.22
Lime    peach   2020-03-09 07:34:06.825
Melon   banana  2020-03-09 09:22:10.22
Melon   banana  2020-03-09 03:54:11.041
Orange  pear    2020-03-09 11:43:35.721
Orange  pear    2020-03-09 11:23:26.04
Orange  pear    2020-03-09 11:13:36.217

关于datetime - Hive SQL:如何按最大时间对记录组进行子集，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/60664202/

文章推荐： django - uWSGI与Docker的Supervisord一起提供的应用程序

文章推荐： hadoop - hive :如何将总行数输出为变量

文章推荐： docker - Docker:附加到分离的容器

文章推荐： docker - docker进程能否通过ipc访问主机上的程序

mysql - 如何获取每个日期的最小(时间)和最大(时间)
您好，我是使用 xampp 的 PHPmyadmin 新手，没有 MYSQL 背景。当我喜欢研究它是如何工作的时，我的脑海中浮现出一个想法，它让我一周都无法休眠，因为我似乎无法弄清楚如何使用 MIN(
pointers - 时间.时间 : pointer or value
Go docs say (强调): Programs using times should typically store and pass them as values, not pointers.
MySQL:查找在一个日期(时间)有条目但在另一个日期(时间)没有条目的用户行
我有一组用户在 8 月 1 日有一个条目。我想找到在 8 月 1 日有条目但在 8 月 2 日没有做任何事情的用户。现在是 10 月，所以事件已经过去很久了。我有限的知识说: SELECT * F
json - 时间 JSON 编码为 0 时间
我有以下代码，主要编码和取消编码时间结构。这是代码 package main import ( "fmt" "time" "encoding/json" ) type chec
cpu - 用户 CPU 时间 vs 系统 CPU 时间？
您能详细解释一下“用户 CPU 时间”和“系统 CPU 时间”吗？我读了很多，但我不太理解。最佳答案区别在于时间花在用户空间还是内核空间。用户 CPU 时间是处理器运行程序代码(或库中的代码)所花
profiling - 我应该使用什么分析器来测量_real_ 时间(包括等待系统调用)在此函数中花费，而不是 _CPU_ 时间
应用程序不计算东西，但做输入/输出、读取文件、使用网络。我希望探查器显示它。我希望像 callgrind 中的东西一样，在每个问题中调用 clock_gettime。或者像 oprofile 那样
jQuery 计时器可以在时间 x、时间 y、时间 z 上触发事件吗？
目前我的 web 应用程序接收 websocket 数据来触发操作。这会在页面重新加载时中断，因此我需要一个能够触发特定事件的客户端解决方案。这个想法可行吗？假设你有 TimeX = curre
linux - 找出 JBoss 消耗了多少 cpu 时间、内存和 I/O 时间？
很难说出这里问的是什么。这个问题是含糊的、模糊的、不完整的、过于宽泛的或修辞性的，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开它，visit the help center 。已关
java - 将 Joda 时间 Instant 转换为 Java 时间 Instant
我有一个 Instant (org.joda.time.Instant) 的实例，我在一些 api 响应中得到它。我有另一个来自 (java.time.Instant) 的实例，这是我从其他调用中获得
python - 如何集成一个函数 w.r.t 时间；即 'y' 是一个数组，时间(t)的值从 1 到 3000 不等
如何集成功能 f(y) w.r.t 时间;即 'y'是一个包含 3000 个值和值 time(t) 的数组从 1 到 3000 不等。所以，在整合 f(y) 后我需要 3000 个值. 积分将是不确定
时间:如何以编程方式创建命名空间？
可以通过 CLI 创建命名空间，但是如何使用 Java SDK 来创建命名空间？最佳答案它以编程方式通过 gRPC API 完成由服务公开。在 Java 中，生成的 gRPC 客户端可以通过 W
Java日期DST调整我的日期/时间
我有一个函数，它接受 2 组日期(开始日期和结束日期)，这些日期将用于我的匹配引擎我必须知道start_date1和end_date1是否在start_date2和end_date2内快进:当我在
Python运行命令行(时间)
我想从 Python 脚本运行“time”unix 命令，以计算非 Python 应用程序的执行时间。我会使用 os.system 方法。有什么方法可以在Python中保存这个输出吗？我的目标是多次运
时间/日期轴的漂亮图形标签的算法？
我正在寻找一种“漂亮的数字”算法来确定日期/时间值轴上的标签。我熟悉 Paul Heckbert's Nice Numbers algorithm . 我有一个在 X 轴上显示时间/日期的图，用户可以
powershell - 获取格式化的通用日期/时间
在 PowerShell 中，您可以格式化日期以返回当前小时，如下所示: Get-Date -UFormat %H 您可以像这样在 UTC 中获取日期字符串: $dateNow = Get-Date
javascript - 检测子窗口何时加载 "each"时间
我正在尝试使用 Javascript 向父子窗口添加一些页面加载检查功能。我的目标是“从父窗口”检测，每次子窗口完全加载然后执行一些代码。我在父窗口中使用以下代码示例: childPage=wi
FFMPEG Drawtext 时间
我正在尝试设置此 FFmpeg 命令的 drawtext 何时开始，我尝试使用 start_number 但看起来它不会成功。 ffmpeg -i 1.mp4 -acodec aac -keyint_
excel - 将长日期文本转换为日期/时间
我收到了一个 Excel (2010) 电子表格，它基本上是一个文本转储。单元格 - J8 具有以下信息 2014 年 2 月 4 日星期二 00:08:06 EST 单元格 - L8 具有以下信息
excel - 时间/日期未转换
我收到的原始数据包含一列具有以下日期和时间戳格式的数据: 2014 年 3 月 31 日凌晨 3:38 单元格的格式并不一致，因为有些单元格有单个空格，而另一些单元格中有两个或三个字符之间的空格。所以
Grails - 如何在我的应用程序中显示版本和构建日期/时间
我想知道是否有办法在我的 Grails 应用程序顶部显示版本和构建日期。编辑:我应该说我正在寻找构建应用程序的日期/时间。最佳答案在您的主模板中，或任何地方。 Server version:

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

datetime - Hive SQL:如何按最大时间对记录组进行子集