python - 折叠具有重叠日期的行

Question

我正在尝试将以下数据框折叠成包含 id 连续时间段的行。连续意味着，在相同的 id 中，start_date 小于、等于或最多比前一个 end_date 大一天行(数据已经按 id、start_date 和 end_date 排序)。所有连续的行都应作为单行输出，start_date 是最小的 start_date(即连续集中第一行的 start_date)，end_date 是连续行集中的最大 end_date。
请在底部查看所需的输出。
我能想到的解决这个问题的唯一方法是逐行解析数据帧，但我想知道是否有更 pythonic 和优雅的方法来做到这一点。

id  start_date  end_date
1   2017-01-01  2017-01-15
1   2017-01-12  2017-01-24
1   2017-01-25  2017-02-03
1   2017-02-05  2017-02-14
1   2017-02-16  2017-02-28
2   2017-01-01  2017-01-19
2   2017-01-24  2017-02-07
2   2017-02-07  2017-02-20

这是生成输入数据框的代码:

import numpy as np
import pandas as pd

start_date = ['2017-01-01','2017-01-12','2017-01-25','2017-02-05','2017-02-16',
              '2017-01-01','2017-01-24','2017-02-07']
end_date = ['2017-01-15','2017-01-24','2017-02-03','2017-02-14','2017-02-28',
            '2017-01-19','2017-02-07','2017-02-20']

df = pd.DataFrame({'id': [1,1,1,1,1,2,2,2],
                  'start_date': pd.to_datetime(start_date, format='%Y-%m-%d'),     
                  'end_date': pd.to_datetime(end_date, format='%Y-%m-%d')})

期望的输出:

id  start_date  end_date
1   2017-01-01  2017-02-03
1   2017-02-05  2017-02-14
1   2017-02-16  2017-02-28
2   2017-01-01  2017-01-19
2   2017-01-24  2017-02-20

Answer 1

def f(grp):
    #define a list to collect valid start and end ranges
    d=[]
    (
        #append a new row if the start date is at least 2 days greater than the last date from previous row,
        #otherwise update last rows's end date with current row's end date.
        grp.reset_index(drop=True)
           .apply(lambda x: d.append({x.start_date:x.end_date}) 
                            if x.name==0 or (x.start_date-pd.DateOffset(1))>grp.iloc[x.name-1].end_date 
                            else d[-1].update({list(d[-1].keys())[0]:x.end_date}),
                  axis=1)
    )
    #reconstruct a df using only valid start and end dates pairs.
    return pd.DataFrame([[list(e.keys())[0],list(e.values())[0]] for e in d],
                        columns=['start_date','end_date'])

df.groupby('id').apply(f).reset_index().drop('level_1',1)
Out[467]: 
   id start_date   end_date
0   1 2017-01-01 2017-02-03
1   1 2017-02-05 2017-02-14
2   1 2017-02-16 2017-02-28
3   2 2017-01-01 2017-01-19
4   2 2017-01-24 2017-02-20