Python->Dataframe->扩展Dataframe

Question

所以我有一个像这样的数据框:

Date;   AK; AL ........

12/31/1976;  128,661;    954,940 

3/31/1977;   128,341;    963,555

.........

数据框形状为 (156,56)

这些是美国 53 个地区的滚动平均值、季度数字，我需要复制数据框的每一行(从季度到月度)。

所以应该是这样的:

12/31/1976  ; 128,661   ; 954,940 ......

1/31/1976    ;     128,661  ; 954,940 

2/31/1976   ; 128,661   ; 954,940  

3/31/1977   ; 128,341   ; 963,555 

4/31/1977   ; 128,341   ; 963,555 

5/31/1977   ; 128,341   ; 963,555

...............

所以结束数据帧将是 (156*3, 56) = (468,56)。

这是我解决问题的可耻的业余方式:

result=[]

for d in range(dfc.shape[0]):
    a=dfc.loc[[d]]
    result.append(a)
    for i in range(2):
        result.append(a)

result2 = pd.concat(result)

result2.to_csv(outputfile)

现在我在 result 中有一个包含 474 个数据帧的列表，并成功地将它们加入到 result2 中。但是是否有更 pythonic 的方式来做到这一点？

非常感谢您的宝贵时间。

来自输入 csv 的示例数据

Date AK AL AR AZ CA CO CT DC DE FL GA HI IA ID IL IN KS KY LA MA MD ME MI MN MO MS MT NC ND NE NH NJ NM NV NY OH OK OR PA PR RI SC SD TN TX US UT VA VI VT WA WI WV WY US

12/31/1976 128661 954940 553053 621466 7130131 808768 1194789 350566 213905 2615803 1462638 326404 848553 234033 3803577 1683495 651434 879378 1101983 1942755 1133973 299863 2999407 1425506 1472189 563727 219449 1736735 158068 454897 272603 2247374 284290 233236 5677756 3768974 757678 803867 3796384 456596 326356 836472 166527 1279266 3905285 68009341 362019 1449598 - 136259 1052788 1626165 481509 118196 136018680

3/31/1977 128341 963555 559382 632022 7210477 818252 1203495 349061 212093 2637798 1478518 329504 859381 237540 3829280 1700039 657837 886421 1110438 1950984 1140207 302194 3033862 1444873 1482550 569446 221903 1751718 159539 460068 276727 2254050 288767 239391 5685289 3785281 765835 816312 3807158 457408 329745 842357 168075 1289540 3953044 68563641 367915 1462887 - 137377 1069036 1640823 485301 120550 137127279

6/30/1977 126396 977083 567917 643876 7305609 829959 1215449 349629 212099 2672554 1495769 332130 869226 241135 3858154 1721593 665523 898318 1122502 1964295 1154737 304645 3069330 1463964 1497019 576081 223573 1772303 161208 464668 278415 2271529 293668 245175 5707264 3815464 774473 829472 3826951 455636 332956 850164 169482 1305168 4003226 69279773 373785 1479718 7696 138750 1087648 1660930 492362 123099 138559545

Answer 1

我想你可以使用 resample与 Resampler.ffill .但是最后一个值有问题 - 需要手动添加最后一行，日期时间转移到 2 个月，并且所有值都与原始 DataFrame

的最后一行相同

#convert column to datetime
df.Date = pd.to_datetime(df.Date)

#duplicated last row to another row with same values
df.loc[df.index[-1] + 1] = df.iloc[-1]
#shifted 2 months in column 'Date'
df.loc[df.index[-1], 'Date'] = df.loc[df.index[-1], 'Date'] + pd.offsets.DateOffset(months=2)
print (df)
        Date       AK       AL
0 1976-12-31  128,661  954,940
1 1977-03-31  128,341  963,555
2 1977-05-31  128,341  963,555

df = df.set_index('Date').resample('M').ffill()
print (df)
                 AK       AL
Date                        
1976-12-31  128,661  954,940
1977-01-31  128,661  954,940
1977-02-28  128,661  954,940
1977-03-31  128,341  963,555
1977-04-30  128,341  963,555
1977-05-31  128,341  963,555

如果使用旧版本的 pandas 需要参数 fill_method='ffill' instaed .ffill() - see changed API in 0.18.0 :

df = pd.read_csv('quarter to month.csv', thousands=',')
print (df) 
           Date      AK       AL       AR       AZ        CA       CO  \
0    12/31/1976  128661   954940   553053   621466   7130131   808768   
1     3/31/1977  128341   963555   559382   632022   7210477   818252   
2     6/30/1977  126396   977083   567917   643876   7305609   829959   
3     9/30/1977  121677   992007   576480   657475   7403502   844079   
...
...  

df.Date = pd.to_datetime(df.Date)

df.loc[df.index[-1] + 1] = df.iloc[-1]
#shifted 2 months in column 'Date'
df.loc[df.index[-1],'Date']=df.loc[df.index[-1],'Date'] + pd.offsets.DateOffset(months=2)

df = df.set_index('Date').resample('M', fill_method='ffill')
print (df)
               AK       AL       AR       AZ        CA       CO       CT  \
Date                                                                        
1976-12-31  128661   954940   553053   621466   7130131   808768  1194789   
1977-01-31  128661   954940   553053   621466   7130131   808768  1194789   
1977-02-28  128661   954940   553053   621466   7130131   808768  1194789   
1977-03-31  128341   963555   559382   632022   7210477   818252  1203495   
1977-04-30  128341   963555   559382   632022   7210477   818252  1203495   
1977-05-31  128341   963555   559382   632022   7210477   818252  1203495   
1977-06-30  126396   977083   567917   643876   7305609   829959  1215449   
1977-07-31  126396   977083   567917   643876   7305609   829959  1215449   
1977-08-31  126396   977083   567917   643876   7305609   829959  1215449   
1977-09-30  121677   992007   576480   657475   7403502   844079  1227102   
1977-10-31  121677   992007   576480   657475   7403502   844079  1227102   
1977-11-30  121677   992007   576480   657475   7403502   844079  1227102   
1977-12-31  120632  1005809   585722   672041   7543093   863180  1242052   
...
...

解释:

Resample 省略了最后 2 行，因此您需要手动将其添加到 DataFrame 以获得所需的输出。首先通过df.index[-1] 找到最后一个索引值(索引是单调的(0,1,2,3..)并且只有整数)。然后添加 1 并获取另一行的索引 - 例如如果最后一个索引是 50，则另一个行索引是 51。然后通过loc展开Dataframe并添加与最后一行相同的值 - 我使用 iloc用于选择最后一行。然后需要更改最后一行中的 Date 列的值。所以通过 df.loc[df.index[-1], 'Date'] 选择它并通过 offset 添加两个月(输入 [87])。然后您可以使用 resample 并获取许多新行，在最后一行中获取旧原始最后一行和新原始应用 dateoffset 之间的新行。