python - 强制日期时间转换，强制日期时间数据类型，使用 pandas 中的 read_table

Question

我的数据有两个以天为单位的日期字段，但在数千万行中，某些行存在错误。为了速度和内存限制，我宁愿在读入数据后立即将列转换为日期时间，但我似乎无法强制该过程离开 NaT对于无效的字符串而不是引发错误。我可以在字段中读取 uint32对于稍后强制转换为日期时间，但一旦我们有了 parse_dates ，这似乎不必要地慢选项。

示例数据位于帖子底部。

只要数据始终格式正确，这种方法就可以很好地工作:pd.read_table(filename,usecols=[0,8,9,11],parse_dates=[1,2])

但是，如果某些行无法转换，这会导致 dtype 对象，然后后续操作会中断。

pd.read_table(filename,usecols=[0,8,9,11],parse_dates=[1,2],dtype={'LopNr': np.uint32,'INDATUMA': np.uint32,'UTDATUMA': np.uint32,'DIAGNOS': np.object}) ，假设数据类型在数据进入转换器之前应用于数据，则某些行中的字符串会出现问题: ValueError: invalid literal for long() with base 10: 'string'

pd.read_table(filename,usecols=[0,8,9,11],parse_dates=[1,2],dtype={'LopNr': np.uint32,'INDATUMA': 'datetime64','UTDATUMA': 'datetime64','DIAGNOS': np.object})两者都不起作用，如 TypeError: the dtype <M8 is not supported for parsing, pass this column using parse_dates instead

如果我准备好忽略字符串格式不可解析为日期的行，那么处理此类数据的有效方法是什么？

示例数据(为了保密，所有有意义的数字都替换为 .)，请注意最后两行中的两个日期格式错误:

LopNr   AR  KON ALDER   LKF SJUKHUS MVO LT_KLIN INDATUMA    UTDATUMA    HDIA    DIAGNOS OP  PVARD   INSATT  UTSATT  VTID    EKOD.   EKOD.   ICD PEKARE  OPD.    OPD.    OPD.    OPD.    OPD.    OPD.    OPD.    OPD.    OPD.    OPD..   OPD..   OPD..
..  ....    .   .   ......  .....   ... ... 19970320    19970320    S...    S...        .   .   .   .   W....       ..              
..  ....    .   .   ......  .....   ... ... 19970306    19970307    S...    S...        .   .   .   .   W....       ..              
..  ....    .   ..  ......  .....   ... ... 19961219    19970208    Z...    Z... S...       .   .   .   ..  W....       ..          
..  ....    .   ..  ......  .....   ... ... 19970208    19970320    Z...    Z... S...       .   .   .   ..  W....       ..          
..  ....    .   ..  ......  .....   ... ... 19970604    19970611    I...    I... I... I...      .   .   .   .           ..          
..  ....    .   ..  ......  .....   ... ... 19970402    19970406    O800A   O800A       .   .   .   .           ..              
..  ....    .   ..  ......  .....   ... ... 19970412    19970415    R...    R... I... Z... J...     .   .   .   .           ..      
..  ....    .   ..  ......  .....   ... ... 19970520    19970523    R...    R... I... J...  V....   .   .   .   .           ..  .       
..  ....    .   ..  ......  .....   ... ... 19970504    19970507    I...    I...        .   .   .   .           ..              
..  ....    .   ..  ......  .....   ... ... 1997050     19970507    I...    I...        .   .   .   .           ..              
..  ....    .   ..  ......  .....   ... ... 19970504    string      I...    I...        .   .   .   .           ..              

Answer 1

你可以这样做:

parser = lambda x : pd.to_datetime(x, coerce=True)
pd.read_table(..., parse_dates=[0,1], date_parser=parser)

但这并不比仅仅读入然后解析更快。即使在默认情况下，解析也会在读入数据后发生。

df = pd.read_table(...)
df['INDATUMA'] = pd.to_datetime(df['INDATUMA'], coerce=True)
df['UTDATUMA'] = pd.to_datetime(df['UTDATUMA'], coerce=True)

如果您的日期采用相同的格式，通过传递格式您可能会看到非常显着的加速 - 有一个专门针对 YYYYMMDD 格式日期的快速路径。

df = pd.read_table(...)
df['INDATUMA'] = pd.to_datetime(df['INDATUMA'], coerce=True, format='%Y%m%d')

另请注意，在 pandas 的下一个版本 (0.17) 中，coerce 参数将递减，您将传递 errors='coerce'