python - 加速时间戳操作

Question

以下转换(ms -> datetime -> conver timezone)需要很长时间才能运行(4 分钟)，可能是因为我正在处理大型数据帧:

for column in ['A', 'B', 'C', 'D', 'E']:
    # Data comes in unix time (ms) so I need to convert it to datetime
    df[column] = pd.to_datetime(df[column], unit='ms')

    # Get times in EST
    df[column] = df[column].apply(lambda x: x.tz_localize('UTC').tz_convert('US/Eastern'))

有什么办法可以加快速度吗？我是否已经以最有效的方式使用 Pandas 数据结构和方法？

Answer 1

这些可作为 DatetimeIndex 方法使用，它们将快得多:

df[column] = pd.DatetimeIndex(df[column]).tz_localize('UTC').tz_convert('US/Eastern')

注意:在 0.15.0 中，您可以访问这些系列 dt accessor :

df[column] = df[column].dt.tz_localize('UTC').tz_convert('US/Eastern')