python - 将(来回)UNIX 时间戳转换为 pandas.tslib.Timestamp 和系列的日期时间

Question

我正在使用 python 3.5.2、pandas 0.18.1 和 sqlite3。

在我的数据库中，我有一个列 unix_time 和 INT 自 1970 年以来的秒数。理想情况下我想从 sqlite 读取我的数据帧，然后创建一个 time 列对应于 datetime 或 pandas.tslib.Timestamp 转换，我将只使用 unix_time 列进行一些处理，然后在保存数据帧之前删除。

问题是当解析 unix_time 列时使用:

df = pd.read_from_sql_query("SELECT * FROM test", con, parse_dates=['unix_time'])

我获得了适合我处理的 pandas.tslib.Timestamp 类型，但是我必须使用以下方法重新创建我原来的 unix_time 列:

df['unix_time'][i] = (df['unix_time'][i] - datetime(1970,1,1)).total_seconds()

这真的很“脏”

第一个问题:你有更好的方法吗？

我考虑过放弃 unix 时间格式，只使用 datetime 格式，但 pandas 的 to_datetime 方法实际上返回 pandas.tslib.Timestamp ... 无论如何，这样做会迫使我遍历所有行，这是一个糟糕的解决方案。 (不可能将 to_datetime 应用于除数据框单个单元格 View 之外的其他内容

第二个问题:是否可以套用在系列上？

我最后一次尝试是直接使用 df['time'] = datetime.datetime.fromtimestamp(df['unix_time']) 但令人惊讶的是，它还返回了 pandas.tslib。时间戳。

最后，知道我只能保存 unix 时间戳或日期时间，目前我唯一的选择是:

• 解析但随后必须将它们转换回 unix 时间戳一个。

• 或者不解析它但必须将它们转换为 pandas.tslib.Timestamp一个一个。

如果我能转换整个系列就太好了。

最后一个问题:有没有办法将 unix 时间戳系列转换为 datetime(或至少 pandas.tslib.Timestamp)，或 pandas.tslib.Timestamp(或 datetime)系列到 unix 时间戳？

谢谢

编辑:在我的处理过程中，我提取了一行我想附加到我的数据集。显然，从 dataframe 传递到 serie 时，对 pandas.tslib.Timestamp 的覆盖会隐式附加:

df = pd.DataFrame({'UNX':pd.date_range('2016-01-01', freq='9999S', periods=10).astype(np.int64)//10**9})
df['Date'] = pd.to_datetime(df.UNX, unit='s')
print(df.Date.dtypes)
print(type(df['Date'][0]))
test = df.iloc[0]
print(type(test.Date))
new_df = test.to_frame().transpose()   #from here, impossible to do : new_df.to_sql("test", con) because the type for 'Date' is not supported
print(new_df.Date.dtypes)

返回

datetime64[ns]
<class 'pandas.tslib.Timestamp'>
<class 'pandas.tslib.Timestamp'>
object

有没有办法将 new_df 中的“日期”从 pandas.tslib.Timestamp 转换为 datetime64[ns] 或 datetime.datetime(或简称为 str)？

Answer 1

IIUC 你可以这样做:

In [96]: df = pd.DataFrame({'UNX':pd.date_range('2016-01-01', freq='9999S', periods=10).astype(np.int64)//10**9})

In [97]: df
Out[97]:
          UNX
0  1451606400
1  1451616399
2  1451626398
3  1451636397
4  1451646396
5  1451656395
6  1451666394
7  1451676393
8  1451686392
9  1451696391

将 UNIX 纪元转换为 Python 日期时间:

In [98]: df['Date'] = pd.to_datetime(df.UNX, unit='s')

In [99]: df
Out[99]:
          UNX                Date
0  1451606400 2016-01-01 00:00:00
1  1451616399 2016-01-01 02:46:39
2  1451626398 2016-01-01 05:33:18
3  1451636397 2016-01-01 08:19:57
4  1451646396 2016-01-01 11:06:36
5  1451656395 2016-01-01 13:53:15
6  1451666394 2016-01-01 16:39:54
7  1451676393 2016-01-01 19:26:33
8  1451686392 2016-01-01 22:13:12
9  1451696391 2016-01-02 00:59:51

将 datetime 转换为 UNIX 纪元:

In [100]: df['UNX2'] = df.Date.astype('int64')//10**9

In [101]: df
Out[101]:
          UNX                Date        UNX2
0  1451606400 2016-01-01 00:00:00  1451606400
1  1451616399 2016-01-01 02:46:39  1451616399
2  1451626398 2016-01-01 05:33:18  1451626398
3  1451636397 2016-01-01 08:19:57  1451636397
4  1451646396 2016-01-01 11:06:36  1451646396
5  1451656395 2016-01-01 13:53:15  1451656395
6  1451666394 2016-01-01 16:39:54  1451666394
7  1451676393 2016-01-01 19:26:33  1451676393
8  1451686392 2016-01-01 22:13:12  1451686392
9  1451696391 2016-01-02 00:59:51  1451696391

检查:

In [102]: df.UNX.eq(df.UNX2).all()
Out[102]: True