python - 使用 Pandas 读取 CSV 日期返回日期时间而不是时间戳

Question

问题描述:

我正在尝试将历史股票价格从 CSV 格式读取到 pandas Dataframe 中，但到目前为止我注意到一件有趣的事情 - 在读取某些行号时，日期列类型从 pandas.Timestamp 更改为进入datetime - 这是如何运作的？我如何阅读 pandas.Timestamp那么呢？

最小复制示例:

我已经检查了我的 CSV 文件，这里是其中的一个最少需要的数据示例。

import pandas as pd
file = open('temp.csv', 'w')
file.write(
    """Local time,Open,High,Low,Close,Volume
28.02.2014 02:00:00.000 GMT+0200,1.37067,1.38250,1.36943,1.38042,176839.0313
01.04.2014 03:00:00.000 GMT+0300,1.37742,1.38156,1.37694,1.37937,95386.0703""")
file.close()

data = pd.read_csv('temp.csv', parse_dates = ["Local time"])
print(type(data['Local time'][0]))

结果:<class 'datetime.datetime'>

对比

import pandas as pd
file = open('temp.csv', 'w')
file.write(
    """Local time,Open,High,Low,Close,Volume
28.02.2014 02:00:00.000 GMT+0200,1.37067,1.38250,1.36943,1.38042,176839.0313""")
file.close()

data = pd.read_csv('temp.csv', parse_dates = ["Local time"])
print(type(data['Local time'][0]))

file = open('temp.csv', 'w')
file.write(
    """Local time,Open,High,Low,Close,Volume
01.04.2014 03:00:00.000 GMT+0300,1.37742,1.38156,1.37694,1.37937,95386.0703""")
file.close()

data = pd.read_csv('temp.csv', parse_dates = ["Local time"])
print(type(data['Local time'][0]))

file = open('temp.csv', 'w')
file.write(
    """Local time,Open,High,Low,Close,Volume
02.03.2014 02:00:00.000 GMT+0200,1.37620,1.37882,1.37586,1.37745,5616.04
03.03.2014 02:00:00.000 GMT+0200,1.37745,1.37928,1.37264,1.37357,136554.6563
04.03.2014 02:00:00.000 GMT+0200,1.37356,1.37820,1.37211,1.37421,124863.8203""")
file.close()

data = pd.read_csv('temp.csv', parse_dates = ["Local time"])
print(type(data['Local time'][0]))

结果:<class 'pandas._libs.tslibs.timestamps.Timestamp'>

结果:<class 'pandas._libs.tslibs.timestamps.Timestamp'>

结果:<class 'pandas._libs.tslibs.timestamps.Timestamp'>

版本:

pandas==1.2.3 pandas-datareader==0.9.0

总结:

我需要阅读 pandas.Timestamp因为后面的一些数据操作，不是datetime ，并且不知道这里出了什么问题 - 希望你们，伙计们，可以帮助...

我创建了一个 GitHub issue同样，但尚未对其进行分类。

Answer 1

您可以指定要使用的date_parser 函数:

data = pd.read_csv('temp.csv', 
                   parse_dates = ["Local time"],
                   date_parser=pd.Timestamp)

输出:

>>> data
                  Local time     Open     High      Low    Close       Volume
0  2014-02-03 02:00:00-02:00  1.37620  1.37882  1.37586  1.37745    5616.0400
1  2014-03-03 02:00:00-03:00  1.37745  1.37928  1.37264  1.37357  136554.6563
2  2014-04-03 02:00:00-02:00  1.37356  1.37820  1.37211  1.37421  124863.8203

>>> type(data['Local time'][0])
<class 'pandas._libs.tslibs.timestamps.Timestamp'>

根据我的观察，当个人观察的时区不同时，pandas 会自动将每个条目解析为日期时间。

如果你真的需要使用 pd.Timestamp，上面的方法应该可以工作。

然而，运行上面的代码也会给我一个 FutureWarning，我研究发现它目前是无害的。

编辑

经过更多研究:

pandas 尝试将日期类型列转换为 DatetimeIndex 以提高基于日期时间的操作的效率。但是为此，pandas 需要为整个专栏设置一个共同的时区。

明确尝试转换为 pd.DatetimeIndex

>>> data
                  Local time     Open     High      Low    Close       Volume
0  2014-02-03 02:00:00-02:00  1.37620  1.37882  1.37586  1.37745    5616.0400
1  2014-03-03 02:00:00-03:00  1.37745  1.37928  1.37264  1.37357  136554.6563
2  2014-04-03 02:00:00-04:00  1.37356  1.37820  1.37211  1.37421  124863.8203

>>> pd.DatetimeIndex(data['Local time'])

ValueError: Array must be all same time zone

During handling of the above exception, another exception occurred:

ValueError: Tz-aware datetime.datetime cannot be converted to datetime64 unless utc=True

因此，当转换为 DatetimeIndex 失败时，pandas 会在内部将数据保留为字符串(dtype:object)，并将单个条目作为 datetime 进行处理。

文档建议，如果数据中的时区不同，请指定 UTC=True，这样时区将设置为 UTC，时间值将相应更改。

来自文档:

pandas cannot natively represent a column or index with mixed timezones. If your CSV file contains columns with a mixture of timezones, the default result will be an object-dtype column with strings, even with parse_dates.

To parse the mixed-timezone values as a datetime column, pass a partially-applied to_datetime() with utc=True

在已经具有相同时区的数据中，DatetimeIndex 可以无缝工作:

>>> data
                 Local time     Open     High      Low    Close       Volume
0 2014-02-03 02:00:00-02:00  1.37620  1.37882  1.37586  1.37745    5616.0400
1 2014-03-03 02:00:00-02:00  1.37745  1.37928  1.37264  1.37357  136554.6563
2 2014-04-03 02:00:00-02:00  1.37356  1.37820  1.37211  1.37421  124863.8203


>>> pd.DatetimeIndex(data['Local time'])

DatetimeIndex(['2014-02-03 02:00:00-02:00', '2014-03-03 02:00:00-02:00',
               '2014-04-03 02:00:00-02:00'],
              dtype='datetime64[ns, pytz.FixedOffset(-120)]', name='Local time', freq=None)

>>> type(pd.DatetimeIndex(data['Local time'])[0])

<class 'pandas._libs.tslibs.timestamps.Timestamp'>

引用资料:

• https://pandas.pydata.org/docs/user_guide/io.html#io-csv-mixed-timezones
• https://pandas.pydata.org/docs/reference/api/pandas.DatetimeIndex.html
• https://pandas.pydata.org/docs/reference/api/pandas.read_csv.html#parse_dates