python - pandas:使用 loc 迭代 DataFrame 索引

Question

我似乎找不到 .loc 行为背后的原因。我知道它是基于标签的，所以如果我遍历 Index 对象，下面的最小示例应该可以工作。但事实并非如此。我当然用谷歌搜索了，但我需要已经掌握索引的人的额外解释。

import datetime
import pandas as pd

dict_weekday = {1: 'MON', 2: 'TUE', 3: 'WED', 4: 'THU', 5: 'FRI', 6: 'SAT', 7: 'SUN'}
df = pd.DataFrame(pd.date_range(datetime.date(2014, 1, 1), datetime.date(2014, 1, 15), freq='D'),   columns=['Date'])
df['Weekday'] = df['Date'].apply(lambda x: dict_weekday[x.isoweekday()])

for idx in df.index:
    print df.loc[idx, 'Weekday']

Answer 1

问题不在df.loc；df.loc[idx, 'Weekday'] 只是返回一个系列。令人惊讶的行为是由于 pd.Series 尝试将类似日期时间的值转换为时间戳的方式。

df.loc[0, 'Weekday']

形成系列

pd.Series(np.array([pd.Timestamp('2014-01-01 00:00:00'), 'WED'], dtype=object))

当 pd.Series(...) 被调用时，它 tries to cast the data到适当的数据类型。

如果您跟踪代码，您会发现它最终到达了these lines in pandas.core.common._possibly_infer_to_datetimelike。 :

sample = v[:min(3,len(v))]
inferred_type = lib.infer_dtype(sample)

它正在检查数据的前几个元素并尝试推断数据类型。当其中一个值是 pd.Timestamp 时，Pandas 会检查是否所有数据都可以转换为时间戳。实际上，'Wed' 可以转换为 pd.Timestamp:

In [138]: pd.Timestamp('Wed')
Out[138]: Timestamp('2014-12-17 00:00:00')

这是问题的根源，导致 pd.Series 返回两个时间戳而不是一个时间戳和一个字符串:

In [139]: pd.Series(np.array([pd.Timestamp('2014-01-01 00:00:00'), 'WED'], dtype=object))
Out[139]: 
0   2014-01-01
1   2014-12-17
dtype: datetime64[ns]

因此返回

In [140]: df.loc[0, 'Weekday']
Out[140]: Timestamp('2014-12-17 00:00:00')

而不是 'Wed'。

---

备选方案:首先选择系列 df['Weekday']:

有很多解决方法； EdChum 表明，向样本添加非日期类(整数)值可以防止 pd.Series 将所有值都转换为时间戳。

或者，您可以使用 .loc 访问 df['Weekdays'] :

for idx in df.index:
    print df['Weekday'].loc[idx]

---

替代方案:df.loc[[idx], 'Weekday']:

另一种选择是

for idx in df.index:
    print df.loc[[idx], 'Weekday'].item()

df.loc[[idx], 'Weekday'] 首先选择DataFrame df.loc[[idx]]。例如，当idx等于0时，

In [10]: df.loc[[0]]
Out[10]: 
        Date Weekday
0 2014-01-01     WED

而 df.loc[0] 返回系列:

In [11]: df.loc[0]
Out[11]: 
Date      2014-01-01
Weekday   2014-12-17
Name: 0, dtype: datetime64[ns]

Series 尝试将值转换为单个有用的数据类型。 DataFrame 的每一列可以有不同的 dtype。因此 Date 列中的时间戳不会影响 Weekday 列中值的数据类型。

因此通过使用返回 DataFrame 的索引选择器避免了这个问题。

---

备选方案:对工作日使用整数

另一种方法是将 isoweekday 整数存储在 Weekday 中，并仅在打印结束时转换为字符串:

import datetime
import pandas as pd

dict_weekday = {1: 'MON', 2: 'TUE', 3: 'WED', 4: 'THU', 5: 'FRI', 6: 'SAT', 7: 'SUN'}
df = pd.DataFrame(pd.date_range(datetime.date(2014, 1, 1), datetime.date(2014, 1, 15), freq='D'),   columns=['Date'])
df['Weekday'] = df['Date'].dt.weekday+1   # add 1 for isoweekday

for idx in df.index:
    print dict_weekday[df.loc[idx, 'Weekday']]

---

备选方案:使用 df.ix:

df.loc 是一个 _LocIndexer，而 df.ix 是一个 _IXIndexer。他们有不同的 __getitem__ 方法。如果您单步执行代码(例如，使用 pdb)，您会发现 df.ix calls df.getvalue :

def __getitem__(self, key):
    if type(key) is tuple:
        try:
            values = self.obj.get_value(*key)

DataFrame方法df.get_value成功返回'WED':

In [14]: df.get_value(0, 'Weekday')
Out[14]: 'WED'

这就是为什么 df.ix 是另一种适用于此的替代方案。