python - 根据 Pandas 数据框中的多个变量计算概率

Question

我对 Python 和 Pandas 还很陌生，所以请耐心等待......

我有一个沉船乘客的数据框。我已将其按男性和女性以及类别分解为其他数据框，以创建生存概率。我创建了一个函数，将一个数据帧与仅包含幸存者的数据帧进行比较，并计算该组中的生存概率:

def survivability(total_pass_df, column, value):
    survivors = sum(did_survive[column] == value)
    total = len(total_pass_df)
    survival_prob = round((survivors / total), 2)
    return survival_prob

但现在我正在尝试比较较小群体的生存能力 - 例如，男性头等舱乘客与女性三等舱乘客。我确实为这两个组制作了数据框，但我仍然无法使用我的生存功能，因为我正在比较两个不同的列 - 性别和类(Class) - 而不仅仅是一个。

我确切地知道如何使用 Python 来做到这一点 - 循环遍历数据框中的“幸存”列(即 1 或 0)，如果它等于 1，则将索引值加 1，然后一旦所有数据都经过，将索引值除以数据帧的长度以获得生存概率......

但是我应该使用 Pandas 来实现这一点，但我无法在脑海中计算出如何做到这一点......

:/

Answer 1

如果没有您正在使用的数据帧的示例，我无法确定我是否正确理解您的问题。但根据你对纯Python过程的描述，

I know exactly how I'd do it with Python - loop through the 'survived' column (which is either a 1 or 0), in the dataframe, if it equals 1, then add one to an index value, and once all the data has been gone through, divide the index value by the length of the dataframe to get the probability of survival....

你可以在 Pandas 中通过简单的编写来做到这一点

dataframe['survived'].mean()

就是这样。假定所有值不是 1 就是 0，平均值就是 1 的数量除以总行数。

如果您从一个包含 survived、sex、class 等列的数据框开始，您可以优雅地组合这是通过 Pandas 的 bool 索引来选择不同群体的生存率。让我使用Socialcops Titanic passengers data set为例进行演示。假设DataFrame名为df，如果你只想分析男性乘客，你可以得到这些记录:

df[df['sex'] == 'male']

然后您可以获取 that 的 survived 列并获取平均值。

>>> df[df['sex'] == 'male']['survived'].mean()
0.19198457888493475

因此，19% 的男性乘客幸存。如果您想缩小范围为男性二等舱乘客，则需要使用 & 组合条件，如下所示:

>>> df[(df['sex'] == 'male') & (df['pclass'] == 2)]['survived'].mean()
0.14619883040935672

这有点笨拙，但有一种更简单的方法实际上可以让您同时执行多个类别。 (问题是，这是一种更先进的 Pandas 技术，可能需要一段时间才能理解它。)使用 DataFrame.groupby()方法，您可以告诉 Pandas 根据某些列中的值对数据框的行进行分组。例如，

df.groupby('sex')

告诉 Pandas 按性别对行进行分组:所有男性乘客的记录都在一组中，所有女性乘客的记录都在另一组中。您从groupby()获得的东西不是DataFrame，它是一种特殊类型的对象，可让您应用聚合函数 - 即采用整个组和把它变成一个数字(或其他东西)。因此，例如，如果您这样做

>>> df.groupby('sex').mean()
          pclass  survived        age     sibsp     parch       fare  \
sex                                                                    
female  2.154506  0.727468  28.687071  0.652361  0.633047  46.198097   
male    2.372479  0.190985  30.585233  0.413998  0.247924  26.154601   

             body  
sex                
female  166.62500  
male    160.39823  

您会看到，对于每一列，Pandas 取该列所有值的男性乘客记录以及所有女性乘客记录的平均值。您在这里关心的只是生存率，所以只需使用

>>> df.groupby('sex').mean()['survived']
sex
female    0.727468
male      0.190985

这样做的一大优点是，如果您想查看小组，您可以提供多个列作为分组依据。例如，性别和类(Class):

>>> df.groupby(['sex', 'pclass']).mean()['survived']
sex     pclass
female  1         0.965278
        2         0.886792
        3         0.490741
male    1         0.340782
        2         0.146199
        3         0.152130

(如果您提供多个列名称，则必须为 groupby 提供一个列名称列表)