python - Pandas DataFrame 能否高效计算 PMI(Pointwise Mutual Information)？

Question

尽管像 Scikit-learn 这样的库提供了整体互信息的度量(通过直方图)，但我环顾四周，令人惊讶的是没有找到一个简单的框架或现有代码来计算点互信息(Wiki PMI) ).这是在 Python 和 Pandas 的上下文中!

我的问题:

我有一个 DataFrame，每行包含一系列 [x,y] 示例，并希望根据公式(或更简单的公式)计算一系列 PMI 值:

PMI(x, y) = log( p(x,y)/p(x) * p(y) )

目前我的做法是:

def pmi_func(df, x, y):
    df['freq_x'] = df.groupby(x).transform('count')
    df['freq_y'] = df.groupby(y).transform('count')
    df['freq_x_y'] = df.groupby([x, y]).transform('count')
    df['pmi'] = np.log( df['freq_x_y'] / (df['freq_x'] * df['freq_y']) )

这会给出有效和/或高效的计算吗？

示例 I/O:

x  y  PMI
0  0  0.176
0  0  0.176
0  1  0

Answer 1

我会加三位。

def pmi(dff, x, y):
    df = dff.copy()
    df['f_x'] = df.groupby(x)[x].transform('count')
    df['f_y'] = df.groupby(y)[y].transform('count')
    df['f_xy'] = df.groupby([x, y])[x].transform('count')
    df['pmi'] = np.log(len(df.index) * df['f_xy'] / (df['f_x'] * df['f_y']) )
    return df

1. df.groupby(x)[x].transform('count')和 df.groupby(y)[y].transform('count')应该使用这样只有返回计数。
2. np.log(len(df.index) * df['f_xy'] / (df['f_x'] * df['f_y'])要使用的概率。
3. 处理数据帧的副本，而不是修改输入数据帧。