python - 如何执行分类列之间的关联

Question

我在数据框 df1 中有一组列 (col1,col2,col3)我在数据框 df2 中有另一组列(col4、col5、col6)假设这两个数据帧具有相同的行数。

如何生成在 df1 和 df2 之间进行成对关联的关联表？

表格看起来像

    col1 col2 col3
col4 ..   ..   ..
col5 ..   ..   ..
col6 ..   ..   ..

我使用df1.corrwith(df2)，它似乎没有按要求生成表格。

我在这里问了一个类似的问题: How to perform Correlation between two dataframes with different column names但现在我正在处理分类列。

如果不能直接比较，是否有标准方法使其具有可比性(比如使用 get_dummies)？这是自动处理所有字段(假设所有字段都是分类的)并计算它们的相关性的更快方法吗？

Answer 1

你说得对，需要 pd.get_dummies 才能获得相关性。下面，我将创建一些包含两个分类列的假数据，然后使用 corrwith

df = pd.DataFrame({'col1':np.random.choice(list('abcde'),100),
                  'col2':np.random.choice(list('xyz'),100)}, dtype='category')
df1 = pd.DataFrame({'col1':np.random.choice(list('abcde'),100),
                   'col2':np.random.choice(list('xyz'),100)}, dtype='category')

dfa = pd.get_dummies(df)
dfb = pd.get_dummies(df1)
dfa.corrwith(dfb)

col1_a   -0.057735
col1_b    0.002513
col1_c    0.137956
col1_d   -0.095050
col1_e   -0.114022
col2_x    0.022568
col2_y   -0.081699
col2_z   -0.128350