python - 数据集中分类变量之间的相关性

Question

我有两个关于预测模型数据集中分类变量之间相关性的问题。使用 Cramers V 和 TheilU 双重检查相关性。

• 我的两个变量从 Cramers V 得到了 1.0，但是，当我使用 TheilU 方法时我只得到了 0.2，我不确定如何解释这两个变量之间的关系？
• 同样对于那些有经验的人来说，如果我得到 2 个变量相关性的 0.73，我是否应该为预测模型删除其中一个变量？

提前致谢!

Answer 1

好吧，您可能想将非数字转换为数字。我不认为我已经看到非数字的相关性，但也许那里有一些东西。不过，不确定它是如何工作的。如果您考虑一下，您会如何将下面的公式应用于非数字数据？

无论如何，这里有一些示例代码供您试验。

仅供引用:具体查看“labelencoder”和“dfDummies”。

import numpy as np # linear algebra
import pandas as pd # data processing, CSV file I/O (e.g. pd.read_csv)
import matplotlib.pyplot as plt
#%matplotlib inline
import seaborn as sns
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import LabelEncoder

from sklearn.metrics import classification_report, confusion_matrix, precision_recall_curve, auc, roc_curve
from sklearn.tree import DecisionTreeClassifier, export_graphviz
import graphviz

df = pd.read_csv('C:\\Users\\ryans\\OneDrive\\Desktop\\mushrooms.csv')

df.columns

df.head(5)

# The data is categorial so I convert it with LabelEncoder to transfer to ordinal.

labelencoder=LabelEncoder()
for column in df.columns:
    df[column] = labelencoder.fit_transform(df[column])

#df.describe()


#df=df.drop(["veil-type"],axis=1)

#df_div = pd.melt(df, "class", var_name="Characteristics")
#fig, ax = plt.subplots(figsize=(10,5))
#p = sns.violinplot(ax = ax, x="Characteristics", y="value", hue="class", split = True, data=df_div, inner = 'quartile', palette = 'Set1')
#df_no_class = df.drop(["class"],axis = 1)
#p.set_xticklabels(rotation = 90, labels = list(df_no_class.columns));

#plt.figure()
#pd.Series(df['class']).value_counts().sort_index().plot(kind = 'bar')
#plt.ylabel("Count")
#plt.xlabel("class")
#plt.title('Number of poisonous/edible mushrooms (0=edible, 1=poisonous)');


plt.figure(figsize=(14,12))
sns.heatmap(df.corr(),linewidths=.1,cmap="YlGnBu", annot=True)
plt.yticks(rotation=0);

dfDummies = pd.get_dummies(df)

plt.figure(figsize=(14,12))
sns.heatmap(dfDummies.corr(),linewidths=.1,cmap="YlGnBu", annot=True)
plt.yticks(rotation=0);

有关详细信息，请参阅下面的链接。

http://queirozf.com/entries/one-hot-encoding-a-feature-on-a-pandas-dataframe-an-example

示例数据来自下面的链接和该页面的底部。

https://www.kaggle.com/haimfeld87/analysis-and-classification-of-mushrooms/data

如果您发现实际上是基于不将分类数据转换为数值数据的方法，请分享您的发现。我想看看!!