gpt4 book ai didi

python - 使用 PCA 进行降维进行文本分类

转载 作者:行者123 更新时间:2023-12-01 02:28:45 25 4
gpt4 key购买 nike

我正在对文档进行文本分类,我有大约 4k 个类别和 110 万个数据样本。

我正在构建包含每个文档中单词频率的矩阵。矩阵示例如下

            X1     X2     X3        X4 
D1 1 1 0 1
D2 1 1 1 0
D3 1 1 0 0
D4 1 1 1 1
D5 0 0 1 0
D6 0 0 1 1

在上面的矩阵中,X1和X2是冗余特征,因为它们在所有行中具有相同的值。

首先,当我从 110 万个数据构建矩阵时,我将得到具有 90k 个特征的巨大矩阵。

为了减少矩阵维度,我使用降维技术 PCA 我使用 TruncatedSVD 来计算 PCA,因为我使用稀疏矩阵。

我正在使用 Sckit 学习 PCA 的实现,使用下面的代码

from sklearn.decomposition import TruncatedSVD
X = [[1,1,0,1], [1,1,1,0], [1,1,0,0],[1,1,1,1],[0,0,1,0],[0,0,1,1]]
svd = TruncatedSVD(n_components=3)
svd.fit(X)
X_new=svd.fit_transform(X)

X_new的输出是

array([[ 1.53489494, -0.49612748, -0.63083679],
[ 1.57928583, -0.04762643, 0.70963934],
[ 1.13759356, -0.80736818, 0.2324597 ],
[ 1.97658721, 0.26361427, -0.15365716],
[ 0.44169227, 0.75974175, 0.47717963],
[ 0.83899365, 1.07098246, -0.38611686]])

这是我得到的缩小尺寸我将 X_new 作为朴素贝叶斯分类器的输入。

clf = GaussianNB()
model=clf.fit(X_new, Y)

对于 110 万个样本,我得到以下输出:

No_of_components
(“n_components” parameter) accuracy
1000 6.57%
500 7.25%
100 5.72%

我的准确率非常低,

以上步骤是否正确?

我需要进一步包含哪些内容?

最佳答案

准确度较低,因为在维度重新预测期间丢失了大部分信息

您可以使用 sum(svd.explained_variance_ratio_ ) 进行检查。这个数字与 R^2 一样,衡量模型的精度:如果 SVD 保留了所有信息,则该数字等于 1;如果没有保留任何信息,则该数字等于 0。在你的例子中(90K 个特征的 3 个维度)我预计它的数量级为 0.1%。

对于您的问题,我会推荐两种策略之一。

1。不要以数学方式减少维度。相反,对文本进行语言预处理:删除停用词、对其余单词进行词干或词形还原,并删除出现次数少于 k 的单词。它将把你的维度从 90K 提高到 15K 左右,而不会造成严重的信息丢失。

在这些功能上,您可以训练一个稀疏模型(例如具有巨大 L1 惩罚的 SGDClassifier),这可以将实际使用的功能数量减少到 1K 左右,同时仍然具有良好的准确性。有时,在输入线性分类器之前使用 TF-IDF 转换字数统计会有所帮助。

2。使用预先训练的降维器(例如 word2vecfastText)从文本中提取特征。互联网上存在针对多种语言和多种维度(如 200、1000 等)的预训练 word2vec 模型。

关于python - 使用 PCA 进行降维进行文本分类,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47077349/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com