- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我想使用类似于 sklearn
中的类来实现 PCA。
我寻找具有 k 个主成分的 PCA 的算法如下:
import numpy as np
class MyPCA:
def __init__(self, n_components):
self.n_components = n_components
def fit_transform(self, X):
"""
Assumes observations in X are passed as rows of a numpy array.
"""
# Translate the dataset so it's centered around 0
translated_X = X - np.mean(X, axis=0)
# Calculate the eigenvalues and eigenvectors of the covariance matrix
e_values, e_vectors = np.linalg.eigh(np.cov(translated_X.T))
# Sort eigenvalues and their eigenvectors in descending order
e_ind_order = np.flip(e_values.argsort())
e_values = e_values[e_ind_order]
e_vectors = e_vectors[e_ind_order]
# Save the first n_components eigenvectors as principal components
principal_components = np.take(e_vectors, np.arange(self.n_components), axis=0)
return np.matmul(translated_X, principal_components.T)
但是,当在 Iris 数据集上运行时,此实现产生的结果与 sklearn 的结果截然不同,并且结果并未显示数据中存在三个不同的组:
from sklearn import datasets
from sklearn.decomposition import PCA
import matplotlib.pyplot as plt
def plot_pca_results(pca_class, dataset, plot_title):
X = dataset.data
y = dataset.target
y_names = dataset.target_names
pca = pca_class(n_components=1)
B = pca.fit_transform(X)
B = np.concatenate([B, np.zeros_like(B)], 1)
scatter = plt.scatter(B[:, 0], B[:, 1], c=y)
scatter_objects, _ = scatter.legend_elements()
plt.title(plot_title)
plt.legend(scatter_objects, y_names, loc="lower left", title="Classes")
plt.show()
dataset = datasets.load_iris()
plot_pca_results(MyPCA, dataset, "Iris - my PCA")
plot_pca_results(PCA, dataset, "Iris - Sklearn")
造成这种差异的原因是什么?我的方法或计算哪里不正确?
最佳答案
比较两种方法
问题在于未标准化数据和特征向量(主轴)的提取。该函数比较这两种方法。
import numpy as np
from sklearn import datasets
from sklearn.decomposition import PCA
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
def pca_comparison(X, n_components, labels):
"""X: Standardized dataset, observations on rows
n_components: dimensionality of the reduced space
labels: targets, for visualization
"""
# numpy
# -----
# calculate eigen values
X_cov = np.cov(X.T)
e_values, e_vectors = np.linalg.eigh(X_cov)
# Sort eigenvalues and their eigenvectors in descending order
e_ind_order = np.flip(e_values.argsort())
e_values = e_values[e_ind_order]
e_vectors = e_vectors[:, e_ind_order] # note that we have to re-order the columns, not rows
# now we can project the dataset on to the eigen vectors (principal axes)
prin_comp_evd = X @ e_vectors
# sklearn
# -------
pca = PCA(n_components=n_components)
prin_comp_sklearn = pca.fit_transform(X)
# plotting
if n_components == 3:
fig = plt.figure(figsize=(10, 5))
ax = fig.add_subplot(121, projection='3d')
ax.scatter(prin_comp_sklearn[:, 0],
prin_comp_sklearn[:, 1],
prin_comp_sklearn[:, 1],
c=labels)
ax.set_title("sklearn plot")
ax = fig.add_subplot(122, projection='3d')
ax.scatter(prin_comp_evd[:, 0],
prin_comp_evd[:, 1],
prin_comp_evd[:, 2],
c=labels)
ax.set_title("PCA using EVD plot")
fig.suptitle(f"Plots for reducing to {n_components}-D")
plt.show()
elif n_components == 2:
fig, ax = plt.subplots(1, 2, figsize=(10, 5))
ax[0].scatter(prin_comp_sklearn[:, 0],
prin_comp_sklearn[:, 1],
c=labels)
ax[0].set_title("sklearn plot")
ax[1].scatter(prin_comp_evd[:, 0],
prin_comp_evd[:, 1],
c=labels)
ax[1].set_title("PCA using EVD plot")
fig.suptitle(f"Plots for reducing to {n_components}-D")
plt.show()
elif n_components == 1:
fig, ax = plt.subplots(1, 2, figsize=(10, 5))
ax[0].scatter(prin_comp_sklearn[:, 0],
np.zeros_like(prin_comp_sklearn[:, 0]),
c=labels)
ax[0].set_title("sklearn plot")
ax[1].scatter(prin_comp_evd[:, 0],
np.zeros_like(prin_comp_evd[:, 0]),
c=labels)
ax[1].set_title("PCA using EVD plot")
fig.suptitle(f"Plots for reducing to {n_components}-D")
plt.show()
return prin_comp_sklearn, prin_comp_evd[:, :n_components]
加载数据集、预处理并运行实验:
dataset = datasets.load_iris()
X = dataset.data
mean = np.mean(X, axis=0)
# this was missing in your implementation
std = np.std(X, axis=0)
X_std = (X - mean) / std
for n in [3, 2, 1]:
pca_comparison(X_std, n, dataset.target)
结果
3D 图有点困惑,但是如果您查看 2D 和 1D 情况,您会发现如果我们将第一个主成分乘以 -1,则图是相同的; scikit-learn PCA 实现在底层使用奇异值分解,这将给出非唯一的解决方案 ( see here )。
测试:
使用 here 中的 flip_signs()
函数
def flip_signs(A, B):
"""
utility function for resolving the sign ambiguity in SVD
http://stats.stackexchange.com/q/34396/115202
"""
signs = np.sign(A) * np.sign(B)
return A, B * signs
for n in [3, 2, 1]:
sklearn_pca, evd = pca_comparison(X_std, n, dataset.target)
assert np.allclose(*flip_signs(sklearn_pca, evd))
实现中的问题:
引用上面答案的一部分:
Continued by @ttnphns
When would one prefer to do PCA (or factor analysis or other similar type of analysis) on correlations (i.e. on z-standardized variables) instead of doing it on covariances (i.e. on centered variables)?
When the variables are different units of measurement. That's clear
...
e_values, e_vectors = np.linalg.eigh(X_cov)
获取主轴,您应该提取 e_vectors
列 ( documentation )。您正在提取行。关于python - 使用 Numpy 实现 PCA,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58666635/
背景: 我最近一直在使用 JPA,我为相当大的关系数据库项目生成持久层的轻松程度给我留下了深刻的印象。 我们公司使用大量非 SQL 数据库,特别是面向列的数据库。我对可能对这些数据库使用 JPA 有一
我已经在我的 maven pom 中添加了这些构建配置,因为我希望将 Apache Solr 依赖项与 Jar 捆绑在一起。否则我得到了 SolarServerException: ClassNotF
interface ITurtle { void Fight(); void EatPizza(); } interface ILeonardo : ITurtle {
我希望可用于 Java 的对象/关系映射 (ORM) 工具之一能够满足这些要求: 使用 JPA 或 native SQL 查询获取大量行并将其作为实体对象返回。 允许在行(实体)中进行迭代,并在对当前
好像没有,因为我有实现From for 的代码, 我可以转换 A到 B与 .into() , 但同样的事情不适用于 Vec .into()一个Vec . 要么我搞砸了阻止实现派生的事情,要么这不应该发
在 C# 中,如果 A 实现 IX 并且 B 继承自 A ,是否必然遵循 B 实现 IX?如果是,是因为 LSP 吗?之间有什么区别吗: 1. Interface IX; Class A : IX;
就目前而言,这个问题不适合我们的问答形式。我们希望答案得到事实、引用资料或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visit the
我正在阅读标准haskell库的(^)的实现代码: (^) :: (Num a, Integral b) => a -> b -> a x0 ^ y0 | y0 a -> b ->a expo x0
我将把国际象棋游戏表示为 C++ 结构。我认为,最好的选择是树结构(因为在每个深度我们都有几个可能的移动)。 这是一个好的方法吗? struct TreeElement{ SomeMoveType
我正在为用户名数据库实现字符串匹配算法。我的方法采用现有的用户名数据库和用户想要的新用户名,然后检查用户名是否已被占用。如果采用该方法,则该方法应该返回带有数据库中未采用的数字的用户名。 例子: “贾
我正在尝试实现 Breadth-first search algorithm , 为了找到两个顶点之间的最短距离。我开发了一个 Queue 对象来保存和检索对象,并且我有一个二维数组来保存两个给定顶点
我目前正在 ika 中开发我的 Python 游戏,它使用 python 2.5 我决定为 AI 使用 A* 寻路。然而,我发现它对我的需要来说太慢了(3-4 个敌人可能会落后于游戏,但我想供应 4-
我正在寻找 Kademlia 的开源实现C/C++ 中的分布式哈希表。它必须是轻量级和跨平台的(win/linux/mac)。 它必须能够将信息发布到 DHT 并检索它。 最佳答案 OpenDHT是
我在一本书中读到这一行:-“当我们要求 C++ 实现运行程序时,它会通过调用此函数来实现。” 而且我想知道“C++ 实现”是什么意思或具体是什么。帮忙!? 最佳答案 “C++ 实现”是指编译器加上链接
我正在尝试使用分支定界的 C++ 实现这个背包问题。此网站上有一个 Java 版本:Implementing branch and bound for knapsack 我试图让我的 C++ 版本打印
在很多情况下,我需要在 C# 中访问合适的哈希算法,从重写 GetHashCode 到对数据执行快速比较/查找。 我发现 FNV 哈希是一种非常简单/好/快速的哈希算法。但是,我从未见过 C# 实现的
目录 LRU缓存替换策略 核心思想 不适用场景 算法基本实现 算法优化
1. 绪论 在前面文章中提到 空间直角坐标系相互转换 ,测绘坐标转换时,一般涉及到的情况是:两个直角坐标系的小角度转换。这个就是我们经常在测绘数据处理中,WGS-84坐标系、54北京坐标系
在软件开发过程中,有时候我们需要定时地检查数据库中的数据,并在发现新增数据时触发一个动作。为了实现这个需求,我们在 .Net 7 下进行一次简单的演示. PeriodicTimer .
二分查找 二分查找算法,说白了就是在有序的数组里面给予一个存在数组里面的值key,然后将其先和数组中间的比较,如果key大于中间值,进行下一次mid后面的比较,直到找到相等的,就可以得到它的位置。
我是一名优秀的程序员,十分优秀!