- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我想从矩阵中选择最前面的 N=10,000
主成分。 pca 完成后,MATLAB 应该返回一个 pxp
矩阵,但它没有!
>> size(train_data)
ans =
400 153600
>> [coefs,scores,variances] = pca(train_data);
>> size(coefs)
ans =
153600 399
>> size(scores)
ans =
400 399
>> size(variances)
ans =
399 1
应该是 coefs:153600 x 153600
?和 scores:400 X 153600
?
当我使用下面的代码时,它给我一个内存不足的错误::
>> [V D] = eig(cov(train_data));
Out of memory. Type HELP MEMORY for your options.
Error in cov (line 96)
xy = (xc' * xc) / (m-1);
我不明白为什么 MATLAB 会返回维数较低的矩阵。它应该返回错误 pca: 153600*153600*8 bytes=188 GB
eigs 错误:
>> eigs(cov(train_data));
Out of memory. Type HELP MEMORY for your options.
Error in cov (line 96)
xy = (xc' * xc) / (m-1);
最佳答案
我认为您正在成为 XY problem 的牺牲品,因为试图在你的数据中找到 153.600 维是完全非物理的,所以请询问问题 (X) 而不是你提出的解决方案 (Y) 以获得有意义的答案。我将使用这篇文章来告诉您为什么 PCA 不适合这种情况。我无法告诉您什么可以解决您的问题,因为您还没有告诉我们那是什么。
这是一个数学上不合理的问题,我将在此处尝试解释。
正如 user3149915 所说,PCA 是一种减少维度的方法。这意味着在你的问题中的某个地方,你有一百五十三千六百个维度在周围 float 。好多啊。很多。解释所有它们存在的物理原因可能比试图解决数学问题更困难。
尝试将那么多维度拟合到仅 400 个观测值是行不通的,因为即使所有观测值都是特征空间中的线性独立向量,您仍然只能提取 399 个维度,因为其余维度根本无法找到,因为没有观察。您最多可以通过 N 个点来拟合 N-1 个唯一维度,其他维度有无限多的位置可能性。就像试图通过两点拟合一个平面:有一条线可以通过它们拟合,第三维将垂直于该线,但在旋转方向上未定义。因此,您有无数个可能的平面可以穿过这两点。
在前 400 个组件之后,就没有剩余的维度了。在那之后你正在适应一个空洞。您使用了所有数据来获取维度,无法创建更多维度。不可能的。您所能做的就是获得更多的观察结果,大约 1.5M,然后再次进行 PCA。
为什么您需要比维度更多的观测值?你可能会问。很简单,您不能通过一个点拟合一条唯一的线,也不能通过两个点拟合一个唯一的平面,也不能通过 400 个点拟合一个唯一的 153.600 维超平面。
那么,如果我得到 153.600 个观察值,我就确定了吗?很遗憾,没有。如果你有两个点并通过它拟合一条线,你将得到 100% 的拟合。没有错误,杰伊!今天结束了,我们回家看电视吧!可悲的是,你的老板会在第二天早上调用你,因为你的健康状况很糟糕。为什么?好吧,如果你有例如 20 个点分散在周围,那么拟合不会没有错误,但至少更接近于代表你的实际数据,因为前两个可能是异常值,请看这个非常说明性的数字,其中红色点将是您的前两个观察结果:
如果您要提取前 10.000 个组件,则将有 399 个精确拟合和 9601 个零维度。最好甚至不尝试计算超出第 399 个维度,并将其粘贴到具有 10.000 个条目的零数组中。
TL;DR 您不能使用 PCA,只要您不告诉我们您的问题是什么,我们就无法帮助您解决问题。
关于matlab - matlab中的PCA选择前n个组件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33140297/
是否有某种方法可以使用 JPA 或 Hibernate Crtiteria API 来表示这种 SQL?或者我应该将其作为 native 执行吗? SELECT A.X FROM (SELECT X,
在查询中, select id,name,feature,marks from (....) 我想删除其 id 在另一个 select 语句中存在的那些。 从 (...) 中选择 id 我是 sql
我想响应用户在 select 元素中选择一个项目。然而这个 jQuery: $('#platypusDropDown').select(function () { alert('You sel
这个问题在这里已经有了答案: SQL select only rows with max value on a column [duplicate] (27 个回答) 关闭8年前。 我正在学习 SQL
This question already has answers here: “Notice: Undefined variable”, “Notice: Undefined index”, and
我在 php 脚本中调用 SQL。有时“DE”中没有值,如果是这种情况我想从“EN”中获取值 应该是这样的,但不是这样的 IF (EXISTS (SELECT epf_application_deta
这可能是一个奇怪的问题,但不知道如何研究它。执行以下查询时: SELECT Foo.col1, Foo.col2, Foo.col3 FROM Foo INNER JOIN Bar ON
如何在使用 Camera.DestinationType.FILE_URI. 时在 phonegap camera API 中同时选择或拾取多个图像我能够一次只选择一张图像。我可以使用 this 在
这是一个纯粹的学术问题。这两个陈述实际上是否相同? IF EXISTS (SELECT TOP 1 1 FROM Table1) SELECT 1 ELSE SELECT 0 相对 IF EXIS
我使用 JSoup 来解析 HTML 响应。我有多个 Div 标签。我必须根据 ID 选择 Div 标签。 我的伪代码是这样的 Document divTag = Jsoup.connect(link
我正在处理一个具有多个选择框的表单。当用户从 selectbox1 中选择一个选项时,我需要 selectbox2 active 的另一个值。同样,当他选择 selectbox2 的另一个值时,我需要
Acme Inc. Christa Woods Charlotte Freeman Jeffrey Walton Ella Hubbard Se
我有一个login.html其中form定义如下: First Initial Plus Last Name : 我的do_authorize如下: "; pri
$.get( 'http://www.ufilme.ro/api/load/maron_online/470', function(data
我有一个下拉列表“磅”、“克”、“千克”和“盎司”。我想要这样一种情况,当我选择 gram 来执行一个函数时,当我在输入字段中输入一个值时,当我选择 pounds 时,我想要另一个函数来执行时我在输入
我有一个 GLSL 着色器,它从输入纹理的 channel 之一(例如 R)读取,然后写入输出纹理中的同一 channel 。该 channel 必须由用户选择。 我现在能想到的就是使用一个 int
我想根据下拉列表中的选定值生成输入文本框。 Options 2 3 4 5 就在这个选择框之后,一些输入字段应该按照选定的数字出现。 最佳答案 我建议您使用响应式(Reac
我是 SQL 新手,我想问一下如何根据首选项和分组选择条目。 +----------+----------+------+ | ENTRY_ID | ROUTE_ID | TYPE | +------
我有以下表结构: CREATE TABLE [dbo].[UTS_USERCLIENT_MAPPING_USER_LIST] ( [MAPPING_ID] [int] IDENTITY(1,1
我在移除不必要的床单时遇到了问题。我查看了不同的论坛并将不同的解决方案混合在一起。 此宏删除工作表(第一张工作表除外)。 Sub wrong() Dim sht As Object Applicati
我是一名优秀的程序员,十分优秀!