data-mining - 分析嘈杂的数据-6ren

data-mining - 分析嘈杂的数据

转载作者：行者123 更新时间：2023-12-04 01:54:38

我最近发射了一个带有气压高度计的火箭，该高度计精确到大约 10 英尺(通过飞行期间获取的数据计算)。记录的数据以每个样本 0.05 秒的时间增量进行，高度与时间的关系图看起来与在整个飞行过程中缩小时的情况非常相似。

问题是当我尝试根据数据计算其他值(例如速度或加速度)时，测量的准确性使计算出的值几乎毫无值(value)。我可以使用哪些技术来平滑数据，以便我可以计算(或近似)速度和加速度的合理值？重要的是要及时保留重大事件，最显着的是第一次进入的 0 和飞行期间的最高点 (2707)。

高度数据如下并以高于地平面的英尺为单位进行测量。第一次是 0.00，每个样本是前一个样本之后的 0.05 秒。飞行开始时的尖峰是由于升空过程中发生的技术问题，移除尖峰是最佳选择。

我最初尝试使用线性插值，平均附近的数据点，但需要多次迭代才能平滑数据以进行积分，并且曲线的平坦化消除了重要的远地点和地面事件。

非常感谢所有帮助。请注意，这不是完整的数据集，我正在寻找有关分析数据的更好方法的建议，而不是有人用转换后的数据集回复。在 future 的火箭上使用一种算法会很好，它可以在不知道完整飞行数据的情况下预测当前的高度/速度/加速度，尽管这不是必需的。

最佳答案

这是我的解决方案，使用 Kalman filter .如果您想或多或少地平滑，您将需要调整参数(甚至是 +- 数量级)。

#!/usr/bin/env octave

% Kalman filter to smooth measures of altitude and estimate
% speed and acceleration. The continuous time model is more or less as follows:
% derivative of altitude := speed
% derivative of speed := acceleration
% acceleration is a Wiener process

%------------------------------------------------------------
% Discretization of the continuous-time linear system
% 
%   d  |x|   | 0 1 0 | |x|
%  --- |v| = | 0 0 1 | |v|   + "noise"
%   dt |a|   | 0 0 0 | |a|
%
%   y = [1 0 0] |x|     + "measurement noise"
%               |v|
%               |a|
%
st = 0.05;    % Sampling time
A = [1  st st^2/2;
     0  1  st    ;
     0  0  1];
C = [1 0 0];

%------------------------------------------------------------
% Fine-tune these parameters! (in particular qa and R)
% The acceleration follows a "random walk". The greater is the variance qa,
% the more "reactive" the system is expected to be, i.e.
% the more the acceleration is expected to vary
% The greater is R, the more noisy is your measurement instrument
% (less "accuracy" of the barometric altimeter);
% if you increase R, you will smooth the estimate more
qx = 1.0;                      % Variance of model noise for position
qv = 1.0;                      % Variance of model noise for speed
qa = 50.0;                     % Variance of model noise for acceleration
Q  = diag([qx, qv, qa]);
R  = 100.0;                    % Variance of measurement noise
                               % (10^2, if 10ft is the standard deviation)

load data.txt  % Put your measures in this file

est_position     = zeros(length(data), 1);
est_speed        = zeros(length(data), 1);
est_acceleration = zeros(length(data), 1);

%------------------------------------------------------------
% Kalman filter
xhat = [0;0;0];     % Initial estimate
P    = zeros(3,3);  % Initial error variance
for i=1:length(data),
   y = data(i);
   xpred = A*xhat;                                    % Prediction
   Ppred = A*P*A' + Q;                                % Prediction error variance
   Lambdainv = 1/(C*Ppred*C' + R);
   xhat  = xpred + Ppred*C'*Lambdainv*(y - C*xpred);  % Update estimation
   P = Ppred - Ppred*C'*Lambdainv*C*Ppred;            % Update estimation error variance
   est_position(i)     = xhat(1);
   est_speed(i)        = xhat(2);
   est_acceleration(i) = xhat(3);
end

%------------------------------------------------------------
% Plot
figure(1);
hold on;
plot(data, 'k');               % Black: real data
plot(est_position, 'b');       % Blue:  estimated position
plot(est_speed, 'g');          % Green: estimated speed
plot(est_acceleration, 'r');   % Red:   estimated acceleration
pause

关于data-mining - 分析嘈杂的数据，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/1956836/

文章推荐： coq - "Verbose"在 Coq 中自动

文章推荐： angularjs - Angular 引导(标签): data binding works only one-way

文章推荐： javascript - 从字符串名称到 id 的过滤对象数组

data-mining - "Sequential Pattern Mining"和 "Sequential Rule Mining"有什么区别
非常强大的开源数据挖掘工具 SPMF 的文档分别列出了它们: http://www.philippe-fournier-viger.com/spmf/index.php?link=algorithms
data-mining - 从数据挖掘开始
我已经开始学习数据挖掘，并希望用 C++/Java 创建一个小项目，它允许我利用数据库，比如来自 twitter 的数据库，然后发布一组特定的结果(例如，提要上的所有新闻项目)。我想知道怎么办？我应该
data-mining - 数据挖掘的最小支持和最小信心
我想知道在挖掘关联规则中是否可以自动确定最小支持度和最小置信度？如果是这样，任何指向资源的提示或指针都会很棒。最佳答案是的，有一些方法可以自动确定 minsup 和 minconf 阈值。但首先
data-mining - Weka上的主成分分析
我刚刚在训练集上计算了 PCA，Weka 以选择和计算它们的方式返回了新属性。现在，我想使用这些数据构建一个模型，然后在测试集上使用该模型。不知道有没有办法根据新的属性类型自动修改测试集？最佳答
data-mining - 一个括号中的项目在顺序模式挖掘中代表什么
我见过许多用于序列模式挖掘的数据库，它们在这些数据库中采用的序列就像一个括号中的一组项目如 (af), (abf), (bde) 代表什么？这是否意味着它们彼此相关或与其他事物相关我们根据什
data-mining - 推荐系统的数据集
我想创建自己的简单推荐系统，关于书籍。但是有一些问题 - 一个人不可能(至少，非常困难)为算法组织训练数据集。那么，是否有任何免费的数据集或测验，其中包含有关人们投票的信息、哪些书籍以及他们喜欢多少
data-mining - 谷歌数据挖掘工具
我最近读到了一个来自 Google 的新的 Google 代码托管(开源)项目，该项目允许您对各种输入文件执行数据挖掘和分析。甚至还有一段视频显示用户导入 Excel 文件并在各种条件下进行过滤。但是
data-mining - 数据挖掘情况
假设我有下面提到的数据。 11AM user1 刷 11:05AM user1 Prep Brakfast 11:10AM user1 吃早餐 11:15AM user1 洗澡上午 11:30 us
data-mining - DBSCAN中的参数估计
我需要根据它们具有不同介词的分布找到自然出现的名词类别(例如实体，工具，时间，地点等)。我尝试使用k-means聚类，但效果不佳，效果不佳，在我要查找的类上有很多重叠(可能是由于类的非球形形状和k-m
data-mining - Apriori算法反单调与单调
根据维基百科，monotonic function是一个正在增加或减少的函数。如果函数在增加和减少，则它不是单调函数或反单调函数。但是数据挖掘书“数据挖掘:概念和技术”将反单调属性描述为:如果一个集
text-mining - 如何进行邮政地址模糊匹配？
我想知道当格式不同或其中一个拼写错误时如何匹配邮政地址。到目前为止，我已经找到了不同的解决方案，但我认为它们已经过时且效率不高。我确信存在一些更好的方法，所以如果你有引用资料供我阅读，我相信这个主题
data-mining - 先验方法
在weka中，我的主要目标是在0.004支持度阈值下找到所有可能的频繁项集。但是，在weka中，我还没有看到任何写支持阈值的专栏。它需要一些参数，如 -n -t -c -d 。要使用支持阈值运行 ap
data-mining - 为什么只有支持向量机中的超平面？
我最近才了解支持向量机。据我了解，超平面用于将数据(提升到更高维度)分成两个相互排斥的部分(分区)。我的问题是为什么它应该是超平面而不是具有曲率的曲面？这不会提供更适合的分离“表面”吗？最佳答案非
data-mining - 医疗机器学习数据集
我正在研究医疗数据集，其中包括有关疾病和治疗类型的变量。例如疾病是结肠癌，它的决策变量 (x,y,z,t) 和治疗类型是化疗、放射治疗等。我想为我的 KDD 和探索性类(class)获取这样的数据
data-mining - 如何检测和删除rapidminer中的噪音？
我是 Rapid miner 5 的新手，只想知道如何在我的数据中找到噪音并在图表中显示它们以及如何删除它们？最佳答案一个复杂的问题，因为它取决于您所说的噪音是什么意思。如果您的意思是查找值明显
data-mining - 关联规则挖掘和频繁项集挖掘有什么区别
我是数据挖掘的新手，并且对关联规则和频繁项挖掘感到困惑。对我来说，我认为两者都是一样的，但我需要这个论坛专家的意见我的问题是关联规则挖掘和频繁项集挖掘有什么区别？谢谢最佳答案关联规则类似于“
data-mining - 分析嘈杂的数据
我最近发射了一个带有气压高度计的火箭，该高度计精确到大约 10 英尺(通过飞行期间获取的数据计算)。记录的数据以每个样本 0.05 秒的时间增量进行，高度与时间的关系图看起来与在整个飞行过程中缩小时的
data-mining - 数据挖掘中的异常值检测
关闭。这个问题是off-topic .它目前不接受答案。想改善这个问题吗？ Update the question所以它是 on-topic对于堆栈溢出。 8年前关闭。 Improve this q
data-mining - sharkscope或PTR数据究竟如何挖掘所有这些手？
我很好奇这个过程是如何工作的。这些站点（http://www.sharkscope.com和http://www.pokertableratings.com）每天从安全的扑克网络（如PokerStar
data-mining - 类似Netflix的比赛
关闭。这个问题不满足Stack Overflow guidelines .它目前不接受答案。想改善这个问题吗？更新问题，使其成为 on-topic对于堆栈溢出。 6年前关闭。 Improve thi

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

data-mining - 分析嘈杂的数据