- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我正在寻找一种快速有效的方法来计算一组数据的稳健的移动尺度估计。我正在处理通常包含 3-400k 元素的一维数组。直到最近,我一直在处理模拟数据(没有灾难性异常值),出色的 Bottleneck 包中的 move_std 函数对我很有帮助。但是,当我过渡到嘈杂数据时,std 不再表现得足够好以至于无法使用。
在过去,我使用一个非常简单的双权重中间方差代码逐个元素来处理表现不佳的分布问题:
def bwmv(data_array):
cent = np.median(data_array)
MAD = np.median(np.abs(data_array-cent))
u = (data_array-cent) / 9. / MAD
uu = u*u
I = np.asarray((uu <= 1.), dtype=int)
return np.sqrt(len(data_array) * np.sum((data_array-cent)**2 * (1.-uu)**4 * I)\
/(np.sum((1.-uu) * (1.-5*uu) * I)**2))
然而,我现在使用的数组足够大,速度太慢了。有谁知道提供此类估算器的软件包,或者对如何以快速有效的方式处理此问题有任何建议?
最佳答案
我在类似情况下使用了一个简单的低通滤波器。
从概念上讲,您可以使用 fac = 0.99; 获得均值的移动估计值; filtered[k] = fac*filtered[k-1] + (1-fac)*data[k]
,实现起来非常高效(在 C 中)。一个比这个稍微更花哨的 IIR 滤波器,巴特沃斯低通,很容易在 scipy 中设置:
b, a = scipy.signal.butter(2, 0.1)
filtered = scipy.signal.lfilter(b, a, data)
要获得“规模”的估计值,您可以从数据中减去这个“平均估计值”。这实际上将低通滤波器变成了高通滤波器。获取它的 abs() 并通过另一个低通滤波器运行它。
结果可能是这样的:
完整脚本:
from pylab import *
from scipy.signal import lfilter, butter
data = randn(1000)
data[300:] += 1.0
data[600:] *= 3.0
b, a = butter(2, 0.03)
mean_estimate = lfilter(b, a, data)
scale_estimate = lfilter(b, a, abs(data-mean_estimate))
plot(data, '.')
plot(mean_estimate)
plot(mean_estimate + scale_estimate, color='k')
plot(mean_estimate - scale_estimate, color='k')
show()
显然,需要根据您的问题调整 butter() 参数。如果您将顺序设置为 1 而不是 2,您将获得我首先描述的简单过滤器。
免责声明:这是工程师对问题的看法。这种方法在任何统计或数学方面可能都不可靠。另外,我不确定它是否真的解决了你的问题(如果没有,请更好地解释),但别担心,无论哪种方式,我都玩得很开心 ;-)
关于python - python数组的高效移动、稳健尺度估计,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16000637/
我的代码中有一个 ggplot2 绘图函数。当文件作为 R 代码来源时,该函数工作正常,但是当我将此函数包含在 R 包中时(当然,我在包的描述和命名空间文件中包含 ggplot2 和比例),我得到以下
VINS中的重力-尺度-速度初始化(2) 细化重力 \(\quad\) 上一篇文章中得到的 \(g\) 一般是存在误差的。因为在实际应用中,当地的重力向量的模一般是已知固定大小的(所以只有
我正在使用 perl 脚本解析一些天气数据,然后使用 gnuplot 在 3 行 2 列显示中绘制这些数据。除了最后一张图“累积降雨量”之外,我的所有图表似乎都可以正常工作。该图实际上绘制正确,但 y
我有两组数据,我想用条形图绘制。但问题是这两组数据的规模截然不同。如果我只使用 bar(A),它看起来像这样:分组但第二个数据集几乎不可见,因为比例。 但是,如果我使用 plotyy(x,y1,x,y
考虑以下用于绘制 matplotlib 图的 python 代码: import matplotlib.pylab as pp import numpy as np alpha = np.linspa
在调查 ConflictError ( see this previous question ) 时,我看到了很多 persistent.mapping.PersistentMapping 冲突。 具
我正在阅读一些代码,其中我注意到使用pyplot.xaxis('log')和pyplot.yaxis('log')时发生了很大的变化。所以基本的散点图如下所示: 添加后: plt.xscale('lo
当覆盖具有相同长度但不同尺度数据的 ggplot 密度图时,是否可以对图的 x 尺度进行归一化以使密度匹配?或者有没有办法标准化密度 y 尺度? library(ggplot2) data <- da
如何在 pyqtgraph 中生成具有两个 Y 尺度的图? 我还需要两个不同颜色的(对应于线条的颜色)。 在 matplotlib 中,可以使用 twinx 来完成,如this example . 如
我有一个看起来像这样的表 我将突出显示的部分作为矩阵,我想对其执行 imshow。我想让绘图的 x 尺度为对数,通过查看最上面一行的参数值可以理解这一点。 matplotlib 是怎么做到的? 最佳答
我正在使用 nvd3 绘制一些系列,并想在绘图中添加一些任意矩形。我如何访问 d3 图的底层 x 和 y 比例,以便我可以将我的矩形坐标转换为 svg 像素坐标,以便与现有数据具有相同的比例: fun
我是一名优秀的程序员,十分优秀!