gpt4 book ai didi

python - 如何用置信区间解释数据点的上限/下限?

转载 作者:太空狗 更新时间:2023-10-29 21:36:16 28 4
gpt4 key购买 nike

给定一个值列表:

>>> from scipy import stats
>>> import numpy as np
>>> x = list(range(100))

使用学生 t 检验,我可以找到 alpha 为 0.1(即 90% 置信度)的均值分布的置信区间:
def confidence_interval(alist, v, itv):
return stats.t.interval(itv, df=len(alist)-1, loc=v, scale=stats.sem(alist))

x = list(range(100))
confidence_interval(x, np.mean(x), 0.1)

[出去]:
(49.134501289005009, 49.865498710994991)

但是如果我要在每个数据点找到置信区间,例如对于值 10 :
>>> confidence_interval(x, 10, 0.1)
(9.6345012890050086, 10.365498710994991)

应该如何解释值的间隔? 解释它在统计/数学上是否合理?

它是不是像这样:

At 90% confidence, we know that the data point 10 falls in the interval (9.6345012890050086, 10.365498710994991),



又名。

At 90% confidence, we can say that the data point falls at 10 +- 0.365...



那么我们可以将区间解释为某种数据点的箱线图吗?

最佳答案

简而言之

您的调用给出了未知参数正态定律的平均参数的置信区间,其中您观察了 100 个观察值,平均值为 10,标准差为 29。此外,解释它也不合理,因为您的分布显然不是正常,因为 10 不是观察到的平均值。

TL; 博士

围绕置信区间存在很多误解,其中大部分似乎源于对我们自信的误解。由于您对置信区间的理解存在一些混淆,因此更广泛的解释将使您对您正在处理的概念有更深入的理解,并希望绝对排除任何错误来源。

消除误解

非常简单地设置。我们处于这样一种情况,我们想要估计一个参数,或者更确切地说,我们想要测试一个参数值的假设,参数化随机变量的分布。例如:假设我有一个正态分布变量 X,其平均值为 m,标准差为 sigma,我想测试假设 m=0。

什么是参数检验

这是一个测试随机变量参数假设的过程。由于我们只能访问作为随机变量具体实现的观察值,因此通常通过计算 进行处理。统计这些实现。统计量大致是随机变量实现的函数。让我们称这个函数为 S,我们可以在 x_1,...,x_n 上计算 S,它们与 X 的实现一样多。

因此,您了解 S(X) 也是一个随机变量,具有分布、参数等!这个想法是,对于标准测试,S(X) 遵循一个众所周知的分布,其值被列出。例如:http://www.sjsu.edu/faculty/gerstman/StatPrimer/t-table.pdf

什么是置信区间?

鉴于我们刚才所说的,置信区间的定义将是:测试参数的值范围,这样如果观察是从由该范围内的值参数化的分布生成的,它不会有概率上不可能的。
换句话说,置信区间给出了这个问题的答案:给定以下观察值 x_1,...,x_n n 个 X 的实现,我们是否可以自信地说 X 的分布是由这样的值参数化的。 90%、95% 等……断言置信水平。通常,外部约束固定了这个水平(质量评估的工业规范,科学规范,例如:发现新粒子)。

我认为现在对您来说很直观:

  • 置信水平越高,置信区间越大。例如对于 100% 的置信度,一旦存在一些不确定性,置信区间将涵盖所有可能的值
  • 对于大多数测试,在我不会描述的条件下,我们拥有的观察越多,我们就越能抑制置信区间。

  • At 90% confidence, we know that the data point 10 falls in the interval (9.6345012890050086, 10.365498710994991)



    这样说是错误的,这是最常见的错误来源。 90% 置信区间 从不 意味着估计参数有 90% 的机会落入该区间。当计算区间时,它覆盖参数或不覆盖参数,这不再是概率问题。 90% 是对估计程序可靠性的评估 .

    什么是学生测试?

    现在让我们来看看你的例子,并根据我们刚才所说的来看看它。您将学生测试应用于您的观察列表。
    第一:学生测试旨在测试正态分布随机变量的均值 m 与 之间相等的假设。未知 标准偏差,以及某个值 m_0。

    与此检验相关的统计量是 t = (np.mean(x) - m_0)/(s/sqrt(n))其中 x 是您的观察向量,n 是观察次数,s 是 经验标准差。毫不奇怪,这遵循学生分布。

    因此,您想要做的是:
  • 为您的样本计算这个统计量,计算与具有这么多自由度的学生分布相关的置信区间,这个 理论均值和置信水平
  • 看看你计算的 t落入该区间,这会告诉您是否可以排除具有这种置信度的平等假设。

  • 我想给你一个练习,但我想我已经足够长了。

    总结 scipy.stats.t.interval 的使用.您可以使用以下两种方式之一。使用上面显示的公式计算自己的 t 统计量,并检查 t 是否符合 interval(alpha, df) 返回的区间其中 df 是采样的长度。或者您可以直接拨打 interval(alpha, df, loc=m, scale=s)其中 m 是您的经验平均值,s 是经验标准偏差(除以 sqrt(n))。在这种情况下,返回的区间将直接作为均值的置信区间。

    因此,在您的情况下,您的调用给出了未知参数正态定律的平均参数的置信区间,其中您观察了 100 个观察值,平均值为 10,stdv 为 29。此外,解释它也不合理,除了我已经指出的解释错误,因为您的分布显然不正常,并且因为 10 不是观察到的平均值。

    资源

    您可以查看以下资源以进一步了解。

    提供快速引用和详细概述的维基百科链接

    https://en.wikipedia.org/wiki/Confidence_interval

    https://en.wikipedia.org/wiki/Student%27s_t-test

    https://en.wikipedia.org/wiki/Student%27s_t-distribution

    走得更远

    http://osp.mans.edu.eg/tmahdy/papers_of_month/0706_statistical.pdf

    我没有读过,但下面的那个似乎很不错。
    https://web.williams.edu/Mathematics/sjmiller/public_html/BrownClasses/162/Handouts/StatsTests04.pdf

    你还应该查看 p 值,你会发现很多相似之处,希望你在阅读这篇文章后能更好地理解它们。

    https://en.wikipedia.org/wiki/P-value#Definition_and_interpretation

    关于python - 如何用置信区间解释数据点的上限/下限?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42799002/

    28 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com