草庐IT

python - 如何用置信区间解释数据点的上限/下限?

coder 2023-08-23 原文

给定一个值列表:

>>> from scipy import stats
>>> import numpy as np
>>> x = list(range(100))

使用学生 t 检验,我可以找到 alpha 为 0.1(即 90% 置信度)的均值分布的置信区间:
def confidence_interval(alist, v, itv):
    return stats.t.interval(itv, df=len(alist)-1, loc=v, scale=stats.sem(alist))

x = list(range(100))
confidence_interval(x, np.mean(x), 0.1)

[出去]:
(49.134501289005009, 49.865498710994991)

但是如果我要在每个数据点找到置信区间,例如对于值 10 :
>>> confidence_interval(x, 10, 0.1)
(9.6345012890050086, 10.365498710994991)

应该如何解释值的间隔? 解释它在统计/数学上是否合理?

它是不是像这样:

At 90% confidence, we know that the data point 10 falls in the interval (9.6345012890050086, 10.365498710994991),



又名。

At 90% confidence, we can say that the data point falls at 10 +- 0.365...



那么我们可以将区间解释为某种数据点的箱线图吗?

最佳答案

简而言之

您的调用给出了未知参数正态定律的平均参数的置信区间,其中您观察了 100 个观察值,平均值为 10,标准差为 29。此外,解释它也不合理,因为您的分布显然不是正常,因为 10 不是观察到的平均值。

TL; 博士

围绕置信区间存在很多误解,其中大部分似乎源于对我们自信的误解。由于您对置信区间的理解存在一些混淆,因此更广泛的解释将使您对您正在处理的概念有更深入的理解,并希望绝对排除任何错误来源。

消除误解

非常简单地设置。我们处于这样一种情况,我们想要估计一个参数,或者更确切地说,我们想要测试一个参数值的假设,参数化随机变量的分布。例如:假设我有一个正态分布变量 X,其平均值为 m,标准差为 sigma,我想测试假设 m=0。

什么是参数检验

这是一个测试随机变量参数假设的过程。由于我们只能访问作为随机变量具体实现的观察值,因此通常通过计算 进行处理。统计这些实现。统计量大致是随机变量实现的函数。让我们称这个函数为 S,我们可以在 x_1,...,x_n 上计算 S,它们与 X 的实现一样多。

因此,您了解 S(X) 也是一个随机变量,具有分布、参数等!这个想法是,对于标准测试,S(X) 遵循一个众所周知的分布,其值被列出。例如:http://www.sjsu.edu/faculty/gerstman/StatPrimer/t-table.pdf

什么是置信区间?

鉴于我们刚才所说的,置信区间的定义将是:测试参数的值范围,这样如果观察是从由该范围内的值参数化的分布生成的,它不会有概率上不可能的。
换句话说,置信区间给出了这个问题的答案:给定以下观察值 x_1,...,x_n n 个 X 的实现,我们是否可以自信地说 X 的分布是由这样的值参数化的。 90%、95% 等……断言置信水平。通常,外部约束固定了这个水平(质量评估的工业规范,科学规范,例如:发现新粒子)。

我认为现在对您来说很直观:

  • 置信水平越高,置信区间越大。例如对于 100% 的置信度,一旦存在一些不确定性,置信区间将涵盖所有可能的值
  • 对于大多数测试,在我不会描述的条件下,我们拥有的观察越多,我们就越能抑制置信区间。

  • At 90% confidence, we know that the data point 10 falls in the interval (9.6345012890050086, 10.365498710994991)



    这样说是错误的,这是最常见的错误来源。 90% 置信区间 从不 意味着估计参数有 90% 的机会落入该区间。当计算区间时,它覆盖参数或不覆盖参数,这不再是概率问题。 90% 是对估计程序可靠性的评估 .

    什么是学生测试?

    现在让我们来看看你的例子,并根据我们刚才所说的来看看它。您将学生测试应用于您的观察列表。
    第一:学生测试旨在测试正态分布随机变量的均值 m 与 之间相等的假设。未知 标准偏差,以及某个值 m_0。

    与此检验相关的统计量是 t = (np.mean(x) - m_0)/(s/sqrt(n))其中 x 是您的观察向量,n 是观察次数,s 是 经验标准差。毫不奇怪,这遵循学生分布。

    因此,您想要做的是:
  • 为您的样本计算这个统计量,计算与具有这么多自由度的学生分布相关的置信区间,这个 理论均值和置信水平
  • 看看你计算的 t落入该区间,这会告诉您是否可以排除具有这种置信度的平等假设。

  • 我想给你一个练习,但我想我已经足够长了。

    总结 scipy.stats.t.interval 的使用.您可以使用以下两种方式之一。使用上面显示的公式计算自己的 t 统计量,并检查 t 是否符合 interval(alpha, df) 返回的区间其中 df 是采样的长度。或者您可以直接拨打interval(alpha, df, loc=m, scale=s)其中 m 是您的经验平均值,s 是经验标准偏差(除以 sqrt(n))。在这种情况下,返回的区间将直接作为均值的置信区间。

    因此,在您的情况下,您的调用给出了未知参数正态定律的平均参数的置信区间,其中您观察了 100 个观察值,平均值为 10,stdv 为 29。此外,解释它也不合理,除了我已经指出的解释错误,因为您的分布显然不正常,并且因为 10 不是观察到的平均值。

    资源

    您可以查看以下资源以进一步了解。

    提供快速引用和详细概述的维基百科链接

    https://en.wikipedia.org/wiki/Confidence_interval

    https://en.wikipedia.org/wiki/Student%27s_t-test

    https://en.wikipedia.org/wiki/Student%27s_t-distribution

    走得更远

    http://osp.mans.edu.eg/tmahdy/papers_of_month/0706_statistical.pdf

    我没有读过,但下面的那个似乎很不错。
    https://web.williams.edu/Mathematics/sjmiller/public_html/BrownClasses/162/Handouts/StatsTests04.pdf

    你还应该查看 p 值,你会发现很多相似之处,希望你在阅读这篇文章后能更好地理解它们。

    https://en.wikipedia.org/wiki/P-value#Definition_and_interpretation

    关于python - 如何用置信区间解释数据点的上限/下限?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42799002/

    有关python - 如何用置信区间解释数据点的上限/下限?的更多相关文章

    1. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声? - 2

      关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。

    2. ruby - 解析 RDFa、微数据等的最佳方式是什么,使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

      我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

    3. ruby - 有人可以帮助解释类创建的 post_initialize 回调吗 (Sandi Metz) - 2

      我正在阅读SandiMetz的POODR,并且遇到了一个我不太了解的编码原则。这是代码:classBicycleattr_reader:size,:chain,:tire_sizedefinitialize(args={})@size=args[:size]||1@chain=args[:chain]||2@tire_size=args[:tire_size]||3post_initialize(args)endendclassMountainBike此代码将为其各自的属性输出1,2,3,4,5。我不明白的是查找方法。当一辆山地自行车被实例化时,因为它没有自己的initialize方法

    4. ruby - Ruby 有 `Pair` 数据类型吗? - 2

      有时我需要处理键/值数据。我不喜欢使用数组,因为它们在大小上没有限制(很容易不小心添加超过2个项目,而且您最终需要稍后验证大小)。此外,0和1的索引变成了魔数(MagicNumber),并且在传达含义方面做得很差(“当我说0时,我的意思是head...”)。散列也不合适,因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题,但我很想知道:Ruby标准库是否已经带有这样一个类? 最佳

    5. Python 相当于 Perl/Ruby ||= - 2

      这个问题在这里已经有了答案:关闭10年前。PossibleDuplicate:Pythonconditionalassignmentoperator对于这样一个简单的问题表示歉意,但是谷歌搜索||=并不是很有帮助;)Python中是否有与Ruby和Perl中的||=语句等效的语句?例如:foo="hey"foo||="what"#assignfooifit'sundefined#fooisstill"hey"bar||="yeah"#baris"yeah"另外,类似这样的东西的通用术语是什么?条件分配是我的第一个猜测,但Wikipediapage跟我想的不太一样。

    6. java - 什么相当于 ruby​​ 的 rack 或 python 的 Java wsgi? - 2

      什么是ruby​​的rack或python的Java的wsgi?还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht

    7. ruby - 我如何添加二进制数据来遏制 POST - 2

      我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_

    8. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

      无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD

    9. 华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2

      华为OD机试题本篇题目:明明的随机数题目输入描述输出描述:示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od,od薪资待遇,od机试题清单华为OD机试真题大全,用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o

    10. FOHEART H1数据手套驱动Optitrack光学动捕双手运动(Unity3D) - 2

      本教程将在Unity3D中混合Optitrack与数据手套的数据流,在人体运动的基础上,添加双手手指部分的运动。双手手背的角度仍由Optitrack提供,数据手套提供双手手指的角度。 01  客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照:https://gitee.com/foheart_1/foheart-h1-data-summary.git02  数据转发打开MotiveBody软件的Streaming,开始向Unity3D广播数据;MotionVenus中设置->选项选择Unit

    随机推荐