草庐IT

生统笔记3-常用的离群之检测方法及R语言代码实现

江湾青年 2023-03-28 原文

定量方法

Kurtosis measure（峰度）

  • 统计学中，峰度（Kurtosis）衡量的是随机变量概率分布的峰态。峰度越大,说明该数据系列中的极端值越多。
峰度的计算公式

  • 缺点：这个指标会根据样本量的大小而变化，一般样本量越大峰度也就越大，不同样本量大小的峰度是不可比的。

  • 代码

kurtosis <- function(x){
  scale_x <- scale(x)
  sum(scale_x**4)/length(scale_x)
}

统计检验

  • Grubbs' Test: 这是测试单个异常值时推荐的检验。
  • Tietjen-Moore Test: 这是 Grubbs 检验对多个异常值情况的推广。它的限制是必须准确指定异常值的数量。
  • Generalized Extreme Studentized Deviate (ESD) Test : 此检验仅需要可疑异常值数量的上限，并且是在不知道异常值的确切数量时推荐的测试。

Grubbs' Test

  • 需要使得数据服从正态分布
  • H0 (null hypothesis): There is no outlier in the data.
    HA (alternative hypothesis): There is an outlier in the data.
  • 代码
library(outliers)
grubbs.test(x, type = 10, opposite = FALSE, two.sided = FALSE)

基于近邻度的模型

  • 基于近邻度的模型（proximity-based models），其核心观念是：基于相似度和距离函数，离群点是那些与其他节点孤立的数据点。近邻模式是离群值分析这一领域中最流行的一类方法。其中包括聚类方法（clustering）、基于密度的方法（density-baed）和最近邻方法（nearest-neighbor）。
  • 在最近邻方法中，计算每个数据点到其k个最近邻的距离，并将其视为离群得分。
  • 选定k (k>1)，在该方法中，会将那些与大部队相去甚远的小节点群体视为离群点。这是情有可原的，因为在数据生成过程中，如若发生了异常，也可能会产生一系列比较少的相关节点，它们虽然相互之间离的很近，但也应视作异常点。

Local Outlier Factor （LOF, 局部离群因子）

  • LOF算法的基本思想是，根据数据点周围的数据密集情况，首先计算每个数据点的一个局部可达密度，然后通过局部可达密度进一步计算得到每个数据点的一个离群因子，该离群因子即标识了一个数据点的离群程度。LOF值越大，表示离群程度越高，LOF值越小，表示离群程度越低。

  • 代码

wget http://www2.uaem.mx/r-mirror/src/contrib/DMwR_0.3.1.tar.gz
devtools::install_local('./software/DMwR_0.3.1.tar.gz')
DMwR::lofactor(data, k)      # k为根据几个最近邻居计算
  • 缺点：只能根据LOF的大小筛选前n个离群点，不好定cutoff

定性方法

3 sigma原则

如果任何数据点超过标准偏差的3倍，那么这些点很可能是异常值。

3 sigma原则

四分位间距（IQR）

四分位间距（IQR）是我们常画的boxplot中用于定义异常值，低于（Q1 - 1.5 * IQR）或高于（Q3+1.5 * IQR）的观测值定义为异常值。


IQR

参考

https://blog.csdn.net/weixin_36274103/article/details/112717897
https://zhuanlan.zhihu.com/p/385238291
https://www.itl.nist.gov/div898/handbook/eda/section3/eda35h.htm

离群笔记sectionli

有关生统笔记3-常用的离群之检测方法及R语言代码实现的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  4. ruby - Facter::Util::Uptime:Module 的未定义方法 get_uptime (NoMethodError) - 2

    我正在尝试设置一个puppet节点，但ruby​​gems似乎不正常。如果我通过它自己的二进制文件(/usr/lib/ruby/gems/1.8/gems/facter-1.5.8/bin/facter)在cli上运行facter，它工作正常，但如果我通过由ruby​​gems(/usr/bin/facter)安装的二进制文件，它抛出:/usr/lib/ruby/1.8/facter/uptime.rb:11:undefinedmethod`get_uptime'forFacter::Util::Uptime:Module(NoMethodError)from/usr/lib/ruby

  5. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

    大约一年前，我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞，我可以在一个地方轻松完成，而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

  6. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  7. Ruby 方法() 方法 - 2

    我想了解Ruby方法methods()是如何工作的。我尝试使用“ruby方法”在Google上搜索，但这不是我需要的。我也看过ruby​​-doc.org，但我没有找到这种方法。你能详细解释一下它是如何工作的或者给我一个链接吗？更新我用methods()方法做了实验，得到了这样的结果:'labrat'代码classFirstdeffirst_instance_mymethodenddefself.first_class_mymethodendendclassSecond使用类#returnsavailablemethodslistforclassandancestorsputsSeco

  8. ruby - 如何在 buildr 项目中使用 Ruby 代码？ - 2

    如何在buildr项目中使用Ruby？我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序，我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/)，但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻，因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby​​

  9. ruby-on-rails - Rails 源代码 : initialize hash in a weird way? - 2

    在rails源中:https://github.com/rails/rails/blob/master/activesupport/lib/active_support/lazy_load_hooks.rb可以看到以下内容@load_hooks=Hash.new{|h,k|h[k]=[]}在IRB中，它只是初始化一个空哈希。和做有什么区别@load_hooks=Hash.new 最佳答案 查看rubydocumentationforHashnew→new_hashclicktotogglesourcenew(obj)→new_has

  10. ruby-on-rails - Rails 3.2.1 中 ActionMailer 中的未定义方法 'default_content_type=' - 2

    我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他，以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时，出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer

随机推荐