草庐IT

(笔记)Kappa系数 & 混淆矩阵

Think@ 2024-03-22 原文

遥感图像的分类解译结果往往需要一定的精度评价指标进行精度验证,只有进行精度验证,我们才能知道分类解译的结果是否准确可靠。

Kappa系数就经常被用于影像分类的空间一致性检验,是一种衡量分类精度的指标。

Section 1:Kappa系数的概念

Kappa系数是一个用于一致性检验的指标,也可以用于衡量分类的效果。

在分类问题中,一致性就是指模型的预测结果和实际分类结果是否一致。

Kappa系数的计算是基于混淆矩阵的,取值为-1到1之间,通常大于0。

基于混淆矩阵的Kappa系数计算公式如下:

其中:

P0实际上就是准确率(Accuracy)

 即所有类别分别对应的“实际数量与预测数量的乘积”之和,除以“样本总数的平方”。

Section 2:为什么要使用Kappa系数

在分类问题中,最常见的评价指标是准确率(Accuracy),准确率能直接反应分类正确的比例,同时准确率的计算非常简单。

但是在实际的分类问题数据集中,各个类别的样本数量往往不太平衡。

对于这种存在类别不平衡问题的数据集,如果不加以调整,模型很容易偏向大类别而放弃小类别。

例如:数据集中正负样本比例为1:9,即使模型直接全部预测为负,准确率(Accuracy)也有90%,但这样正样本就完全被抛弃了。

虽然此时整体的准确率(Accuracy)很高,但是部分类别完全不能被召回。

这时就需要一种能够惩罚模型的“偏向性”的指标来代替准确率(Accuracy)。

而根据Kappa系数的计算公式,越不平衡的混淆矩阵,pe越高,Kappa值就越低,正好可以给“偏向性”强的模型打低分。

Section 3:Kappa系数计算示例

混淆矩阵:

 

 

Section 4:Kappa系数的指标解释

Kappa系数的计算结果位于[-1,1],但通常Kappa系数是落在[0,1]之间。

Kappa系数的结果可以分为五组来表示不同级别的一致性:

  • 0.00到0.20:极低的一致性(Slight)
  • 0.21到0.40:一般的一致性(Fair)
  • 0.41到0.60:中等的一致性(Moderate)
  • 0.61到0.80:高度的一致性(Substantial)
  • 0.81到1.00:几乎完全一致(Almost Perfect)

Link:

https://zhuanlan.zhihu.com/p/67844308

Section 5:混淆矩阵

混淆矩阵(Confusion Matrix)又称误差矩阵(Error Matrix),是ROC曲线绘制的基础,同时它也是衡量分类模型准确度中最基本,最直观,计算最简单的方法。

混淆矩阵的简单解释就是:分别统计分类模型归错类,归对类的观测值个数,然后把结果放在一个表里展示出来,这个表就是混淆矩阵。

Link:

https://zhuanlan.zhihu.com/p/111274912

 

 

 

有关(笔记)Kappa系数 & 混淆矩阵的更多相关文章

  1. ruby-on-rails - rails : "missing partial" when calling 'render' in RSpec test - 2

    我正在尝试测试是否存在表单。我是Rails新手。我的new.html.erb_spec.rb文件的内容是:require'spec_helper'describe"messages/new.html.erb"doit"shouldrendertheform"dorender'/messages/new.html.erb'reponse.shouldhave_form_putting_to(@message)with_submit_buttonendendView本身,new.html.erb,有代码:当我运行rspec时,它失败了:1)messages/new.html.erbshou

  2. ruby-on-rails - 由于 "wkhtmltopdf",PDFKIT 显然无法正常工作 - 2

    我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中,我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-

  3. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗?当我运行compasswatch时,它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行?文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们?我自己编译的.sass文件编译成compiled/t

  4. ruby-on-rails - 如何从 format.xml 中删除 <hash></hash> - 2

    我有一个对象has_many应呈现为xml的子对象。这不是问题。我的问题是我创建了一个Hash包含此数据,就像解析器需要它一样。但是rails自动将整个文件包含在.........我需要摆脱type="array"和我该如何处理?我没有在文档中找到任何内容。 最佳答案 我遇到了同样的问题;这是我的XML:我在用这个:entries.to_xml将散列数据转换为XML,但这会将条目的数据包装到中所以我修改了:entries.to_xml(root:"Contacts")但这仍然将转换后的XML包装在“联系人”中,将我的XML代码修改为

  5. ruby - 检查 "command"的输出应该包含 NilClass 的意外崩溃 - 2

    为了将Cucumber用于命令行脚本,我按照提供的说明安装了arubagem。它在我的Gemfile中,我可以验证是否安装了正确的版本并且我已经包含了require'aruba/cucumber'在'features/env.rb'中为了确保它能正常工作,我写了以下场景:@announceScenario:Testingcucumber/arubaGivenablankslateThentheoutputfrom"ls-la"shouldcontain"drw"假设事情应该失败。它确实失败了,但失败的原因是错误的:@announceScenario:Testingcucumber/ar

  6. ruby-on-rails - Rails 3.2.1 中 ActionMailer 中的未定义方法 'default_content_type=' - 2

    我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他,以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时,出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer

  7. ruby-on-rails - 如何优雅地重启 thin + nginx? - 2

    我的瘦服务器配置了nginx,我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例,但找不到好的解决方案。有没有人能做到这一点? 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器,例如server{listen80;server

  8. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案? - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  9. ruby - 主要 :Object when running build from sublime 的未定义方法 `require_relative' - 2

    我已经从我的命令行中获得了一切,所以我可以运行rubymyfile并且它可以正常工作。但是当我尝试从sublime中运行它时,我得到了undefinedmethod`require_relative'formain:Object有人知道我的sublime设置中缺少什么吗?我正在使用OSX并安装了rvm。 最佳答案 或者,您可以只使用“require”,它应该可以正常工作。我认为“require_relative”仅适用于ruby​​1.9+ 关于ruby-主要:Objectwhenrun

  10. ruby - 无法让 RSpec 工作—— 'require' : cannot load such file - 2

    我花了三天的时间用头撞墙,试图弄清楚为什么简单的“rake”不能通过我的规范文件。如果您遇到这种情况:任何文件夹路径中都不要有空格!。严重地。事实上,从现在开始,您命名的任何内容都没有空格。这是我的控制台输出:(在/Users/*****/Desktop/LearningRuby/learn_ruby)$rake/Users/*******/Desktop/LearningRuby/learn_ruby/00_hello/hello_spec.rb:116:in`require':cannotloadsuchfile--hello(LoadError) 最佳

随机推荐