TP（true positive）：表示样本的真实类别为正，最后预测得到的结果也为正；
FP（false positive）：表示样本的真实类别为负，最后预测得到的结果却为正；
FN（false negative）：表示样本的真实类别为正，最后预测得到的结果却为负；
TN（true negative）：表示样本的真实类别为负，最后预测得到的结果也为负.
准确率表示预测正确的样本数占总样本数的比例。
auc不像acc有准确的中文名称准确率，它是area under the curve首字母的缩写
从auc的全称里面可以得知它是曲线下的面积，，那么在计算auc之前，我们首先需要画一条曲线
ROC曲线受试者工作特征曲线 (receiver operating characteristic curve,简称ROC曲线),又称为感受性曲线(sensitivity curve)，我觉得在这里第二个名称更符合这里要做的事情（名称在这里并不重要）
FPR表示在所有真实negative中， 有多少是预测错误的
TPR表示在所有真实positive中，有多少是预测正确的
那么明显我们希望TPR越高越好，FPR越小越好
最好情况就是（0，1）这个点，最差是（1，0）这个点
那么出现一个问题，在预测时TP,FP,TN,FN都是确定的值，即FTP和TPR计算出来都是定值，在图中只会形成一个点，那么怎么会出现ROC曲线呢？
我们知道，在二分类（0，1）的模型中，一般我们最后的输出是一个概率值，表示结果是1的概率。那么我们最后怎么决定输入的x是属于0或1呢？我们需要一个阈值，超过这个阈值则归类为1，低于这个阈值就归类为0。所以，不同的阈值会导致分类的结果不同，也就是混淆矩阵（TP,FP,TN,FN）不一样了，FPR和TPR也就不一样了。所以当阈值从0开始慢慢移动到1的过程，就会形成很多对(FPR, TPR)的值，将它们画在坐标系上，就是所谓的ROC曲线了。
从上面这段话也可以感觉到感受性曲线这个名称可能更贴切我们做的工作
ROC曲线出来之后，就可以计算曲线下面积AUC了，AUC的取值范围 [0.5,1)
ROC曲线必经过（0，0）和（1，1）两个点
（0，0）表示全部预测为正例（positive）
（1，1）表示全部预测称负例（negative）
我们希望曲线向左上角靠近，所以AUC越大越好。。而AUC的最小值为0.5，表示分类器完全无效，同随机猜测正反面一样。
没有关系，是两个评价指标
AUC有些很好的特性：如不用设定阈值、对测试集的正负样本数量比例不敏感、还有可以根据随机分类的AUC值为0.5易作为参考比较
其他的不再在这里进行讨论，这里讨论的是AUC对测试集的正负样本数量比例不敏感（数据不平衡的情况）
其中一个原因是acc需要设置阈值，而auc不需要设置阈值
计算loss有很多函数，如果选用不同的loss函数，那么结果也就不同
但如果选择同一个loss函数，是否可以横向比较模型的优劣
可以
下面是我看的一部分代码，在最后一行中loss是计算所以数据loss的和，所以只要是一样的数据集，就可以作为横向评价标准
for e in range(epoch):
losses = []
for batch in tqdm.tqdm(train_data, "Epoch %s" % e):
integrated_pred = self.dkt_model(batch)
batch_size = batch.shape[0]
loss = torch.Tensor([0.0])
for student in range(batch_size):
pred, truth = process_raw_pred(batch[student], integrated_pred[student], self.num_questions)
if pred.shape[0] != 0:
loss += loss_function(pred, truth.float())
acc一般不会根据代码中不同的设定，值发生变化，但要注意阈值的设定（但我不确定阈值如果设定的不一样，是否可以进行模型横向比较）
auc不用担心以上的问题，没有什么设定，计算公式也是一定的
参考：1、模型评估指标 AUC 和 ROC，这是我看到的最透彻的讲解 深入理解AUC——从概率意义的角度
我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时
如何使用RSpec::Core::RakeTask初始化RSpecRake任务？require'rspec/core/rake_task'RSpec::Core::RakeTask.newdo|t|#whatdoIputinhere?endInitialize函数记录在http://rubydoc.info/github/rspec/rspec-core/RSpec/Core/RakeTask#initialize-instance_method没有很好的记录；它只是说:-(RakeTask)initialize(*args,&task_block)AnewinstanceofRake
我写了一个非常简单的rake任务来尝试找到这个问题的根源。namespace:foodotaskbar::environmentdoputs'RUNNING'endend当在控制台中执行rakefoo:bar时，输出为:RUNNINGRUNNING当我执行任何rake任务时会发生这种情况。有没有人遇到过这样的事情？编辑上面的rake任务就是写在那个.rake文件中的所有内容。这是当前正在使用的Rakefile。requireFile.expand_path('../config/application',__FILE__)OurApp::Application.load_tasks这里
我以前没有使用过cron，所以我不能确定我这样做是对的。我想要自动化的任务似乎没有运行。我在终端中执行了这些步骤:sudogeminstall每当切换到应用程序目录无论何时。(这创建了文件schedule.rb)我将此代码添加到schedule.rb:every10.minutesdorunner"User.vote",environment=>"development"endevery:hourdorunner"Digest.rss",:environment=>"development"end我将此代码添加到deploy.rb:after"deploy:symlink","depl
如何在Rake任务中运行Capybara功能？例如:访问('http://google.com')谢谢! 最佳答案 在任务中尝试这样的事情:require'capybara'require'capybara/dsl'Capybara.current_driver=:seleniumBrowser=Class.new{includeCapybara::DSL}page=Browser.new.pagepage.visit("http://www.google.com")puts(page.html)
我正在根据Rakefile中的现有测试文件动态生成测试任务。假设您有各种以模式命名的单元测试文件test_.rb.所以我正在做的是创建一个以“测试”命名空间内的文件名命名的任务。使用下面的代码，我可以用raketest:调用所有测试require'rake/testtask'task:default=>'test:all'namespace:testdodesc"Runalltests"Rake::TestTask.new(:all)do|t|t.test_files=FileList['test_*.rb']endFileList['test_*.rb'].eachdo|task|n
根据thispostbyStephenHagemann，我正在尝试为我的一个rake任务编写Rspec测试.lib/tasks/retry.rake:namespace:retrydotask:message,[:message_id]=>[:environment]do|t,args|TextMessage.new.resend!(args[:message_id])endendspec/tasks/retry_spec.rb:require'rails_helper'require'rake'describe'retrynamespaceraketask'dodescribe're
我正在使用jeweler为Rails3创建一个gem。该gem包含一个rake任务，它所做的其中一件事是删除数据库，所以我正在使用“database_cleaner”。我在gem的Gemfile中指定gem依赖项gem'database_cleaner'在Rakefile中Jeweler::Tasks.newdo|gem|...gem.add_dependency'database_cleaner'end然后在lib中我创建了文件my_gem.rb和tasks.rake。如下，my_gem.rb:moduleMyGemclassRailtie和tasks.rake:task:my_ta
我可以像这样调用一个Rake任务并设置一个环境变量:$ONE=1raketemp:both但是如何设置两个环境变量呢？这行不通:$ONE=1TWO=2raketemp:both这行得通，但读起来很困惑:$ONE=1raketemp:bothTWO=2如何在调用rake之前传递多个环境？ 最佳答案 同意@Ernest；它应该工作。这是一个示例...示例rake任务以回显变量:task:echo_envdoputs"VAR1:#{ENV['VAR1']}"puts"VAR2:#{ENV['VAR2']}"end执行任务:VAR1=fir
我想每10分钟执行一次cron作业，但我的系统只执行1小时。所以我正在寻找一种方法来做到这一点。我看过Timer和sleep但我不确定如何执行此操作，甚至不知道如何实现此操作。 最佳答案 看看http://rufus.rubyforge.org/rufus-scheduler/rufus-scheduler是一个用于调度代码片段(作业)的Rubygem。它了解在特定时间、在特定时间、每x次或仅通过CRON语句运行作业。rufus-scheduler不能替代cron/at，因为它在Ruby内部运行。