草庐IT

perl - redis HLL 误报太多

coder 2023-07-18 原文

Hyperlog日志是一种概率算法 根据 redis HLL 文档，我们可以得到 0.81% 的错误，但我得到 17-20% 的错误

我认为有问题.. 这是我的简单 perl 测试脚本。有没有错误

#!/usr/bin/perl -w                                                                                                                                                       
use Redis;
my $redis = Redis->new(server=>'192.168.50.166:6379') or die;
my $fp=0;
my $HLL="HLL";

$redis->del($HLL);
foreach my $i (1..10000) {
  my $s1 = $redis->pfadd($HLL,$i);
  if($s1 == 0){ 
    print "False positive on $i\n";
    $fp++;
  }
}
print "count of false positives $fp\n";

最佳答案

HyperLogLog 用于计算唯一项目。它可以用很少的内存来计算大量的项目。但是，返回的基数并不精确，而是近似于标准错误。

0.81% 是标准错误，而不是误报。对于您的实例，您可以调用 PFCOUNT HLL 来获取您放入 HyperLogLog 中的唯一项目的近似数量。返回的数字应在 [10000 * (1 - 0.81%), 10000 * (1 + 0.81%)] 范围内。

PFADD 如果估计的基数在执行命令后发生更改，则返回 1。否则返回 0。它与 false positive 无关。

看来你需要的是一个Bloom Filter ，它可以告诉您某个项目是否已存在于数据集中，但存在误报。当然，您可以使用 Redis 实现 Bloom Filter。并且应该有一些开源项目。

关于perl - redis HLL 误报太多，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/42924393/

redisperlcodesectionhyperloglog

有关perl - redis HLL 误报太多的更多相关文章

  1. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  2. Python 相当于 Perl/Ruby ||= - 2

    这个问题在这里已经有了答案:关闭10年前。PossibleDuplicate:Pythonconditionalassignmentoperator对于这样一个简单的问题表示歉意，但是谷歌搜索||=并不是很有帮助；)Python中是否有与Ruby和Perl中的||=语句等效的语句？例如:foo="hey"foo||="what"#assignfooifit'sundefined#fooisstill"hey"bar||="yeah"#baris"yeah"另外，类似这样的东西的通用术语是什么？条件分配是我的第一个猜测，但Wikipediapage跟我想的不太一样。

  3. ruby - Ruby 是否有类似于 Perl 的 "perl -d"的逐步调试器？ - 2

    Ruby是否有逐步调试器，类似于Perl的“perl-d”？ 最佳答案 ruby-debug(对于ruby1.8)，debugger(对于ruby1.9)，byebug(对于ruby​​2.0)以及trepanning系列都有一个-x或--trace选项。在调试器内部，命令setlinetrace将打开或关闭线路跟踪。这是themanualforruby-debug原来的答案已经修改，因为数据噪声文章的链接，唉，不再有效了。还添加了ruby​​-debug的后继者 关于ruby-Ruby

  4. python - 使用 Python、Ruby 和 Perl 重新编译 MacPort 版本的 MacVim - 2

    关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭10年前。ImprovethisquestionLinux专家正在转向Mac(10.8)。因为我懒...我使用MacPorts安装MacVim。它似乎安装没有错误。我只需要mvim中的python、ruby和perl支持。$/opt/local/bin/mvim--version|egrep'patches|python|ruby|perl'Includedpatches:1-244,246-646+multi_lang-mzscheme+

  5. regex - Ruby 是否有类似于 Perl 6 语法的插件？ - 2

    多年来，Perl一直是我首选的编程语言工具之一。Perl6语法看起来像是一个很棒的语言特性。我想知道是否有人开始为Ruby做这样的事情。 最佳答案 如果您想在Ruby中使用实际的Perl6语法，最好的选择是Cardinal，Parrot上的ruby​​编译器。它目前尚未完成并且非常缓慢，但我非常希望它最终成为一个可行的ruby​​实现。它目前大部分处于非事件状态，等待Parrot中的一些基础架构更改以支持改进的解析速度和其他功能。 关于regex-Ruby是否有类似于Perl6语法的插件

  6. python - 请在 Perl 或 Ruby 中引入多处理库 - 2

    在python中，我们可以使用多处理模块。如果Perl和Ruby中有类似的库，你会教它吗？如果您能附上一个简短的示例，我将不胜感激。 最佳答案 ruby:WorkingwithmultipleprocessesinRubyConcurrencyisaMythinRubyPerl:HarnessingthepowerofmulticoreWhyPerlIsaGreatLanguageforConcurrentProgramming此外，Perl的线程是native操作系统线程，因此您可以使用它们来利用多核。

  7. ruby - Perl 相当于 Ruby 的 `reject!` ？ - 2

    我需要遍历一个数组，并在Perl中有条件地删除元素。我知道slice，但不确定如何在foreach上下文中使用它。在Ruby中，有reject!:foo=[2,3,6,7]foo.reject!{|x|x>3}pfoo#outputs"[2,3]"是否有Perl等价物？ 最佳答案 您可以使用Perl的grep这就像一个反向拒绝:它将保留所有满足条件的项目。所以rejectx>3必须变成grepx:@foo=(2,3,6,7);@foo=grep{$_条件不一定是数字比较，但可以是在bool上下文中有效的任何内容，例如匹配正则表达式。

  8. ruby - Perl 和 Ruby 之间的 YAML 数据交换问题 - 2

    我在通过YAML在Perl和Ruby之间交换数据时遇到问题。我有一些看起来像数字:数字的值，例如1:16。Perl的YAML库(Tiny和XS)将其编码为1:16，不带引号。Ruby的YAML库(Psych)不会将其解释为字符串，而是以某种方式变成Fixnum值4560。我不知道如何在任何一方解决这个转换问题。我用例的YAML中的每个值都应该是一个对象或字符串。因此，如果存在这样的选项，我可以告诉PerlYAML库引用所有值。或者有什么方法可以告诉RubyYAML库将所有​​值解释为字符串？有任何想法吗？从逻辑上讲，改变任何一方的语言都不是一种选择。Perl:useYAML::XSqw

  9. Ruby 文件句柄管理(打开的文件太多) - 2

    我在ruby​​(2.0.0p39474)中执行非常快速的文件访问，并不断收到异常Toomanyopenfiles看过thisthread,here，以及各种其他来源，我很清楚操作系统限制(在我的系统上设置为1024)。我执行此文件访问的代码部分是互斥的，并采用以下形式:File.open(filename,'w'){|f|Marshal.dump(value,f)}其中filename会根据调用该部分的线程快速变化。据我了解，此表单在block后放弃其文件句柄。我可以使用ObjectSpace.each_object(File)验证打开的File对象的数量.这报告最多有100个常驻内

  10. ruby - Ruby 是否提供与 Perl 的 use strict 等效的功能？ - 2

    很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开，visitthehelpcenter.关闭10年前。我的意思是，Ruby中没有my。我发现Perl中的usestrict可以提供非常好的防错字保护。

随机推荐