我有一个数据库 (couchDB)，其中包含大约 90k 个文档。文档非常简单，如下所示:

{
   "_id": "1894496e-1c9e-4b40-9ba6-65ffeaca2ccf",
   "_rev": "1-2d978d19-3651-4af9-a8d5-b70759655e6a",
   "productName": "Cola"
}

现在我希望有一天能将此数据库与移动设备同步。显然 90k 文档不应该一次全部转到电话。这就是我编写过滤函数的原因。这些应该按“productName”过滤。起初在 Javascript 中，后来在 Erlang 中以获得性能。这些 Filter 函数在 JavaScript 中看起来像这样:

{
   "_id": "_design/local_filters",
   "_rev": "11-57abe842a82c9835d63597be2b05117d",
   "filters": {
       "by_fanta": "function(doc, req){ if(doc.productName == 'Fanta'){ return doc;}}",
       "by_wasser": "function(doc, req){if(doc.productName == 'Wasser'){ return doc;}}",
       "by_sprite": "function(doc, req){if(doc.productName == 'Sprite'){ return doc;}}"
   }
}

在 Erlang 中像这样:

{
   "_id": "_design/erlang_filter",
   "_rev": "74-f537ec4b6508cee1995baacfddffa6d4",
   "language": "erlang",
   "filters": {
       "by_fanta": "fun({Doc}, {Req}) ->  case proplists:get_value(<<\"productName\">>, Doc) of <<\"Fanta\">> -> true; _ -> false end end.",
       "by_wasser": "fun({Doc}, {Req}) ->  case proplists:get_value(<<\"productName\">>, Doc) of <<\"Wasser\">> -> true; _ -> false end end.",
       "by_sprite": "fun({Doc}, {Req}) ->  case proplists:get_value(<<\"productName\">>, Doc) of <<\"Sprite\">> -> true; _ -> false end end."       
   }
}

为简单起见，目前还没有查询，只有一个“硬编码”字符串。过滤器全部工作。问题是他们的速度很慢。我先用 Java 编写了一个测试程序，然后用 Perl 编写了一个测试程序来测试过滤文档所花费的时间。这是我的一个 Perl 脚本:

$dt = DBIx::Class::TimeStamp->get_timestamp();

$content = get("http://127.0.0.1:5984/mobile_product_test/_changes?filter=local_filters/by_sprite");

$dy = DBIx::Class::TimeStamp->get_timestamp() - $dt;
$dm = $dy->minutes();
$dz = $dy->seconds();

@contArr = split("\n", $content);

$arraysz = @contArr;
$arraysz = $arraysz - 3;

$\="\n";
print($dm.':'.$dz.' with '.$arraysz.' Elements (JavaScript)');

现在是悲伤的部分。这些是我得到的时间:

2:35 with 2 Elements (Erlang)
2:40 with 10000 Elements (Erlang)
2:38 with 30000 Elements (Erlang)
2:31 with 2 Elements (JavaScript)
2:40 with 10000 Elements (JavaScript)
2:51 with 30000 Elements (JavaScript)

顺便说一句，这些是分钟:秒。该数字是过滤器返回的元素数，数据库中有 90k 个元素。最大的惊喜是 Erlang 过滤器一点也不快。

请求所有元素仅需 9 秒。并创建了大约 15 个 View 。但是我不可能在手机上使用它来传输所有文档(数量和安全原因)。

有没有一种方法可以过滤 View 以获得性能提升？ 或者我的 erlang 过滤器功能有问题(我对 JavaScript 过滤器的时代并不感到惊讶)。

编辑: 正如 pgras 所指出的，速度慢的原因已发布在对 this 的回答中。题。为了让 erlang 过滤器运行得更快，我需要进入下面的“层”并将 erlang 直接编程到数据库中，而不是作为 _design 文档。但我真的不知道从哪里开始以及如何做到这一点。任何提示都会有所帮助。

最佳答案

我问这个问题已经有一段时间了。但我想我会回到它并分享我们最终为解决这个问题所做的工作。

所以简短的回答是过滤速度无法真正提高。

原因在于过滤器的工作方式。如果你检查你的数据库更改。他们在这里:

http://<ip>:<port>/<databaseName>/_changes

此文档包含属于您的数据库的所有更改。如果您在数据库中执行任何操作，则会添加新行。当现在想要使用过滤器时，过滤器将从 json 解析为指定的语言，并用于此文件中的每一行。需要明确的是，据我所知，解析也是针对每一行完成的。这不是很有效，无法更改。

所以我个人认为对于大多数用例来说，过滤器都很慢并且无法使用。这意味着我们必须找到解决方法。我并不是说我有一个通用的解决方案。我只能说，对于我们这里来说，可以使用 View 而不是过滤器。 View 在内部生成树，与过滤器相比，它像光一样快。一个简单的过滤器也存储在设计文档中，看起来像这样:

{
"_id": "_design/all",
"language": "javascript",
"views": {
    "fantaView": {
        "map": "function(doc) { \n   if (doc.productName == 'Fanta')  \n    emit(doc.locale, doc)\n} "
    }
}
}

其中 fantaView 是 View 的名称。我想这个功能是不言自明的。所以这就是我们所做的，我希望它能帮助遇到类似问题的人。

关于javascript - 即使使用 erlang，使用 couchDB 的过滤器也非常慢，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/15388488/