草庐IT

mysql - 用计数器实现过滤器

coder 2023-10-02 原文

我要实现的目标:

我正在开发带有产品目录的网站。
这是与我的问题有关的实体的规范化模型(简化):



因此，存在一些产品功能(例如本示例中的大小和类型)，它们都具有预定义的值集(例如，存在大小1、2和3，类型可以是1、2或3(这些集合不必相等) ，仅是示例。))。
产品与每个功能之间的关系是“多对多”的-一个功能的不同值不会相互排斥。
我的任务是构建表格，该表格将允许用户根据产品的功能过滤搜索结果。屏幕截图示例:



使用“AND”逻辑将一个功能的多个检查值混合在一起，因此，如果我检查了一个和三个尺寸，则我需要所有具有两个尺寸的产品(+可能有其他尺寸，没关系，但选择的是必须存在)。

每个功能值附近的数字代表产品数量，如果用户立即检查此值，则返回该数量。因此，实际上是满足滤波器“当前有源滤波器+所应用的这个值”的许多产品。

当用户选中/取消选中任何值时，必须考虑新的“当前过滤器”来更新计数器。

问题:

实际用例是:〜200k产品，〜6个功能，每个都有〜5-15个值。
我的COUNT查询(特别是选择的选项数量特别多)太慢了，要呈现这种形式，我需要的计数与所有过滤器的值一样多-总的来说，响应时间令人无法接受。

我尝试了什么:

  • 查询以检索结果:
    select * from products p, product_size ps
where p.id = ps.product_id
and (ps.size_id IN (1, 2, 3, 5))
group by p.id
having count(p.id) = 4;

    • (这是为了选择同时具有大小1、2、3和5的产品)。
    它在12万种产品上以~0.360 sec完成，几乎同时包裹了COUNT。而且此查询不允许使用多个功能(但是我可以将所有功能的值放在一个表中)。
  • 另一个检索相同集合的查询:
    SELECT ps1.product_id
FROM product_size AS ps1, (SELECT id FROM size AS s1 WHERE id IN (1, 2, 3, 5)) AS t
WHERE ps1.size_id = t.id
GROUP BY ps1.product_id
HAVING COUNT(ps1.size_id) = (SELECT COUNT(id) FROM (SELECT id FROM size AS s2 WHERE id IN (1, 2, 3, 5)) AS t2);

    • 它以~0.230 sec完成(包裹在COUNT中的时间相同)，并且也不允许多个功能。
    它是我在这里找到的经过修改的查询:https://www.simple-talk.com/sql/t-sql-programming/divided-we-stand-the-sql-of-relational-division/(“除数除法”部分中的第二个查询)。
  • 替代模式:

    • 非规范化模型，其中每个功能的值是“产品”表中的 bool 值列。
    查询在这里很明显:
        select * from products
    where `size_1` = 1 and `size_2` = 1
      and `size_3` = 1 and `size_5` = 1;

    怪异且难以维护的应用程序代码，但在~0.056 -ing时以COUNT秒完成。

    这些方法本身都 Not Acceptable ，因为它乘以〜30次(以表格形式填充所有计数器)而导致响应时间不足。
  • 缓存和预计算
    数据库中的数据每天仅会更新几次(例如，甚至可能是2次)，所以我可能可以在更新数据时预先计算所有过滤器组合的计数(老实说，我没有测量必要的时间) ，但无论如何也无法正常工作-搜索表单中的字段具有任意值(例如，最低/最高价格和通过产品名称进行的文本搜索)，我无法对其进行预先计算。
  • 动态加载表单中的计数器
    呈现表单，但是通过AJAX提取数字，因此用户可以看到页面，然后经过很长的等待时间才能看到数字。这是我最后的想法，但对我来说服务质量似乎很差(也许比没有计数器更糟糕)。

    • 我被困住了。有什么提示吗？可能是我没有看到更大的图景吗？我将很高兴收到任何建议。

    更新:如果我们忘记了计数器，仅使用这种过滤器检索结果的有效且通常使用的方法(查询)是什么(或者我做错了什么)？类似于“使用所有请求的标签查找帖子”模型一样。考虑到MySQL的行数很少(？)，我怀疑它的速度可能比0.230 sec(查询＃2)更快。

    最佳答案

    你可以

  • 创建一个表，该表将存储所有可能的组合(product_id <> size_id <> type_id)
  • 当管理员将从后端对产品进行任何更改时(假设将有一个后端管理)，请更新此表。
  • 在前端，对于过滤器，请使用此表而不是产品表，并在触发过滤器查询后提取产品ID。
  • 获得结果的产品ID列表后，您可以使用这些产品ID来获取实际数据

    • 我以前使用过它，并且对我有用，您可以先创建表并尝试运行查询以检查响应时间。

    希望这可以帮助。

    关于mysql - 用计数器实现过滤器，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/41607299/

    mysql用brcodesizesql

    有关mysql - 用计数器实现过滤器的更多相关文章

    1. ruby - 如何根据特征实现 FactoryGirl 的条件行为 - 2

      我有一个用户工厂。我希望默认情况下确认用户。但是鉴于unconfirmed特征，我不希望它们被确认。虽然我有一个基于实现细节而不是抽象的工作实现，但我想知道如何正确地做到这一点。factory:userdoafter(:create)do|user,evaluator|#unwantedimplementationdetailshereunlessFactoryGirl.factories[:user].defined_traits.map(&:name).include?(:unconfirmed)user.confirm!endendtrait:unconfirmeddoenden

    2. ruby-on-rails - Ruby on Rails 计数器缓存错误 - 2

      尝试在我的RoR应用程序中实现计数器缓存列时出现错误Unknownkey(s):counter_cache。我在这个问题中实现了模型关联:Modelassociationquestion这是我的迁移:classAddVideoVotesCountToVideos0Video.reset_column_informationVideo.find(:all).eachdo|p|p.update_attributes:videos_votes_count,p.video_votes.lengthendenddefself.downremove_column:videos,:video_vot

    3. ruby - 使用多个数组创建计数 - 2

      我正在尝试按0-9和a-z的顺序创建数字和字母列表。我有一组值value_array=['0','1','2','3','4','5','6','7','8','9','a','b'，'光盘'，'e','f','g','h','i','j','k','l','m','n','o','p','q','r','s','','u','v','w','x','y','z']和一个组合列表的数组，按顺序，这些数字可以产生x个字符，比方说三个list_array=[]和一个当前字母和数字组合的数组(在将它插入列表数组之前我会把它变成一个字符串，]current_combo['0','0','0']

    4. ruby-on-rails - 事件管理员日期过滤器日期格式自定义 - 2

      是否有简单的方法来更改默认ISO格式(yyyy-mm-dd)的ActiveAdmin日期过滤器显示格式？ 最佳答案 您可以像这样为日期选择器提供额外的选项，而不是覆盖js:=f.input:my_date,as::datepicker,datepicker_options:{dateFormat:"mm/dd/yy"} 关于ruby-on-rails-事件管理员日期过滤器日期格式自定义，我们在StackOverflow上找到一个类似的问题： https://s

    5. 华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2

      华为OD机试题本篇题目：明明的随机数题目输入描述输出描述：示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od，od薪资待遇，od机试题清单华为OD机试真题大全，用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o

    6. 使用canal同步MySQL数据到ES - 2

      文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

    7. 基于C#实现简易绘图工具【100010177】 - 2

      C#实现简易绘图工具一.引言实验目的:通过制作窗体应用程序(C#画图软件),熟悉基本的窗体设计过程以及控件设计,事件处理等,熟悉使用C#的winform窗体进行绘图的基本步骤,对于面向对象编程有更加深刻的体会.Tutorial任务设计一个具有基本功能的画图软件**·包括简单的新建文件,保存,重新绘图等功能**·实现一些基本图形的绘制,包括铅笔和基本形状等,学习橡皮工具的创建**·设计一个合理舒适的UI界面**注明:你可能需要先了解一些关于winform窗体应用程序绘图的基本知识,以及关于GDI+类和结构的知识二.实验环境Windows系统下的visualstudio2017C#窗体应用程序三.

    8. MIMO-OFDM无线通信技术及MATLAB实现（1）无线信道：传播和衰落 - 2

       MIMO技术的优缺点优点通过下面三个增益来总体概括：阵列增益。阵列增益是指由于接收机通过对接收信号的相干合并而活得的平均SNR的提高。在发射机不知道信道信息的情况下，MIMO系统可以获得的阵列增益与接收天线数成正比复用增益。在采用空间复用方案的MIMO系统中，可以获得复用增益，即信道容量成倍增加。信道容量的增加与min(Nt,Nr)成正比分集增益。在采用空间分集方案的MIMO系统中，可以获得分集增益，即可靠性性能的改善。分集增益用独立衰落支路数来描述，即分集指数。在使用了空时编码的MIMO系统中，由于接收天线或发射天线之间的间距较远，可认为它们各自的大尺度衰落是相互独立的，因此分布式MIMO

    9. 【Java入门】使用Java实现文件夹的遍历 - 2

      遍历文件夹我们通常是使用递归进行操作，这种方式比较简单，也比较容易理解。本文为大家介绍另一种不使用递归的方式，由于没有使用递归，只用到了循环和集合，所以效率更高一些！一、使用递归遍历文件夹整体思路1、使用File封装初始目录，2、打印这个目录3、获取这个目录下所有的子文件和子目录的数组。4、遍历这个数组，取出每个File对象4-1、如果File是否是一个文件，打印4-2、否则就是一个目录，递归调用代码实现publicclassSearchFile{publicstaticvoidmain(String[]args){//初始目录Filedir=newFile("d:/Dev");Datebeg

    10. ruby-on-rails - 在 Controller 中干净地处理多个过滤器(参数) - 2

      我有一个名为Post的类，我需要能够适应以下场景:如果用户选择了一个类别，则只显示该类别的帖子如果用户选择了一种类型，则只显示该类型的帖子如果用户选择了一个类别和类型，则只显示该类别中该类型的帖子如果用户没有选择任何内容，则显示所有帖子我想知道我的Controller是否不可避免地会因大量条件语句而显得粗糙...这是我解决此问题的错误方法-有谁知道我如何才能做到这一点？classPostsController 最佳答案 您最好遵循“胖模型，瘦Controller”的惯例，这意味着您应该将这种逻辑放在模型本身中。Post类应该能够报告

    随机推荐