草庐IT

Redis 批量查询优化

adam_1997 2023-09-02 原文

在实际应用中,我们可能需要同时对多个key的数据进行读取,一般的方法如下:

    // 请求地址示例:http://localhost:8080/foodie-api/redis/testMultiKey?keys=key1,key2,key3,key5
    @RequestMapping("/testMultiKey")
    public Object testMultiKey(String... keys){
        List<String> result = new ArrayList<>();
        for(String key : keys){
            String itemResult = redisTemplate.opsForValue().get(key);
            result.add(itemResult);
        }
        return result;
    }

上面这种方法不仅麻烦而且low,实际上我们每次请求redis的数据都会建立和关闭连接,当请求的key较多时,这种方法会增加开销,所以引入下面另种方式批量操作命令与管道方法。

一、mget命令(方法)

在redis中是有批量操作命令的,如string类型中有mset和mget两个操作命令:

 mset key value [key value ...]
 mget key [key ...]

在java中也同样有批量操作的方法供我们使用,对上面的代码稍加改造如下:

    @RequestMapping("/testMultiKey")
    public Object testMultiKey(String... keys){
        List<String> keysList = Arrays.asList(keys);
        return redisTemplate.opsForValue().multiGet(keysList);
    }

其他批量操作方法差不多,这里就省略了。

注:

当key数目在10以内时,mget性能下降趋势非常小,性能基本上能达到redis实例的极限
当key数目在10~100之间时,mget性能下降明显,需要考虑redis性能衰减对系统吞吐的影响
当key数目在100以上时,mget性能下降幅度趋缓,此时redis性能已经较差,不建议使用在OLTP系统中,或者需要考虑其他手段来提升性能。

二、管道(pipeline)

下面实例只是简单的说明管道的使用,http://blog.csdn.net/xiaoliu598906167/article/details/82218525,链接中的文章对管道技术有更加详细的描述。

public List<Object> batchGet(List<String> keys) {
 
//		nginx -> keepalive
//		redis -> pipeline
 
		List<Object> result = redisTemplate.executePipelined(new RedisCallback<String>() {
			@Override
			public String doInRedis(RedisConnection connection) throws DataAccessException {
				StringRedisConnection src = (StringRedisConnection)connection;
 
				for (String k : keys) {
					src.get(k);
				}
				return null;
			}
		});
 
		return result;
	}

但是在redis cluster 集群模式下执行批量处理命令会报错,具体原因如下:不同的 key 计算出的 slot 槽不一样,不同槽可能对应到不同节点,也就是说批量操作实际很可能被均分到不同的 redis 实例上,对于这种情况,redis cluster 没法处理,直接报错

一般有两种方法解决该问题:

1、别用批量处理命令了,老老实实一条一条执行,对于某些不追求效率的场景确实可以这样干

2、虽然 cluster 模式下没法批量处理,但我们知道 slot 槽怎么计算,也知道对应槽属于哪台实例,此时就可以在客户端手动计算,通过 pipeline 连接位于同一实例下的 key,批量处理

下面我通过简单代码模拟整个过程:

public static Map<String, String> mGet(JedisCluster jedisCluster, String... keys) {
    Map<String, String> result = new HashMap<>();
    if (keys == null || keys.length == 0) {
        return result;
    }
    if (keys.length == 1) {
        result.put(keys[0], jedisCluster.get(keys[0]));
        return result;
    }
    // 需要引入 Mybatis 包,网上查的,通过这种方式能获取到 slot 和 jedisPool 的对应关系
    MetaObject metaObject = SystemMetaObject.forObject(jedisCluster);
    JedisClusterInfoCache cache = (JedisClusterInfoCache) metaObject.getValue("connectionHandler.cache");
    // 用来记录各个实例包含哪些 key
    Map<JedisPool, List<String>> map = new HashMap<>();
    // 遍历所有 key
    for (String s : keys) {
        int slot = JedisClusterCRC16.getSlot(s);
        JedisPool temp = cache.getSlotPool(slot);
        if (map.containsKey(temp)) {
            map.get(temp).add(s);
        } else {
            List<String> list = new ArrayList<>();
            list.add(s);
            map.put(temp, list);
        }
    }
    // 遍历所有存在 key 的 redis 实例,通过 pipeline 批量执行
    for (Map.Entry<JedisPool, List<String>> entry : map.entrySet()) {
        JedisPool pool = entry.getKey();
        List<String> list = entry.getValue();
        Pipeline pipeline = pool.getResource().pipelined();
        for (String s : list) {
            pipeline.get(s);
        }
        List<Object> objectList = pipeline.syncAndReturnAll();
        pipeline.close();
        for (int i = 0; i < objectList.size(); ++i) {
            result.put(list.get(i), objectList.get(i) == null ? null : objectList.get(i).toString());
        }
    }
    return result;
}

原文链接:https://blog.csdn.net/m0_57015193/article/details/119742261
原文链接:https://blog.csdn.net/b15735105314/article/details/108692786
原文链接:https://blog.csdn.net/w1lgy/article/details/84455579

有关Redis 批量查询优化的更多相关文章

  1. ruby - ECONNRESET (Whois::ConnectionError) - 尝试在 Ruby 中查询 Whois 时出错 - 2

    我正在用Ruby编写一个简单的程序来检查域列表是否被占用。基本上它循环遍历列表,并使用以下函数进行检查。require'rubygems'require'whois'defcheck_domain(domain)c=Whois::Client.newc.query("google.com").available?end程序不断出错(即使我在google.com中进行硬编码),并打印以下消息。鉴于该程序非常简单,我已经没有什么想法了-有什么建议吗?/Library/Ruby/Gems/1.8/gems/whois-2.0.2/lib/whois/server/adapters/base.

  2. ruby-on-rails - 在 Rails 和 ActiveRecord 中查询时忽略某些字段 - 2

    我知道我可以指定某些字段来使用pluck查询数据库。ids=Item.where('due_at但是我想知道,是否有一种方法可以指定我想避免从数据库查询的某些字段。某种反拔?posts=Post.where(published:true).do_not_lookup(:enormous_field) 最佳答案 Model#attribute_names应该返回列/属性数组。您可以排除其中一些并传递给pluck或select方法。像这样:posts=Post.where(published:true).select(Post.attr

  3. sql - 查询忽略时间戳日期的时间范围 - 2

    我正在尝试查询我的Rails数据库(Postgres)中的购买表,我想查询时间范围。例如,我想知道在所有日期的下午2点到3点之间进行了多少次购买。此表中有一个created_at列,但我不知道如何在不搜索特定日期的情况下完成此操作。我试过:Purchases.where("created_atBETWEEN?and?",Time.now-1.hour,Time.now)但这最终只会搜索今天与那些时间的日期。 最佳答案 您需要使用PostgreSQL'sdate_part/extractfunction从created_at中提取小时

  4. ruby-on-rails - solr 清理查询 - 2

    我在Rails上使用带有ruby​​的solr。一切正常,我只需要知道是否有任何现有代码来清理用户输入,比如以?开头的查询。或* 最佳答案 我不知道执行此操作的任何代码,但理论上可以通过查看parsingcodeinLucene来完成并搜索thrownewParseException(只有16个匹配!)。在实践中,我认为您最好只捕获代码中的任何solr异常并显示“无效查询”消息或类似信息。编辑:这里有几个“sanitizer”:http://pivotallabs.com/users/zach/blog/articles/937-s

  5. ruby-on-rails - Rails 3 在一个查询中包含多个表 - 2

    我正在为锦标赛开发一个Rails应用程序。我在这个查询中使用了三个模型:classPlayertruehas_and_belongs_to_many:tournamentsclassTournament:destroyclassPlayerMatch"Player",:foreign_key=>"player_one"belongs_to:player_two,:class_name=>"Player",:foreign_key=>"player_two"在tournaments_controller的显示操作中,我调用以下查询:Tournament.where(:id=>params

  6. ruby-on-rails - Sunspot:如何对具有不同值的多个字段进行全文查询? - 2

    我想用sunspot重现以下原始solr查询q=exact_term_text:fooORterm_textv:foo*ORalternate_text:bar*但我无法通过标准的太阳黑子界面理解这是否可能以及如何实现,因为看起来:fulltext方法似乎不接受多个文本/搜索字段参数我不知道将什么参数作为第一个参数传递给fulltext,就好像我通过了"foo"或"bar"结果不匹配如果我传递一个空参数,我得到一个q=*:*范围过滤器(例如with(:term).starting_with('foo*')(顾名思义)作为过滤器查询应用,因此不参与评分。似乎可以手动编写字符串(或者可能使

  7. ruby-on-rails - 在不重新查询数据库的情况下重新排序 Rails 中的事件记录? - 2

    例如,假设我有一个名为Products的模型,并且在ProductsController中,我有以下代码用于product_listView以显示已排序的产品。@products=Product.order(params[:order_by])让我们想象一下,在product_listView中,用户可以使用下拉菜单按价格、评级、重量等进行排序。数据库中的产品不会经常更改。我很难理解的是,每次用户选择新的order_by过滤器时,rails是否必须查询,或者rails是否能够以某种方式缓存事件记录以在服务器端重新排序?有没有一种方法可以编写它,以便在用户排序时rails不会重新查询结果

  8. ruby-on-rails - 带句点(或句号)的 Rails 查询字符串。 - 2

    我目前正在尝试了解RoR。我将两个字符串传递到我的Controller中。一个是随机的十六进制字符串,另一个是电子邮件。该项目用于对数据库进行简单的电子邮件验证。我遇到的问题是当我输入如下内容来测试我的页面时:http://signup.testsite.local/confirm/da2fdbb49cf32c6848b0aba0f80fb78c/bob.villa@gmailcom我在:email的参数散列中得到的全部是'bob'。我在gmail和com之间留下了.,因为那样会导致匹配根本不起作用。我的路由匹配如下:match"confirm/:code/:email"=>"conf

  9. ruby - 如何批量检查文件内容是否相同 - 2

    我想使用Ruby检查数千对文件中的每对文件是否包含相同的信息。有人能指出我正确的方向吗? 最佳答案 require'fileutils'FileUtils.compare_file('file1','file2')当且仅当文件file1和file2相同时返回true。 关于ruby-如何批量检查文件内容是否相同,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/33769865/

  10. ruby - 如何将编码的查询值添加到 URL? - 2

    我正在寻找一种方便实用的方法来将编码值添加到Ruby中的URL查询字符串。目前,我有:require'open-uri'u=URI::HTTP.new("http",nil,"mydomain.example",nil,nil,"/tv",nil,"show="+URI::encode("Rosie&Jim"),nil)pu.to_s#=>"http://mydomain.example/tv?show=Rosie%20&%20Jim"这不是我要找的,因为我需要得到“http://mydomain.example/tv?show=Rosie%20%26%20Jim”,这样show=值就

随机推荐