需求:通过 Job 每秒去 Redis 中获取 Key 前缀为:“message:xxx:yyy:id: ”的所有 Value,Value以字符串类型存储,键值对存储量级:几百万。
Redis中有一个经典的问题,在巨大的数据量的情况下,做类似于查找符合某种规则的 Key 的信息,有两种方式: 1、通过 keys 命令,简单粗暴,由于Redis单线程这一特性,keys 命令以阻塞的方式执行。keys 命令通过遍历查找,时间复杂度是 O(n)。Redis 库中 key 的数量越多,查找实现的代价越大,产生阻塞的时间越长。 2、通过 scan 命令,以非阻塞的方式实现 key 值的查找,绝大多数情况下是可以替代 keys 命令的,可选性更强。
代码实现
- 方法一:通过 scan 先获取以“message:xxx:yyy:id: ”为 Key 前缀的所有完整的 Key,再通过获取到的 Key 拿所有的 Value
/** * 通过 key 获取 value * <p> * pattern:message:xxx:yyy:id: * limit:每次限制筛选的数量,不建议 Integer.MAX_VALUE */ public List<String> assembleScanValues(String pattern, Long limit) { List<String> values = assembleScanKeys(pattern, limit); return redisTemplate.opsForValue().multiGet(values).stream().filter(StringUtils::isNotBlank).collect(toList()); } /** * 组装 scan 的结果集 */ public List<String> assembleScanKeys(String pattern, Long limit) { HashSet<String> set = new HashSet<>(); Cursor<String> cursor = scan(redisTemplate, pattern, limit); while (cursor.hasNext()) { set.add(cursor.next()); } try { cursor.close(); } catch (Exception e) { log.error("关闭 redis connection 失败"); } return set.stream().map(String::valueOf).collect(toList()); } /** * 自定义 redis scan 操作 */ private Cursor<String> scan(RedisTemplate redisTemplate, String pattern, Long limit) { ScanOptions options = ScanOptions.scanOptions().match(pattern).count(limit).build(); RedisSerializer<String> redisSerializer = (RedisSerializer<String>) redisTemplate.getKeySerializer(); return (Cursor) redisTemplate.executeWithStickyConnection(new RedisCallback() { @Override public Object doInRedis(RedisConnection redisConnection) throws org.springframework.dao.DataAccessException { return new ConvertingCursor<>(redisConnection.scan(options), redisSerializer::deserialize); } }); }
- 方法二:通过 scan 获取到 Key 的同时,去获取对应的 Value
/** * 组装分布式缓存中的 value 值 * <p> * pattern:message:xxx:yyy:id: * limit:每次限制筛选的数量,不建议 Integer.MAX_VALUE */ public List<String> assembleScanValues(String pattern, Long limit) { Set<String> valueSet = scan(redisTemplate, pattern, limit); return valueSet.stream().map(String::valueOf).collect(toList()); } /** * 组装 scan 的结果集 */ private Set<String> scan(RedisTemplate redisTemplate, String pattern, Long limit) { return (Set<String>) redisTemplate.execute(new RedisCallback<Set<String>>() { @Override public Set<String> doInRedis(RedisConnection connection) throws DataAccessException { Set<String> valueSet = new HashSet<>(); try (Cursor<byte[]> cursor = connection.scan(new ScanOptions.ScanOptionsBuilder() .match(pattern).count(limit).build())) { while (cursor.hasNext()) { byte[] bytes = connection.get(cursor.next()); String value = String.valueOf(redisTemplate.getValueSerializer().deserialize(bytes)); valueSet.add(value); } } catch (IOException e) { log.error(String.format("get cursor close {%s}", e)); } return valueSet; } }); }
原文
https://qimok.cn/856.html
本站部分文章源于互联网,本着传播知识、有益学习和研究的目的进行的转载,为网友免费提供。如有著作权人或出版方提出异议,本站将立即删除。如果您对文章转载有任何疑问请告之我们,以便我们及时纠正。PS:推荐一个微信公众号: askHarries 或者qq群:474807195,里面会分享一些资深架构师录制的视频录像:有Spring,MyBatis,Netty源码分析,高并发、高性能、分布式、微服务架构的原理,JVM性能优化这些成为架构师必备的知识体系。还能领取免费的学习资源,目前受益良多

转载请注明原文出处:Harries Blog™ » Redis中通过scan命令获取key、value【Java实现】