我的个人博客 个人技术日志

Caffeine批量加载浅析

最近项目中的本地缓存,看是从Guava改成了Caffeine,据说是性能更好,既然性能更好的话,那么就用起来吧。不过在使用过程中,发现了单个load和批量loadall方面的一些小设置,记录一下。

一般说来,我们获取单条记录的时候,一般都是 cache.get(id),当数据过期,会从提前设定好的load方法中获取数据。

同样的,如果我们想批量获取记录的时候,一般都是用cache.getAll(ids),当数据过去,会从提前设定好的loadAll方法中获取数据。

实际在测试的时候,发现,利用如下的缓存初始化方式,无论怎么泡cache.getAll(ids)方法,发现总会从load方法中加载数据,硬生生的把批量获取变成了单个循环获取,这就导致几十个redis命令一起发到redis集群那边,造成了网络浪费和性能差异:

 batchNumCache = Caffeine.newBuilder()
                .initialCapacity(cacheSize)
                .maximumSize(cacheSize)
                .refreshAfterWrite(cacheTime, TimeUnit.SECONDS)
                .build(new CacheLoader<Long, Map<String, Integer>>() {

                    @Override                    public Map<String, Integer> load(Long batchId) throws Exception {                        return getBatchNumJimdb(batchId);
                    }

                    @Override                    public Map<Long, Map<String, Integer>> loadAll(Iterable<? extends Long> batchIds) throws Exception {                        if (Iterables.isEmpty(batchIds)) {                            return null;
                        }                        return getAllBatchNumJimdb(Lists.newArrayList(batchIds));
                    }
                });


如上代码可以看出,load方法会调用getBatchNumJimdb加载数据,而loadAll方法会调用getAllBatchNumJimdb加载数据,getAllBatchNumJimdb加载数据的方式就是利用redis的pipeline,一次性将请求发给redis,然后获取返回结果。

虽然如上代码不能按照我们既定的方式工作,那么肯定配置有些什么问题,后来经过诸多的ut测试,发现设置上expireAfterWrite属性,整体就完美了。最终代码如下:

 

batchNumCache = Caffeine.newBuilder()
                .initialCapacity(cacheSize)
                .maximumSize(cacheSize)
                .refreshAfterWrite(cacheTime, TimeUnit.SECONDS)
                .expireAfterWrite(cacheTime, TimeUnit.SECONDS)
                .build(new CacheLoader<Long, Map<String, Integer>>() {

                    @Override                    public Map<String, Integer> load(Long batchId) throws Exception {                        return getBatchNumJimdb(batchId);
                    }

                    @Override                    public Map<Long, Map<String, Integer>> loadAll(Iterable<? extends Long> batchIds) throws Exception {                        if (Iterables.isEmpty(batchIds)) {                            return null;
                        }                        return getAllBatchNumJimdb(Lists.newArrayList(batchIds));
                    }
                });

如上代码,整体就ok了。当使用cache.get的时候,会从load加载,当使用cache.getall的时候,会从loadall加载。


作者:admin 分类:未分类 浏览:183 评论:0
留言列表
发表评论
来宾的头像