- 浏览: 1871026 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
July01:
最近了解到一款StratoIO打印控件,功能如下:1、Html ...
jquery打印指定的div -
GentlemanQc:
...
quartz系列(二)spring3.2.5与quartz2.1.7集群版集成简要说明 -
静夜独窗:
你好,能说一下server.xml增加的配置是怎么影响性能的吗 ...
tomcat7.0性能优化-挑战极限精简版 -
beyondfengyu:
beyondfengyu 写道如果每个客户进程的时间不同步,时 ...
java并发(二十二)分布式锁 -
beyondfengyu:
如果每个客户进程的时间不同步,时间超前的进程是不是更容易得到锁 ...
java并发(二十二)分布式锁
Redis/Memcached高并发访问下的缓存失效时可能产生Dogpile效应(Cache Stampede效应)
避免Memcached缓存的Dogpile效应
Memcached的read-through cache流程:
Memcached缓存示例:
假如上面的testDao.getAll()是耗时3秒(或更长时间)的运算或数据库操作.当缓存服务器不可用(比如:缓存实例宕机,或网络原因)或是缓存失效瞬间,如果恰好有大量的访问请求,那就会出现机器CPU消耗或数据库操作次数短时间内急剧攀升,可能会引发数据库/Web服务器故障.这种方式不适合在高并发场景下使用,适合并发量低,单次查询耗时的场景.
避免这样的Dogpile效应,通常有两种方法:
使用独立的更新进程
使用独立的进程(比如:cron job)去更新缓存,而不是让web服务器即时更新数据缓存.举个例子:一个数据统计需要每五分钟更新一次(但是每次计算过程耗时1分钟),那么可以使用cron job去计算这个数据,并更新缓存.这样的话,数据永远都会存在,即使不存在也不用担心产生dogpile效应,因为客户端没有更新缓存的操作.这种方法适合不需要即时运算的全局数据.但对用户对象,朋友列表,评论之类的就不太适用.
使用”锁”
除了使用独立的更新进程之外,我们也可以通过加”锁”,每次只允许一个客户端请求去更新缓存,以避免Dogpile效应.
处理过程大概是这样的:
Memcached使用”锁”的示例:.
上面的处理方法有个缺陷,就是缓存失效时,所有请求都需要等待某个请求完成缓存更新,那样无疑会增加服务器的压力.如果能在数据失效之前的一段时间触发缓存更新,或者缓存失效时只返回相应状态让客户端根据返回状态自行处理,那样会相对比较好.
下面的get方法就是返回相应状态由客户端处理:
上面的memcached缓存失效时,只有一个客户端请求会返回Cache::GenerateData状态,其它的都会返回Cache::NotFound.客户端可通过检测这些状态做相应的处理.
需要注意的是:”锁”的TTL值应该大于generateData()消耗时间,但应该小于实际缓存对象的TTL值.
参考文章
文章中的Q2整说明的是“dogpile效应”
http://weibo.com/p/1001603862417250608209
避免Memcached缓存的Dogpile效应
Memcached的read-through cache流程:
- A客户端读取缓存
- B没有的话就由客户查询持久层
- C生成缓存
- D返回数据
Memcached缓存示例:
package com.chinaso.phl.high.current; import java.util.ArrayList; import java.util.List; import net.rubyeye.xmemcached.MemcachedClient; /** * 缓存一定加载业务层上 * @author piaohailin * @date 2013-12-10 */ public class TestService { private TestDao testDao = new TestDao(); MemcachedClient memcachedClient = null; public TestService(MemcachedClient memcachedClient) { this.memcachedClient = memcachedClient; } public List<TestVo> getAll() { List<TestVo> result = null; /*读取缓存 */ try { result = memcachedClient.get("all"); } catch (Exception e) { /* 如果发生异常,则处理掉, 继续读取持久化存储层 不能因为缓存的异常,而中断业务 */ } if (result != null) { return result; } /*读取持久层 */ result = testDao.getAll(); /*设置缓存*/ try { if (result == null) { //区分查不出数据和持久层里面是空数据的情况,防止高并发空查询持久层 //是一条空查询,超时时间可以设置短点 memcachedClient.set("all", 500, new ArrayList<TestVo>()); } else { //查询出数据,超时时间可以稍微多一些 memcachedClient.set("all", 1800, result); } } catch (Exception e) { } /*返回数据*/ return result; } }
假如上面的testDao.getAll()是耗时3秒(或更长时间)的运算或数据库操作.当缓存服务器不可用(比如:缓存实例宕机,或网络原因)或是缓存失效瞬间,如果恰好有大量的访问请求,那就会出现机器CPU消耗或数据库操作次数短时间内急剧攀升,可能会引发数据库/Web服务器故障.这种方式不适合在高并发场景下使用,适合并发量低,单次查询耗时的场景.
避免这样的Dogpile效应,通常有两种方法:
使用独立的更新进程
使用独立的进程(比如:cron job)去更新缓存,而不是让web服务器即时更新数据缓存.举个例子:一个数据统计需要每五分钟更新一次(但是每次计算过程耗时1分钟),那么可以使用cron job去计算这个数据,并更新缓存.这样的话,数据永远都会存在,即使不存在也不用担心产生dogpile效应,因为客户端没有更新缓存的操作.这种方法适合不需要即时运算的全局数据.但对用户对象,朋友列表,评论之类的就不太适用.
使用”锁”
除了使用独立的更新进程之外,我们也可以通过加”锁”,每次只允许一个客户端请求去更新缓存,以避免Dogpile效应.
处理过程大概是这样的:
- A请求的缓存没命中
- A请求”锁住”缓存key
- B请求的缓存没命中
- B请求需要等待直到”锁”释放
- A请求完成,并且释放”锁”
- B请求缓存命中(由于A的运算)
Memcached使用”锁”的示例:.
package com.chinaso.phl.high.current; import java.util.ArrayList; import net.rubyeye.xmemcached.MemcachedClient; /** * @author piaohailin * @date 2013-12-10 */ public class TestSynchronizedService { private TestDao testDao = new TestDao(); MemcachedClient memcachedClient = null; public TestSynchronizedService(MemcachedClient memcachedClient) { this.memcachedClient = memcachedClient; } public TestVo get(String key) throws Exception { TestVo result = null; /*读取缓存 */ try { result = memcachedClient.get(key); } catch (Exception e) { /* 如果发生异常,则处理掉, 继续读取持久化存储层 不能因为缓存的异常,而中断业务 */ } if (result != null) { return result; } //此处用法参考类com.chinaso.phl.high.current.TestSychronizedString.java //只有在字符串内容相同的时候才会锁起来 synchronized (key.intern()) { try { //从缓存读取会比较慢,此处应该在本地设置一个flag,以提高速度 result = memcachedClient.get(key); } catch (Exception e) { } if (result == null) { /*读取持久层 */ result = testDao.get(key); /*设置缓存*/ try { if (result == null) { //区分查不出数据和持久层里面是空数据的情况,防止高并发空查询持久层 //是一条空查询,超时时间可以设置短点 memcachedClient.set(key, 500, new ArrayList<TestVo>()); } else { //查询出数据,超时时间可以稍微多一些 memcachedClient.set(key, 1800, result); } } catch (Exception e) { } } } /*返回数据*/ return result; } }
上面的处理方法有个缺陷,就是缓存失效时,所有请求都需要等待某个请求完成缓存更新,那样无疑会增加服务器的压力.如果能在数据失效之前的一段时间触发缓存更新,或者缓存失效时只返回相应状态让客户端根据返回状态自行处理,那样会相对比较好.
下面的get方法就是返回相应状态由客户端处理:
上面的memcached缓存失效时,只有一个客户端请求会返回Cache::GenerateData状态,其它的都会返回Cache::NotFound.客户端可通过检测这些状态做相应的处理.
需要注意的是:”锁”的TTL值应该大于generateData()消耗时间,但应该小于实际缓存对象的TTL值.
参考文章
文章中的Q2整说明的是“dogpile效应”
http://weibo.com/p/1001603862417250608209
发表评论
-
redis(四)vs memcache
2017-07-04 14:35 846redis使用单核,memcahe可以使用多核 平均每一个核上 ... -
本地缓存(一)ehcache/jcs/cache4j/jcs的性能测试与使用场景分析
2015-09-05 22:02 4438前言 之前在网上看过几篇本地缓存的性能测 ... -
memcached(十九)并发原语CAS与GETS操作
2014-06-28 23:43 13362最近笔者自己的项目中,遇到了乐观锁的需求。但是redi ... -
memcached(十八)缓存业务逻辑
2014-03-13 14:05 2077在高并发的网站只用,缓存的作用之一,就是保存持久层的查询结果。 ... -
memcached(十七)协议命令格式
2014-01-16 23:06 1956memcached的管理使用的是telnet 登录服务器 te ... -
memcached(十六)缓存基本知识
2014-01-12 23:52 1571缓存简介 缓存,让数据更接近于使用者; 工作机制是:先从缓存中 ... -
memcached(十五)binary vs text protocols
2014-01-12 11:30 6291memcached服务端支持2种传输协议,还有一种XMemca ... -
memcached(十四)memcached单次请求性能分析
2014-01-12 01:46 2398试验环境和IP 服务器:10.10.64.83 客户端:10. ... -
memcached(十三)memcached内存占用分析
2013-12-06 21:30 1597最近又在研究memcached,如果想进一步研究如何使 ... -
redis(三)主要数据结构
2013-11-26 10:06 1087值的长度不能超过1GB 计数器 原子递增:incr map ... -
redis(二)主从复制
2013-11-26 10:05 1336一、Redis的Replication: Redis ... -
redis(一)初识
2013-11-26 10:03 1378官网 http://redis.io/ 中国社区 http:/ ... -
memcached(十二)1.4的stats命令
2013-11-08 10:52 2510STAT pid ... -
memcached(十一)memcached-session-manager
2013-11-08 23:08 1715介绍 memcached-session-manager是将t ... -
memcached(十)simple-spring-memcached
2013-11-08 22:22 3710简介 simple-spring-memcached是spri ... -
memcached(九)客户端高级-Java
2013-11-08 10:13 2960简介 目前常用的Java客户端有3种。 MemcachedC ... -
memcached(八)一致性哈希高级应用
2013-11-07 09:44 5204简介 一致性哈希 ... -
memcached(七)failure模式和standby节点
2013-11-06 23:37 2224关于failure模式,可以看下memcached官方 ... -
memcached(三)内存管理
2013-11-05 21:16 4940基本概念:slab,pa ... -
memcached(六)调优经验
2013-09-25 22:32 3680一 监控 查看memcahe服务 ...
相关推荐
在终端(也即cmd命令界面)下输入 ‘c:\memcached\memcached.exe -d install’ 安装 3. 再输入: ‘c:\memcached\memcached.exe -d start’ 启动。NOTE: 以后memcached将作为windows的一个服务每次开机时自动启动...
memcached 64位 window memcached 64位 window memcached 64位 window
memcached, libevent, MemCachedClient
gomemcached, 一个用于围棋的memcached二进制 gomemcached这是中的一个memcached二进制协议工具包。它提供客户端和服务器功能以及一小部分示例服务器,如果我值得纯度,就可以以使用服务器。前端服务器设计 基本设计...
安装Memcached及Memcached配置
python-memcached python-memcached
memcached安装软件 libevent-2.0.21-stable.tar.gz magent.tar.gz memcached-1.4.15.tar.gz
Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提供动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的...
MemCached For Win32 服务器 -p 监听的端口 -l 连接的IP地址, 默认是本机 -d start 启动memcached服务 -d restart 重起memcached服务 -d stop|shutdown 关闭正在运行的memcached服务 -d install 安装memcached服务 -...
memcached可视化工具memadmin,memcached可视化工具memadmin
使用memcached 方法 package com.war.common.util; import com.danga.MemCached.*; import java.util.Date; public class MemCached { protected static MemCachedClient mcc; protected static Logger log; ...
memcached协议中文版 memcached协议中文版 memcached协议中文版
memcached.exe及memcached.dll
Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的...
Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载,很好的提高了Web性能。Memcached需要有缓存服务端,采用java编程的话还需要memcached.jar,这就是java中实现memcached服务的...
memcached的基本设置: -p 监听的端口 -l 连接的IP地址, 默认是本机 -d start 启动memcached服务 -d restart 重起memcached服务 -d stop|shutdown 关闭正在运行的memcached服务 -d install 安装memcached服务 -d ...
Memcached 统计与监控,用telnet去连接memcached,并统计和监控memcached
安装Memcached及Memcached配置
Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的...
到memcached根目录 1、安装:memcached.exe –d install 2、启动:memcached.exe -d start 此时memcached已经注册为开机启动服务完成安装。 使用参数: -p 监听的端口 -l 连接的IP地址, 默认是本机 -d start 启动...