一 监控
查看memcahe服务器的状态,通常我们使用2个命令
1)telnet 127.0.0.1 11211
查看全局
stats
查看slab
stats slabs
查看item
stats items
2)vmstat 1 -S M
二 调优
根据笔者个人经验,memcached调优需要注意一下几点。
1)节点过热
如果memcached有个别节点容量耗光,同时并发很大。那么需要重新分配一致性hash的服务器分布。或者增加虚拟节点
2)缓存预热
如果线上压力非常大,memcache集群扩容,我们需要对对新的memcached服务器进行预热,所有客户端要将数据双写入这个新节点里。一般缓存容量的阈值为70-80%
3)分散部署
由于memcache服务器对CPU消耗非常小,基本上在20W/second并发情况下,CPU负载也不会超过1%,因此CPU和磁盘会造成浪费。所以尽可能利用手头多的服务器部署。
例如有100G缓存的需求,初始分配5台20G内存的机器,不如使用10台10G的机器。这样可以提高缓存的绝对并发能力。同时降低单个节点宕机的损失。另外可以提高网络吞吐率。还可以把空闲的磁盘和CPU共享给其他应用来使用。
4)slab、chunk、page、增长因子
chunk中,与48B是chunk本身数据结构的容量,所以chunk设置太小,会导致本身占用过多,大量浪费的现象。但是如果设置过大,也会产生内存碎片。所以这个要酌情处理。
page大小,决定了最大缓存对象,默认是1M。但我们有时候也可以保存超过1M的字符串,xmemcached客户端会对重复的字符串进行压缩。
增长因子很关键,设置过大,过小都会造成浪费。所以要根据缓存对象大小的正太分布。增长率比较合适。memcached启动的时候是不占内存的。只有在使用缓存的时候,一次向操作系统申请一个page的空间。如果在这个page里的slab之中的chunk使用特别少,那么其他空间就成为了内存碎片无法继续分配。
5)缓存雪崩
假设线上有10台memcache的集群,内存负载为80%。如果这个时候宕机3台。那么将会失去80%×30%=24%的缓存数据。持久化层的压力会瞬间加大。导致所有请求处理缓慢,像雪崩一样是整个集群无法工作。所以这个时候我们要预留尽可能多的空闲。因此内存阈值70%是比比较合理的。
6)服务器榨取
案例1:在一台64G内存的服务器上,1个48G内存的memcached
案例2:在一台64G内存的服务器上,4个12G内存的memcached
经过测试显示,案例2的性能比案例1明显提高了50%,服务器处理能可以到 71.5W#/sec
7)缓存穿透
在一定场景下,应用的请求会直接查询DB而返回null。这样会导致DB大量的空查询。压力急剧上升遭受攻击。这个时候,需要将null或者空结果集进行缓存。
更新历史
2015-08-26 推荐一个缓存高并发的极品文章
http://weibo.com/p/1001603862417250608209?sudaref=passport.weibo.com
作者简介
昵称:澳洲鸟,猫头哥
姓名:朴海林
QQ:85977328
MSN:6301655@163.com
合作成员
猫头哥:http://phl.iteye.com/
根根:http://blog.csdn.net/suileisl
芝麻的奋斗:http://sesame84.iteye.com/
wan560:http://blog.csdn.net/wan560/
terrily:http://terrily.iteye.com/
分享到:
相关推荐
Memcached内存分析、调优、集群,好资料一齐分享
memcached是高性能的分布式内存缓存服务器,开源
Memcached内存分析、调优、集群
技术分享:Memcached内存分析、调优、集群
Memcached内存分析、调优、集群.
Memcached原理和使用详解.pdf memcached完全剖析–1._memcached的基础.pdf memcached全面剖析.pdf Memcached内存分析、调优、集群.pptx
《Memcached内存分析、调优、集群.pptx》 《NET版分布式缓存Memcached测试实例.docx》 《Memcached管理及_.NET_开发.doc》 《memcached-win32-1.4.4-14.zip》 《安装Memcached及Memcached配置.doc》 《Linux...
J2EE性能调优 Jboss的优化配置 Memcached分布式缓存 Nginx+Tomcat 动静分离 Nginx+tomcat集群Memcached+Session复制 高性能高并发服务器架构 基于nginx的tomcat负载均衡和集群 实现多服务器负载均衡 系统性能优化 ...
3.5 grow factor 调优................................................................................................................. 12 3.6 memcached 的过期数据惰性删除..................................
Tomcat的调优;JVM优化:生产环境参数实例及分析;优化JVM参数提高eclipse运行速度;Tomcat JVM优化一例;linux下Nginx+tomcat整合的安装与配置;Memcached安装;memcache集群配置;JMS安装;JMS集群配置;Nginx反向...
2.4 使用Growth Factor进行调优................................................................................................14 2.5 查看memcached的内部状态................................................
ChatGPT智能搜索引擎的性能优化和调优可以从以下几个方面入手: 1. 数据处理:对数据进行处理和优化,包括数据清洗、数据压缩、数据分片等。可以利用现有的大数据处理工具,例如Hadoop、Spark等,进行数据处理和优化...
Web应用篇详细介绍了Nginx、Varnish和Memcached这三款Linux服务器上极为常用的Web应用软件的安装、配置、管理、使用方法、工作原理和性能调优技巧。数据备份与恢复篇首先讲述了开源备份软件bacula的使用与管理技巧,...
它跟memcached类似,不过数据可以持久化,而且支持的数据类型很丰富。有字符串,链表、哈希、集合和有序集合5种。下面这篇文章主要给大家介绍了关于redis状态监控和性能调优的相关资料,需要的朋友可以参考下。
- Memcached 8. 消息队列: - RabbitMQ - Kafka 9. 性能优化: - JVM调优 - Tomcat调优 - 数据库调优 10. 安全: - XSS、CSRF、SQL注入等常见安全漏洞 - Spring Security安全框架 以上是Java后端...
- Memcached 8. 消息队列: - RabbitMQ - Kafka 9. 性能优化: - JVM调优 - Tomcat调优 - 数据库调优 10. 安全: - XSS、CSRF、SQL注入等常见安全漏洞 - Spring Security安全框架 以上是Java后端...
- Memcached 8. 消息队列: - RabbitMQ - Kafka 9. 性能优化: - JVM调优 - Tomcat调优 - 数据库调优 10. 安全: - XSS、CSRF、SQL注入等常见安全漏洞 - Spring Security安全框架 以上是Java后端...
- Memcached 8. 消息队列: - RabbitMQ - Kafka 9. 性能优化: - JVM调优 - Tomcat调优 - 数据库调优 10. 安全: - XSS、CSRF、SQL注入等常见安全漏洞 - Spring Security安全框架 以上是Java后端...