返回 登录
0

唯品会多线程Redis设计与实现

阅读10762

声明:本文来自京东张开涛的微信公众号(kaitao-1234567),授权CSDN转载,如需转载请联系作者。
作者:申政,开源爱好者,唯品会高级DBA,主要负责Redis相关领域的源码研究和研发工作。
责编:钱曙光,关注架构和算法领域,寻求报道或者投稿请发邮件qianshg@csdn.net,另有「CSDN 高级架构师群」,内有诸多知名互联网公司的大牛架构师,欢迎架构师加微信qshuguang2008申请入群,备注姓名+公司+职位。

本文将向大家分享下我们正在开发的多线程Redis。在我们的Redis使用中,发现了一些痛点问题,涉及到了Redis框架的设计。

图片描述

我们线上有大量的Redis实例在运行,规模比较庞大,有些Redis集群实例规模超过100+,我们开始对Redis进行了多线程版本的改造,就是我们现在正在开发的产品Vire。

图片描述

这是Vire的一个现状,分几个阶段进行开发,现在是0.1.0版本。

图片描述

以上是Vire 0.1.0的一些设计思路。下面说说具体实现:

图片描述

这是Vire的多线程模型,借鉴于memcached,master+worker线程模型。

图片描述

这个图比较直观的反映了线程模型的工作原理,多线程不可避免会用到锁,以下是Vire的锁机制:

图片描述

这里有个逻辑DB的概念,其实就是把多个Redis DB伪装成一个DB提供给用户。DB级别的锁,会不会性能很差呢?后续会有测试报告给出。

图片描述

用户使用的所有key,是通过key的Hash值被分散到了各个物理DB上,目的就是降低DB锁的竞争提升QPS,可以通过info命令看到物理db中key的分布:

图片描述

下面来看下成功执行一个Redis命令要走的流程:

图片描述

我们的DB锁是在哪一步使用呢?

图片描述

有可能用到DB锁的步骤就是红框中的两步,但像ping这样命令,在整个过程中是用不到DB锁的,可以看出,Worker线程在一部分时间是完全并行执行的,关于Vire中的后台线程:

图片描述

Worker线程专注于处理客户端的请求,杂活累活有backend线程来做,backend线程在Vire后续版本中,会发挥更重要的作用。

图片描述

这里是Vire代码内部对object的处理,这里会有些性能退化。

图片描述

这是Vire对多key命令的一些特殊处理,死锁的问题,导致个别Redis命令在Vire中暂时无法实现。

图片描述

Vire中增加了一些权限管理,Vire增加了管理员的角色,保证了一些危险命令不被开发执行。

下面说说Vire的测试:

图片描述

这里着重说说abtest和性能测试,为了保证Vire的命令执行起来与Redis一模一样,我们开发了abtest测试框架。详细说说abtest框架中各模块的作用:

图片描述

图片描述

这个测试框架有效的帮我们发现了一些bug,以下是性能测试:

图片描述

图片描述

图片描述

我们的目标就是性能接近或跟mc一样,以下是hotkey测试:

图片描述

hotkey的效果还不错。

Q&A

  1. Q:客户端需要换吗?
    A:客户端兼容,无需更换,使用起来跟原生redis一样

  2. Q:Worker和DB的关系是什么?
    A:Worker和DB没有关系, client是数据Worker线程的, DB是完全独立的

  3. Q:后期主备会支持吗?
    A:以后会支持主备,集群和脚本等高级功能

  4. Q:有没有想过把锁降低至key级别?
    A:没必要key级别的锁

  5. Q:死锁问题为何不通过顺序锁定相关DB来解决呢,我们的Redis是分布式锁,通过按统一的顺序锁定,就可以避免死锁
    A:锁的数量会太多,你说的这个死锁问题很好,有这样的想法,但还没有时间去验证可不可行,以后可以尝试。

  6. Q:Vire和Redis-cluster比起来哪个性能更好?
    A:Redis-cluster是集群模式,Vire是单实例,没办法比较性能,Vire最后一个版本希望能支持到集群

  7. Q:给我的理解Vire的多个逻辑DB的设计原理和Redis-cluster里多个分片原理是一样吧?
    A:非常类似, 只不过Redis-cluster里的slot是海量的,16384

  8. Q:现在Redis-cluster的解决方案是客户端自己计算slot的位置,可以通过根据操作的读写类型,实现负载均衡,Vire采取的多DB+多Worker的方案,他这样的优势在哪里?
    A:主要是提升单个实例的QPS能力

  9. Q:现在的设计是全部基于内存上的?服务器宕机是不是数据全都会消失
    A:Vire0.1.0版本数据全部在内存,只适合于做缓存, Vire后续版本会做持久化和复制,甚至是集群


2016年9月22日-23日,[SDCC 2016大数据技术&架构实战峰会](http://bss.csdn.net/m/topic/sdcc_invite/hangzhou /)将在杭州举行,两场峰会大牛讲师来自阿里、京东、苏宁、唯品会、美团点评、游族、饿了么、有赞、Echo等知名互联网公司,共同探讨海量数据下的应用监控系统建设、异常检测的算法和实现、大数据基础架构实践、敏捷型数据平台的构建及应用、音频分析的机器学习算法应用,以及高可用/高并发/高性能系统架构设计、电商架构、分布式架构等话题与技术。
9月5日~18日是八折优惠票价阶段,5人以上团购或者购买两场峰会通票更有特惠,限时折扣,预购从速。(票务详情链接)。

评论