返回 登录
0

【SDCC 2016】百度、QQ 空间、阅文集团、我盈互联的架构演进之路

【CSDN现场报道】2016年11月18日-20日,由CSDN重磅打造的年终技术盛会 —— “2016中国软件开发者大会”(Software Developer Conference China 2016,简称SDCC 2016)在北京京都信苑饭店隆重举行。本届大会云集了100多位国内外顶尖专家和技术大牛,共设新趋势和新实践2大主题会场,14个技术专题。面向国内外的中高端技术人员,聚焦最前沿技术及一线的实践经验,助力企业的技术升级和改造、全面提升技术人员的综合实力。

今年的SDCC架构演进专场汇聚了来自百度、QQ 空间、阅文集团、我盈互联的资深技术专家,围绕着架构演进主题各自分享了其团队的探索实践。今天天公并不作美,但雨夹雪的天气并没有影响大家的热情,会场观众在9点准时抵达现场。本次会议在当当网架构部总监史海峰的主持下正式开始,史海峰首先对所有的主题讲师与内容进行了扼要介绍并向所有观众表示欢迎。

腾讯后台资深架构师王帅:QQ空间后台架构优化之路

腾讯后台资深架构师王帅,从事后台系统开发7+年,目前主要负责QQ空间后台的架构设计、系统优化等工作。王帅发表了《QQ空间后台架构优化之路》的主题演讲。介绍了QQ空间的系统架构,QQ空间底层基础数据包括:个人资料、权限、关系链、个性化设置;UGC层包括说说系统、相册系统、日志系统、商城系统;FEEDS层包括好友动态、计数、落地动态、push;移动端是MSF/WNS接入层;最上层的客户端手机QQ和手机QZONE。

通过QQ空间后台做的一系列优化,围绕系统选型、容灾调度、柔性可用等方面,介绍了QQ空间亿级用户服务背后的网络架构。针对海量请求和突发状况,分享了有损服务和系统容灾的深刻理解。

系统优化

1、动态拉取优化

假设每个用户平均有100个好友,每人存20条,则:
访问量:100*10w /s = 1000w/s
流量:100*10w/s*20条/人*1kB/条 = 1.6Tbps

现按照时间戳排序,再按照索引排序,分屏拉取(6条一屏),则
访问量:10w /s *6= 60w/s
流量:10w/s * 6条*1KB/条 = 4.9G

2、提速与省流量

  • WNS接入优化
  • 后台业务优化
  • 图片优化:适配服务、sharpP

容灾调度

1、SET部署

  • 单SET: 负载均衡、读写分离、cache、分库分表
  • 设定SET大小标准
  • SET物理隔离,独立服务
  • 保证各SET是同构的
  • 预留buffer

2、数据同步

  • SET同步,存储/cache一致
  • 定期演习压测,做到心里有底

柔性可用

  • 含义:在资源有限的情况下,不要刚性的依赖某个环节或者特性,提供最合适的服务。关键点:核心诉求、局部放弃、降级服务
  • 实践:请求量、请求特征、动态读柔性、动态写柔性

“高峰期柔性开启后,流量下降很明显。什么是好的架构,业务体验好,省成本加高可用性就是好架构。” 腾讯后台资深架构师王帅总结说。

阅文集团首席架构师徐海峰:一统三国 阅文集团内容系统架构整合

阅文集团首席架构师徐海峰发表了《一统三国:阅文集团内容系统架构整合》的主题演讲。徐海峰主要负责内容中心分布式framework架构和分布式存储、分布式计算工作。面对核心资产内容技术整合问题,徐海峰团队历时半年之久,通过创立内容中心、章节信息—数据路由、路由标识-id生成器、任务调度等方式,解决了从孤岛式架构演变成统一架构、海量章节内容的存储问题。整合了原来的异构数据源,统一了服务和数据层。通过开源软件和自主开发软件的有机结合,实现了快速有效对大型网站进行重构。

我盈互联CTO陈庆吉:互联网金融初创公司从0到1的架构演进之路

盈互联CTO陈庆吉发表了《互联网金融初创公司从0到1的架构演进之路》的主题演讲。与支付类公司庞大的基础架构建设相比,互联网金融初创公司更愿意快速试错,以业务为核心对架构进行演化升级。在不显著提高开发成本的同时,让系统与业务齐飞,做助推器,不做减速器,移动云开发生态技术的逐渐成熟为我们提供了解决问题的机会。在云计算基础服务,大数据处理,安全运维等方面大量使用了第三方云服务,在平台选择,服务组合,架构调整升级等方面积累了一定的经验。我们没有大型互联网公司的IT架构,要追求架构的成本可控性,在架构中占据很大的是运维管理和安全运营方面。希望我们的经验能给初创公司的IT架构搭建带来一些启示。未来,我们希望自己的在前端使用React+ Redux;随着业务的增加,考虑使用微服务(Docker+SpringBoot+Dubbo);比如行情等关键服务,会考虑用Golang。

百度工程效率部资深工程师廖超超:百度万人协同规模下的代码管理架构演进

百度工程效率部资深工程师廖超超,分享了《百度万人协同规模下的代码管理架构演进》的主题演讲。介绍百度代码管理如何支撑百度万人规模(分布在全球十多个Office的一万多开发人员、每日近两万次的提交、代码库规模超过10TB)下的协同开发,在解决代码管理遇到的容量、吞吐量、跨地域和安全等问题的过程中,百度代码管理的架构经历了产品初创时期、发展时期、成熟时期、企业级SaaS四个阶段。现场听众在了解大规模协同开发场景下如何确保代码安全可靠的同时,对互联网企业高吞吐量的非典型web应用架构优化也有了深刻的认知。

产品初创时期

产品初创时期,在代码库服务设计上,重点考虑了如下几个方面:

  • 服务稳定性
  • 代码安全性
  • 代码质量

产品发展时期

在不断尝试优化单机性能的努力后,单机容量已经无法满足并发和吞吐量的需求。单机性能优化: 系统性能+优化工作+优化缓存=性能提升200%

产品成熟时期

吞吐量不足,网络带宽成为瓶颈,高峰TPS近10000。解决方案:带宽扩容,千兆网卡换成万兆网卡;机器扩容,拆分更小的实例(带宽压力分摊) ,有效利用备份机器(冷备机器闲置) ,增加每组实例的只读节点数(读请求远大于写)。

企业级SaaS服务下代码管理架构实践

代码管理是软件研发的核心环节之一,企业级SaaS服务模式给代码管理提出了新的挑战。架构实践如下:

  • 更安全-Proxy集成安全认证
  • 服务容量-基于repository分片,支持动 态扩容
  • 高可用- Git Server三重备份,数据永不丢失;Git Server服务Failover,Proxy负载均衡;支持客户本地备份
  • 易运维–集群监控、资源管理 提供可视化的dashboard
  • 支持专属云-物理隔离

更多精彩内容,请关注图文直播专题:SDCC 2016中国软件开发者大会,微博:@CSDN研发频道,订阅CSDN官方微信公众号(ID:CSDNnews),即时获取大会动态。

评论