返回 登录
0

容器3万+,覆盖所有事业部,美团点评容器化实践

CCTC 2017容器专场,来自美团云容器平台负责人郑坤将带来《美团点评业务容器化实战分享》的主题分享。在大会开始之前,我们对他进行了简短的会前采访。

图片描述

美团点评容器平台负责人 郑坤

以下为采访实录:

CSDN:美团内部是什么时候开始使用Docker技术的,目前容器数有多少,效果如何?

郑坤: 2015年7月之前,一些部门已经开始用Docker做一些CI/CD方面的实践。2015年7月,美团云计算部立项建设Docker容器平台,为美团点评内部所有业务线提供容器计算服务。2015年11月容器平台第一个版本完成,2016年3月正式接入业务。目前容器平台承载线上业务容器3万余个,覆盖美团所有的事业部,几十个产品线。

CSDN:你们的使用场景有哪些?

郑坤: 绝大部分都是承载公司的线上业务,有web、缓存、爬虫、消息队列、api处理等多种类型。还有一些的测试业务,放到单独的集群里跑。

CSDN:使用过程中,遇到哪些坑,你们的解决方案是什么?

郑坤: 遇到很多问题,大的问题有:

  • Docker本身就是版本迭代频繁,bug较多的开源项目。我们从1.11.0版本起维护稳定版本,对于bug,一方面自己修复,另一方面将新版本中bugfix backport到我们的稳定版本里。
  • Docker网络功能比较弱,overlay的方案又有较大的性能开销,从性能和研发成本考虑,我们对Docker的libnetwork做了扩展开发,可以让Docker直接使用美团云的网络基础设施。
  • 解决数据持久化和容量限制的问题。原来我们是把Docker Volume直接放到宿主机本地磁盘上,后来发现容量限制能力不足,改用LVM磁盘做Volume后端存储。现在我们使用美团云块存储服务(EBS)做Volume后端,相比LVM,EBS在数据迁移、备份、容量、容灾上都有更有优势。
  • 在大规模实践中,有遇到容器平台弹性和可扩展性不足的问题。美团的业务流量有很强的波动性和突发性,很多时候要在几分钟内扩容出几百,甚至几千个容器并达到运行状态,这对容器平台的弹性能力和可扩展性要求非常高。我们对平台多个组件做了针对性的优化,举个例子:我们的容器平台可以支持批量调度,一个API请求即可同时调度多个容器。

CSDN:能否介绍下你们线上的Docker集群所使用的技术栈?

郑坤: 除了Docker,大部分技术组件都是我们自研的。

平台控制和网络是基于美团云开发实现的,美团云本身也是我们自研的平台。
对象存储,EBS等组件都是美团云自研的
监控有用到第三方的,比如Open-Falcon,监控数据采集部分是基于libcontainer开发的。

CSDN:你觉得Docker从开始发展到现在,现在还会哪些需要解决的地方吗?

郑坤: 个人觉得Docker作为一个单点的容器技术已经比较完备了,虽然在隔离性方面和虚拟机有不小的差距,但这问题本源在内核,不是Docker能改变的。

相比Kubernetes,容器集群管理、编排这些功能是Docker的不足,不过可以看到Docker公司已经在SWARM上逐渐发力,相信容器集群、PaaS和容器编排技术将成为未来几年的焦点。

CSDN:对于一般规模的技术公司,在使用Docker技术过程中,你有哪些建议?

郑坤: 和大公司相比,主要体现在业务量的差别,也是问题规模的差别。据我所知,一些成熟的开源项目在业务量不大的前提下,还是可以直接使用的,比如cAdvisor,Prometheus,flannel等。因此每个公司应该从业务需求和研发成本两方面做tradeoff

CSDN:这次你的演讲主题聚焦哪些方面?哪些用户可以过来探讨?

郑坤: 本次报告主要是我们在美团内部推广容器平台的一些实践介绍,包括我们的设计、运维和踩坑等等。

我们使用Docker和其他公司的主要区别是,我们是基于美团云已有的平台和组件,既没有从头全新的设计和开发,也没有大范围使用开源项目,因此比较适合有自己的基础设施并想使用Docker的用户来交流。

登陆官网,查看大会详细信息,大会报名地址,猛击这里

也可手机微信扫描下方二维码,快速报名。

图片描述

评论