返回 登录
7

【SDCC讲师专访】饿了么毕洪宇:小析饿了么大数据平台从无到有到优的架构探索三味境

【编者按】每个人的成长曲线不同,有的人在研究生之时就已有相当知名的产品和框架,从而在接下来的工作中一路顺风顺水,有的人缺需要经历一个又一个的坑才能成长,不管是前者的聪明高效,还是后者的笨鸟先飞,他们都是在迈着脚步不断地向前。不妨停下脚步看下一些同行,以激励自己更好地前行。CSDN与你相约SDCC 2017·深圳站讲师。

图片描述

2017年6月10-11日,SDCC 2017将在创新之都深圳火热开启。据悉,饿了么大数据平台部总监毕洪宇将在SDCC 2017·深圳站之大数据技术实战峰会带来题为《饿了么大数据平台的工具链、技术选型及架构设计》的分享。更多峰会嘉宾和议题请点击官网

以下为正文:

图片描述

【嘉宾】毕洪宇,饿了么大数据平台部总监。曾在eBay,PPTV任职DBA。2012年加入唯品会,依次经历从0到1参与数据库基础建设、大数据基础平台和实时计算平台的工作;2016年加入饿了么负责大数据基础架构,主要负责数据平台工具链及数据仓库。

CSDN:请先介绍下自己和目前工作的重点,以及关注哪些技术领域?

毕洪宇:我是饿了么大数据平台的负责人毕洪宇,目前重点在推动饿了么数据治理,工具链整合及基础设施效率建设。关注的技术领域主要在数据库内核、分布式存储与计算、机器学习。

CSDN:您有丰富的从业经历,更是历经唯品会数据库基础建设、大数据基础平台和实时计算平台从0到1的工作。能否谈谈毕业工作这些年来在工作中的收获和体验?

毕洪宇:四点体验:第一,在工作中不要给自己设限,保持好奇心和足够专注。第二,不要让自己觉得太舒服,不要消耗自己。第三,认真反思,不断对已有的经验和知识进行压缩和抽象。第四,坦诚、包容、同理心。

比较大的收获除了个人成长以外一定是志同道合的好友,基本上我的经历都是从无到有到优的建设过程,而这个奋斗过程是很容易形成“革命友谊”的。

CSDN:作为一个餐饮O2O平台,饿了么的数据流量与电商、搜索、游戏等平台有什么不同?具有怎样的特点?

毕洪宇:订单和运单是饿了么最大的技术挑战。第一,涉及到线上和线下的实时联动;第二,整个下单/备餐/取餐/送餐过程需要在30分钟内完成;第三,每天两个瞬时高峰。

CSDN:饿了么大数据平台在技术选型中需要考量哪些因素?怎样有效协调效率与规范、隔离和共享间的平衡?

毕洪宇:在做选型的时候主要考虑三点:场景、技术和团队。展开来说,首先需要清楚有哪些业务/技术约束,即在确认场景后有哪些备选集可供选择。其次,在备选集圈定后,团队是否对备选中的技术有很好的把控能力。最后,需要考量相关技术的生态、社区、其他公司可以借鉴的经验,以及学习和使用管理成本。

针对效率与规范:自助化、自动化的建设的重要性不言而喻,而工具链正是这两者的支撑。对于隔离与共享来说,在有限资源情况下如何做好隔离和用户体验是个很有挑战的事情,这里我的经验是:

1. 基于负载特征分时调整资源比例;
2. 将每个部门,每个作业的资源分配情况、运行状况和资源消耗做好可视化同步,降低因信息不透明导致的无效沟通和抱怨;
3. 异常作业识别和快速隔离,异常资源使用情况感知和预警。

CSDN:饿了么大数据平台的架构演进是怎样的?经历过哪几个重要的阶段?运用了哪些技术?

毕洪宇:整个平台还是在持续演进过程中,到目前为止我认为主要经历了两个阶段,正在进行第三个阶段。

第一阶段:从0到1。基础设施的搭建,满足业务对于数据的基本需求。持续重复开发相似的需求,交付链路很长,信息流转比较乱。

第二阶段:从1到10。需求随着业务的快速发展而增加,无论基础设施还是资源消耗都发生了10倍的增加,在团队规模基本不扩张的情况下,通过基础设施稳定性/效率建设和工具链建设来提高整个团队的效率以及交付质量,同时保证系统的可扩展性。当前阶段,进行数据治理以及工具链整合,提高数据和系统的内在质量。

CSDN:多样化的需求对饿了么大数据平台的高可用提出了更高的要求,您认为平台还存在哪些亟待解决的问题?未来的研究重点是什么?

毕洪宇:工具链的整合是非常重要的,现在的工具有些分散,对于用户来说存在比较高的上下文切换成本;对于开发人员来说工具间的交互损耗,一致性维护也是非常高的成本,而这些是与我们对于效率追求的初衷相违背的。

至于未来研究的重点我想主要是在于数据应用上,作为平台(包括数据和工具链、基础设施)来讲拥有大量用户/系统/任务等特征数据,如何能够把这些数据应用起来提高平台的使用效率,解锁平台的新姿势,democratize data and empower people with insights.

CSDN:您最期待在SDCC 2017·深圳站大会上看到哪些内容?

毕洪宇:物联网与大数据融合的应用。


SDCC讲师专访系列:


SDCC 2017·深圳站之架构&大数据技术实战峰会将于2017年6月10-11日于深圳南山区中南海滨大酒店举行,集阿里、腾讯、百度、滴滴出行、Intel、微博、唯品会的资深架构师和一线实践者,纳知名研发案例,遇见苏宁云商大数据中心总监陈敏敏、Apache RocketMQ联合创始人冯嘉、饿了么大数据平台部总监毕洪宇等大牛。
票务火热,预购从速,团购立减1000元,更多嘉宾详细议题敬请关注大会官网和票务点击注册参会

评论