返回 登录
0

深入HBase、Spark、Alluxio、Greenplum、StreamSQL等大数据技术及其架构设计

2017年6月10-11日,由CSDN主办的SDCC 2017·深圳站大数据技术实战峰会将在深圳举办,峰会秉承干货实料的内容原则,邀请业内顶尖的架构师、大数据总监和PMC共话弹性计算、大数据平台构建、优化提升大数据平台的各项性能、Spark部署实践、企业流平台实践,以及实现应用大数据支持业务创新发展等核心话题,旨在通过来自国内一线互联网公司的实践案例,为开发者提供一个最有价值的高效技术交流平台。

日前主办方也公布了大数据技术实战峰会的日程:

图片描述

大数据技术实战峰会出品人(6月11日)

陈敏敏 苏宁云商

图片描述

陈敏敏,苏宁云商大数据中心总监,主要负责智能推荐、数据仓库和数据应用等部门的研发团队,并负责建设支撑供应链、物流、财务、运营等的统一数据平台。成电本科,上交硕士,《Storm 技术内幕与大数据实践》一书作者(人民邮电出版社、出口台湾),中关村大数据产业联盟专委会委员,2012年牵头成立三星电子研究院上海分部技术委员会(把关 Code Review 和技术架构),后在1号店分别任资深开发经理、精准化部门总架构师,目前主要关注推荐系统、应用架构、数据平台、OLAP等相关技术。

讲师

毕洪宇 饿了么

图片描述

饿了么大数据平台部总监 毕洪宇

个人简介:曾在eBay,PPTV任职DBA。2012年加入唯品会,依次经历从0到1参与数据库基础建设、大数据基础平台和实时计算平台的工作;2016年加入饿了么负责大数据基础架构,主要负责数据平台工具链及数据仓库。

演讲主题:《饿了么大数据平台的工具链、技术选型及架构设计》

演讲简介:随着接入需求方越来越多样化,对大数据的数据使用、数据存储与计算的需求也越来越多样化,业务的飞速发展及集群的规模急速扩大。如何在这样的场景下通过有限的资源来构建大数据平台、稳定支撑住业务的发展是一个不小的挑战。本次分享主要谈一谈从数据平台工具链、技术选型及架构设计出发的一些个人经验。

听众受益:

  1. 了解如何在效率与规范、隔离和共享间平衡;
  2. 学习与之相应的技术选型和架构设计;
  3. 借由饿了么在业务快速发展过程中构建大数据平台从0到N的经验获得启发。

周雷皓 百度外卖

图片描述

百度外卖大数据平台负责人 周雷皓

个人简介:百度外卖资深研发工程师,负责百度外卖的大数据平台,致力于大数据引擎的研究和大数据平台架构的设计和研发。

演讲主题:《Greenplum在百度外卖大数据架构的应用实践及性能优化实践》

演讲简介:

  1. GPDB架构介绍;
  2. GPDB在百度外卖大数据架构中的角色以及应用场景;
  3. 在生产环境中如何对GPDB进行性能优化;
  4. 平台化之路,自动化性能优化平台设计思路以及架构介绍。

听众受益:

  1. 了解MPP原理以及GPDB的架构;
  2. 大数据查询引擎优化经验分享。

周建军 腾讯

图片描述

腾讯数据平台部高级工程师 周建军

个人简介: 2015年加入腾讯,供职于TEG数据平台部,主要负责StreamingSQL及实时计算平台的相关工作。在加入腾讯前曾供职于京东商城、聚美优品,有多年的大数据相关工作经验,尤其擅长分布式存储、HBase、实时数据采集等领域。

演讲主题:《StreamSQL实时计算平台的挑战及解决方案》

演讲简介: StreamSQL是一个通过SQL描述实时计算业务需求并将其转换成实时计算任务的开发平台。相对于传统实时计算平台Storm,StreamSQL内建丰富的字符串处理、时间、统计、复杂数据结果处理等各类计算函数,除了支持标准SQL之外还根据流式数据特点新增窗口统计特性,具有强大的统计计算能力。StreamSQL解决了传统Storm原生API使用复杂、上手难度高的问题,减少了用户对复杂实时计算框架和编程语言的学习成本,让用户具有更加良好的流式开发体验。

听众受益:

  1. 深入了解StreamSQL实时计算平台;
  2. 理解StreamSQL的设计目标并从中获得启发:让用户通过通用的SQL查询语言完成实时计算需求,减少用户对复杂实时计算框架及编程语言的学习成本,提高实时计算任务的开发效率。

程浩 Intel

图片描述

英特尔软件与服务部门大数据研发经理 程浩

个人简介: Intel亚太研发中心Spark团队研发经理,Apache Spark活跃开发者,致力于Apache Spark框架在Intel平台架构上的性能分析与优化。

演讲主题:《Apache Spark大数据计算性能调优之部署最佳实践》

演讲简介:性能调优在Spark大数据应用中一直是大家普遍关心的话题。本次分享将主要探讨以下内容:

  1. 如何收集硬件利用率来分析Spark应用程序性能瓶颈,从而进行有效调优?
  2. 新硬件采购时,怎样的硬件配置对Spark应用可以有最佳的效能或者最好的性价比?
  3. 通过展示不同特性的典型Spark应用的性能分析和调优手段,揭示如何释放硬件性能,监控硬件性能发挥,并在此基础上,测试不同硬件配置诸如内存、网络、磁盘、CPU选型,对于Spark大数据应用程序性能的影响,指导运维人员决策购买或者升级新的硬件零部件。

听众受益:针对硬件性能监控来调优Spark应用程序性能,并揭示Spark应用的最高性价比环境部署最佳实践。

张翰之 滴滴出行

图片描述

滴滴出行基础平台部研发工程师 张翰之

个人简介:就职于滴滴出行基础平台部,负责HBase、Spark相关开发。

演讲主题:《HBase在滴滴出行的一站式服务平台实践》

演讲简介:面对企业的快速发展,每天几百亿业务访问、数据的疯狂增长和多租户场景下,到底企业该如何面对HBase集群规模不断扩展、集群管理、资源隔离、风险管理、服务保障、成本账单、业务监控及集群运维所带来的问题。

听众受益:

  1. 使用哪些技术保障HBase稳定的服务;
  2. 在多租户的背景下如何打造HBase一站式服务平台。

黄振贤 魅族

图片描述

魅族高级数据架构师 黄振贤

个人简介: 2016年加入魅族,主要负责数据应用平台的规划、架构设计和落地实现。

演讲主题:《魅族大数据之用户洞察平台架构设计和实践》

演讲简介:魅族DMP(用户洞察平台),通过对三方受众数据的汇聚、清洗、智能运算,构建了庞大的精准人群数据中心,提供丰富的用户画像数据以及实时的场景识别力。
对内:无缝对接各类业务平台的数据应用,如广告平台、PUSH推送、个性化推荐之间建立了数据通道,支持公司级的精准营销,消息及时送达服务等场景。
对外:完善对数据的管理及输出流程,以开放接口形式为全行业从业者提供标准的精准人群标签,帮助优化投放并提升营销效果。达到对受众的精准投放,释放数据真正价值。
本次分享将介绍用户洞察平台所采用的架构,探讨其间遇到的技术难点和解决过程,回顾目前架构的不足之处以及将来改进的方向。

听众受益:

  1. 了解大数据时代下的用户洞察,用户画像、精准营销;
  2. 了解族用户洞察平台的架构设计和实践。

顾荣 南京大学

图片描述

南京大学计算机系助理研究员 顾荣

个人简介:博士毕业于南京大学计算机系,Alluxio PMC成员。参与完成了Alluxio社区很多工作,包括性能测试框架Alluxio-Perf、Alluxio缓存策略优化、Alluxio与Hadoop生态系统多个组件的整合等。已经以一作身份在分布式并行计算领域一流期刊/会议上发表论文10篇等,并且参与编写书籍《深入理解大数据》。同时是南京大数据技术Meetup组织人,多次在国内外知名技术大会上演讲。曾在Microsoft Research、Intel、Baidu、星环科技从事大数据系统实习工作。

演讲主题:《Alluxio系统的最新原理特性、案例分析与发展方向》

演讲简介: Alluxio是一个开源内存级分布式大数据虚拟存储系统。在三年多的时间里,Alluxio开源社区已有来自全世界近500名的贡献者,成为大数据领域内历史上成长最快的项目之一。Alluxio系统已经部署在包括百度,巴克莱银行,华泰证券,英特尔,华为和去哪儿网等许多公司当中。在其中一些生产环境中,Alluxio已经行了一年多,管理数据PB级别的数据。Alluxio项目最新几个版本极大提升了系统性能,Scalability和用户体验,并增加了一系列新功能,包括统一命名空间、REST API等更加方便用户使用Alluxio。Alluxio未来将让更多用户人群可以使用Alluxio,着重提高安全性支持,支持新语言binding,以及进一步增加稳定性和对资源有效使用。此外,还会探索新的API,让应用程序能够更有效地访问数据。

听众受益:

  1. 了解Alluxio项目最新版的新特性;
  2. 学习Alluxio系统合适的应用场景与性能调优;
  3. 交流Alluxio项目的发展方向。

SDCC 2017·深圳站之架构&大数据技术实战峰会将于2017年6月10-11日于深圳南山区中南海滨大酒店举行,集阿里、腾讯、百度、滴滴出行、Intel、微博、唯品会的资深架构师和一线实践者,纳知名研发案例,遇见苏宁云商大数据中心总监陈敏敏、Apache RocketMQ联合创始人冯嘉、饿了么大数据平台部总监毕洪宇等大牛。
目前八折优惠售票中,五人团购立减1000元,更多嘉宾和详细议题关注大会官网和票务点击注册参会

评论