返回 登录
-210

【SDCC讲师专访】专访有赞洪斌:“精细化”平台架构带来数据价值最大化

阅读41578

2016年9月22日-23日,由CSDN重磅打造的大数据核心技术与实战峰会、互联网应用架构实战峰会将在杭州举行。

SDCC 2016大数据技术&架构实战峰会(杭州站)是由CSDN主办的顶级技术盛会,大会目的是促进更加深入的业内同行技术交流,传播先进技术理念。SDCC 2016·杭州站为期两天,主要面向对大数据/架构技术感兴趣的中高端技术人员,将秉承干货实料(案例)的内容原则,聚焦技术实践,结合业务,邀请业内顶尖的架构师和技术专家,共同探讨海量数据下的应用监控系统建设、异常检测的算法和实现、大数据基础架构实践、敏捷型数据平台的构建及应用、音频分析的机器学习算法应用,以及高可用/高并发/高性能系统架构设计、电商架构、分布式架构/微服务等话题与技术。

有赞是一家移动零售服务商,致力于为企业和个人提供全套的移动电商产品服务方案。大会前夕,有幸邀请到有赞大数据团队负责人洪斌接受CSDN记者专访。

图片描述
有赞大数据团队负责人 洪斌

洪斌,有赞大数据团队负责人。在数据仓库,搜索引擎,机器学习方面有较丰富的经验。2015年加入有赞,负责有赞大数据平台和搜索引擎的搭建及应用。之前担任汽车之家广告平台架构师。

以下为采访正文

CSDN:请介绍下自己和目前从事的工作,以及关注哪些技术领域?

洪斌:热爱coding,热爱大数据。主要从事搜索引擎,数据挖掘以及大数据领域的技术研发和管理工作。2015年4月加入有赞,负责有赞搜索/推荐,数据仓库的搭建和实施。本人也有幸经历了有赞发展成为服务百万零售商过程中,面临的一系列挑战和机遇。

CSDN:微电商是区别于传统电子商务的电商模式,有赞作为一个移动零售服务商,它的大数据平台架构是怎样的?有什么不同?

洪斌:有赞的主要特点之一是服务于各行各业的零售服务商,他们有不同的场景和产品要求,这使得我们的业务类型多样且变化较快;其次我们持续保持一个小的高效的企业,要求每个产品运营人员了解行业,了解客户,这样,我们对数据的要求也越来越“精细化”。

基于如上特点,我们的大数据平台在设计上尽可能保持简洁。具体的体现在如下几点。第一,数据仓库不再像传统的数仓模型这么的层级;第二,我们期望数仓模型随着产品的更新逐步迭代,而不是一开始设计完备的数据模型;第三,我们提供数据仓库周边设施,比如数据字典,数据地图等来帮助使用者理解数据仓库的数据结构和血缘关系,降低数据仓库的学习门槛。

“精细化”的要求我们的数据可以在一定的程度可以被一线人员理解和使用。而不仅仅是数据分析师才能使用的数据工具。我们在数据仓库基础上搭建了OLAP多维分析系统,让使用者可以方便的进行数据挖掘;而为了达到灵活的查询和筛选,我们把数据仓库按照实体搭建搜索引擎,供使用者查询和研究。

从上也可以看出,技术为业务服务,在移动互联网的背景下,影响数据平台价值的最关键因素还是数据人才的质量。首先要懂业务,了解细分行业的需求和痛点才能有目的的挖掘数据的价值;其次才是有手艺。这样的人才也是我们最缺少的。

CSDN:在应用数据仓库技术时您遇到过哪些挑战?能否分享您的解决思路,以及最新的成果?

洪斌:最重要的挑战还是我们的效率问题。我们在做数据仓库的规划时候,我们的假设是每个产品线的生命周期不超过半年。除了上述的几点外,我们建立一套自动化ETL的工具可以方便的将mysql和日志实时导入大数据平台中。为了让数据仓库更好的服务于使用方,我们技术人员需要参与数据产品的设计和后期的迭代。

数据挖掘是另外一个挑战,商户画像,商品池归类以及反作弊都是数据分析的基础。而这些技术需要时间的积累,同时也非常容易发生变化。我们数据挖掘的成果沉淀成数据仓库的一部分,并通过统一的口径发布出去。这样可以让每个使用者都可以享受数据挖掘的便利。比如我们通过反作弊技术标记每个交易的作弊类型,写入相应的分析表中。这样每个分析师都能够在实践过程中避免作弊数据带来的偏差。

页面埋点的问题也很头疼。实际上我们到现在都没有解决这方面的问题。

CSDN:在时下这个业务变更频繁的背景下,可否为我们分享下互联网做数据仓库的经验?

洪斌:“拥抱变化,可以溯源,接口多样”是我们总结出来的经验。拥抱变化是指数据仓库尽可能保持简单,我们提供最多的数据模型层是近源数据层,它仅仅是业务数据的物理结构的反映;往上一层是数据宽表,它提供基本的数据质量和数据整合的服务;最后才是数据指标表,提供数据分析基本的基础指标。只有非常稳定的业务才会达到这一层;

可以溯源,强调的是数据质量问题。我想数据从业者都经历过对账问题,非常耗时也非常的痛苦。我们在设计上保证数据指标可以溯源,通过血缘分析来尽可能避免数据质量的问题。

在实践过程中,我们越来越明显的感觉到大数据时代,不存在一个通用的工具可以解决所有问题。不同的问题有不同的解决方案。在数据处理上面统计类的需求我们使用hive,算法型的需求我们需要使用spark的迭代计算优势。在BI层面上,我们提供即席查询,OLAP系统,搜索引擎以及报表系统来满足不同场景和不同角色的数据需求。

CSDN:您怎么看待大数据这个领域以及未来的发展方向?

洪斌:这个问题我不好说,我对大数据的理解还比较肤浅。就我来看,大数据有平台化的趋势,越来越像一个通用的基础平台。它是一个企业数据的入口,同时也是数据的出口。企业的战略,产品的更新和技术的演进都依赖大数据平台的发展。

CSDN:在本次SDCC 2016(杭州)大数据峰会上,您分享的话题是?

洪斌:我分享的主题是有赞大数据实践:敏捷型数据平台的构建和应用。分享一下这一年来我们走过的路程。我们尽可能讲述我们最真实的经历和感受,同时由于我们的能力有限,也请各位朋友指正。谢谢!

2016年9月22日-23日,SDCC 2016大数据技术&架构实战峰会将在杭州举行,两场峰会大牛讲师来自阿里、京东、苏宁、唯品会、美团点评、游族、饿了么、有赞、Echo等知名互联网公司,共同探讨海量数据下的应用监控系统建设、异常检测的算法和实现、大数据基础架构实践、敏捷型数据平台的构建及应用、音频分析的机器学习算法应用,以及高可用/高并发/高性能系统架构设计、电商架构、分布式架构等话题与技术。

9月5日-18日是八折优惠票价阶段,5人以上团购或者购买两场峰会通票更有特惠,限时折扣,预购从速(票务详情链接)。

评论