返回 登录
0

京东云首席架构师杨海明:京东云探秘,从实践者到服务者

【CSDN现场报道】5月13日-15日,由全球最大中文IT社区CSDN主办的“2016中国云计算技术大会”(Cloud Computing Technology Conference 2016,简称CCTC 2016)在北京新云南皇冠假日酒店隆重举行。本次大会以“技术与应用、趋势与实践”为主题,聚焦最纯粹的技术干货分享,和最接地气的深度行业案例实践,汇聚国内外顶尖技术专家,共论最新的云计算技术实践与发展趋势。

京东云首席架构师杨海明进行了题为《京东云探秘:从实践者到服务者》的演讲。京东云作为领先的云计算服务平台,为全产业链提供了各类成熟的解决方案、可信赖的基础服务和一站式数据分析云服务。他提到京东和其他商家的不同点是在于更愿意接纳生态,共享数据,并认为技术的落脚点一定要到特定业务上。

图片描述

京东云首席架构师 杨海明

以下为演讲实录:

大家好,很高兴参加CCTC的大会,来分享一下京东的思考。去年参加云计算的大会时,我个人考虑的问题还是技术怎么做得更漂亮,功能如何做得更多;但是今年更多的是从业务角度思考,技术是否真的能被真实场景所使用。

我们所说的京东云,其中包括云计算和大数据,在提供资源方面,京东云主要是容器和虚机为主,我们内部统计过:较大规模的容器达到十万个左右,支撑京东2015年4627亿元交易额,经历数次618和11.11大促的考验,日均处理10PB级的数据,超过1亿的用户。京东有着大量商品、数据和用户,进行用户画像之用,分析用户的年龄性别,采购习惯以及未来采购能力,都是基于大数据的能力进行分析,这些能力本身也是京东云平台所具有的。

我们把京东云进行产品化,大概分为三块,大家说到京东基本会想到做电商的,我们肯定有电商的能力。虽然我们把它细分所谓的电商云、物流云、智能云及产业云,但其本质上都是大电商的概念。交易是电商比较本质的事情,采购、促销这些构成电商平台。物流云,京东已经实现了当日达。产业云,更多方案是,政府现在诉求是什么,现在不是甲方和乙方的概念,是合作伙伴的概念,政府有政策和数据优势,毕竟多年沉淀出来的数据,做电子信息化做很多年了,数据是很多的。如果提供这些数据给老百姓,会变成更有意义的事情。所以数据交互能够产生很大的价值,这是大数据比较热的场景,单纯的说做Hadoop、数据分析这是技术问题。但是技术问题最终一定解决业务场景。我们可以拿云计算代替传统场景,但是大数据还没有办法拿出特别清晰的业务模式证明大数据是可行的,所以这块需要垂直产业的概念。

第二个层面,数据分析服务;数据分析首先需要基础数据采集分析、处理,以及在第二个层面进行数据展示、数据可视化。在此之前需要有数据挖掘平台,比如在京东各种用户行为数据和产品数据之间挖出有用的数据,通过打标签制造出比较有用的数据。这里边其实是一个层次的概念,从底层的分析数据,再到可视化数据、数据集成,这一系列的概念结合才能进行使用。最底下是基础服务,包括我个人在Openstack社区做过一些工作,看到Openstack有很多项目,但核心项目是计算、存储、网络,这几个基础的东西构成使用云计算的基本场景。对于存储的变化,我从数据的角度把数据库作为存储的一种。数据放在文件存储、块存储,或者放到对象存储、数据库里边,这是存储的一种。存储和CDN技术切合度比较高。因为存储在北京,你希望全国都可以访问,所以你需要CDN技术,目前大家也可以看到运营商对CDN投入比较大。

公有云方面,中国的网络环境还是比较恶劣,各种黑帽子白帽子等玩家在里边生产一些垃圾的东西,对安全挑战很大。网络这块,互联网对IT的要求并没有很复杂,不像传统IT,会有各种合规性。这块我们更多的事情是需要把互联网IT形态、网络模型和传统的企业网络模型进行切合。

关于数据,Spark、Hadoop工具主要为开发者提供分布式、全托管批量和实时数据计算服务;数千工坊,是通过拖拽,所见即所得操作方式对海量数据进行可视化分析;API网关为数据所有者提供开发集成服务,使应用及数据快速转化API;数据迁移很难,当时做数据标准的人都已经离职,如何把数据描述更清楚、进行迁移,更多是在京东云内部存储和标准化的迁移。

万象平台存在很久了,它开始存在的目的是为了满足京东金融应用,比如你需要京东金融数据放在那里,你就可以拿到那个人信用体制的信息,其目标是成为综合性数据交易平台。现在有贵州大数据交易所,还有上海大数据交易所都有类似的交易场景,国家也在往这方面去做。

接着是电商云的方案,电商云内提供了京东商城、京东体系的电商云或者物流云的方案,以及咨询培训服务。在交互时,发现很多人希望了解互联网。互联网到底是什么,我进入互联网公司之前一直问这个问题,我对互联网最开始认识就是简单粗暴,现在还是这句话简单粗暴,但是认识有不同的地方。简单,首先互联网使用大量的开源技术,京东用OpenStack、Docker技术,我认为很简单,在座的很多人都会拿这些工具做相应的事情;粗暴是对互联网应用场景而言的,大家知道双十一场景我们内部做一些消息队列等服务,这些都是非常巨大无比,这不是我之前在企业场景里能看到的环境,所以你说它粗暴解决很大规模的场景,其实要解决很多规模上的问题。咨询培训服务做的是什么事情及首先是新的思维,一些新的技术模型和技术思考。

下面讲一下增值服务与生态资源对接,主要是供应链金融服务、物流配送服务、平台推广服务等。我认为电商形态比较稳定,客户需求,或者人的需求一直在变化,这是2B和2C的区别,2B形成之后很长一段时间稳定下去,2C场景下人会变化的。

技术上有一个很有意思的状态,全栈工程师的概念,从上到下都懂。但是从业务上来讲,一个人又懂老人和小孩,又懂女人和男人,这是不可能的。所以业务层面划分的很清晰,技术层面的技术人员需要端到端技术能力非常强,所以我们做公有云业务的时候观察到的场景。

配送方面,目前京东到家配送模式;每个客户每天有快递的模式;还有最近京东到家和达达合并,达达重包的物流模式;这些都是在配送领域的创新。另外方案咨询,物流战略规划,如果全国布点的话,现在炒得比较热的农村电商,卖土豆的县不可能全国各地布点,如何使用第三方物流配送体系去做。

智能的一个核心点是产品的之间互联互通,这会直接带动物联网的发展。智能解决的是物和物之间的互通,例如洗衣机和冰箱之间如何建一个网。如果再延伸一下,整个链条你都需要数据回溯体系建设,这也是数据和数据之间的联通,对于这么大数据量和复杂的结构,你是否可以支撑这个结构?这是很有意思的事情。

产业云解决方案关注的点是基础服务、产业平台、政务大数据平台和大数据应用。我们更关注还是政务数据之间的交流互通。大家做过政务,看到政务数据之间的孤岛或者竖井,彼此之间没有联通,现在想把这些东西牵过来。你可以把物理机抱过来,但是你强制打通功能和概念上是不可行的,如果做成一个统一的平台输送出去,这是非常有意义的事情。政府现在谈一个事情,数据是国家的,管理是部门的,变现是企业的,政府鼓励企业变成有价值的东西,因此这还是一个很有意思的尝试。

业界有京东模式和阿里模式,京东模式是重模式,我们京东自己也在建数据中心,今年3月份投产的江苏省苏北宿迁的数据中心,PUZ值小1.4,并且是按照T3-标准建设,不仅用来存储京东数据,也会承载江苏地区和华东地区公有云租赁的业务。这个数据中心是按照比较新的理念设计的,这个机房等级甚至比江苏省的联通和电信移动等级还要高一些。因为承载一些业务,实际上是省内一些有资质要求、等级要求比较高的业务。

最简单的例子,江苏省金融机房是经过很严肃的技术评估才做的抉择。假设你是一个电商,你可以你的商品放在天猫上,也可以放在京东上,但是往往把最好的东西放在自己的电商平台。所以我们开始谈的时候,上京东没有问题,他还会提一个要求,给他自己建一个电商平台,这就需要给他引流。在国外,我们看到任何一个品牌一定会有自己的电商平台,虽然还会在几个的大平台上放置自己的产品,但最新的款式、衣服、包永远都是放在自己的电商平台上。京东云目前比较专业,虽然较长时间内更多的是关注内在,依旧希望以完整的形态展示给公众,并非仅仅是售卖一些存储资源,在国家大的背景下,携手合作伙伴共同打造云计算生态系统。


更多精彩内容,请关注直播专题2016中国云计算技术大会(CCTC),新浪微博@CSDN云计算,订阅CSDN云计算官方微信公众号。

评论