返回 登录
0

【BDTC 2016】数据库论坛:探索蚂蚁金服、巨杉、移动、京东、南大通用等企业数据库应用实践

2016年12月8-10日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所、中科天玑数据科技股份有限公司与CSDN共同协办,以“聚焦行业最佳实践,数据与应用的深度融合”为主题的2016中国大数据技术大会在北京新云南皇冠假日酒店隆重举办。

华东师范大学数据科学与工程研究院院长周傲英

大数据大会,第二天上午精彩继续,备受关注的数据库论坛在主持下华东师范大学数据科学与工程研究院院长周傲英的主持下开始,他对大家的到来表示感谢,同时介绍了今天的演讲嘉宾,包括来自蚂蚁金服基础数据部资深专家蒋志勇、SequoiaDB巨杉数据库 联合创始人&CTO王涛、中国移动苏州研发软件工程师闫超众、京东资深DBA张洋、天津南大通用数据技术股份有限公司高级副总裁兼CTO武新,他希望大家今天都能有所收获。

图片描述

华东师范大学数据科学与工程研究院院长周傲英

蚂蚁金服基础数据部资深专家蒋志勇

蚂蚁金服基础数据部资深专家蒋志勇发表《12万笔每秒支付能力的背后—OceanBase的发展之路》。本次议题主要分为三个方面,其一,OceanBase的第二个“双十一”;其二,OceanBase的发展历程;其三,OceanBase 1.0:面向未来的云数据库。蒋志勇认为,OceanBase适合“双十一”主要基于三个特性:易扩展,水平扩展,自动负载均衡、通用服务器,通用存储;高性能,内存数据库性能、轮转合并,合并不影响服务能力;高可用,IDC级别自动容灾、故障恢复时间秒级。

图片描述

蚂蚁金服基础数据部资深专家蒋志勇

从2014年起,蚂蚁核心系统正式迁移到OceanBase上,全面支持蚂蚁核心业务,即交易、支付、账务。OceanBase采用分布式架构,具备高可用、高效的存储引擎、高性能、低成本、多租户、兼容性高等特点,而OceanBase下一步的将在四个方面,即更高的兼容性、更高的可用性、更高的性能及高度自管理等,未来还会拓展周边产品,降低TCO以及服务更广大的用户。

SequoiaDB巨杉数据库联合创始人&CTO王涛

SequoiaDB巨杉数据库联合创始人&CTO王涛带来了《NewSQL技术解析与企业级应用案例》,他首先介绍了SequoiaDB巨杉数据库。成立于2011年,专注于新一代企业大数据平台研发, 其核心产品SequoiaDB(巨杉数据库)是国内第一款新一代分布式数据库。

图片描述

SequoiaDB巨杉数据库联合创始人&CTO王涛

他重点介绍了大数据数据湖的概念,他介绍说,传统的数据集市,为了优化数据分析的性能, 只会存储一部分的属性并且只操作已经聚合的数据。 而“数据湖”则是将全量数据的 所有属性都进行存储,尤其是当你并不确定从什么角度去分析和使用这些数据时,数据湖是大数据架构的巨大飞跃。

在介绍完大数据时代数据库的技术特点之后,他重点介绍了NewSQL的应用案例,主要有五大场景,第一是近线数据平台、第二是内容管理营销平台、第三是跨业务的数据整合、第四是物联网智能制造。

中国移动苏州研发软件工程师闫超众

中国移动苏州研发软件工程师闫超众发表《中国移动基于PostgreSQL系列开源数据库的实践》主题演讲。闫超众表示针对市场需求,目前PostgreSQL系列产品有三种类型:第一种产品是基于pg单机的主备集群数据库,tp类产品,这类产品主要是使用流复制原理,定位于满足中小企业的市场需求,主要应用于中小型数据库的实时在线处理。第二种产品是基于pg-x2的分布式交易型数据库,tp类产品,这类产品主要是使用shared noting架构,通过x86机器来降低成本,主要应用于中大型数据的实时在线交易处理。第三种产品是基于gpdb的 分布式分析型数据库,AP类产品,这类产品也是使用shared noting架构,通过x86机器来降低成本,它和第二种产品的架构不一样,适用的场景也不一样,它主要应用于对海量数据 进行统计分析的场景。

图片描述

中国移动苏州研发软件工程师闫超众

分布式交易型数据库到底是什么样的呢?闫超众表示它是基于pgx2研发的一款数据库,所以它既有关系数据库的特性,又具备可扩展、高可用的特性,主要应用于海量数据的实时在线交易处理,目标是为CRM、客服等核心TP系统提供数据库服务。苏研基于gpdb研发的一款分布式分析型关系数据库,主要用来处理大规模的数据分析任务,包括数据仓库(DW)、商务智能(BI/OLAP)和数据挖掘(DM)等。支持ANSI SQL 2008标准和SQL OLAP 2003 扩展,目标是提供大数据的存储引擎、计算引擎和分析引擎。

京东资深DBA张洋

京东资深DBA张洋带来的分享聚焦《京东数据库备份系统进化之路》。他的分享主要分为三个部分,备份的重要性、备份的用途、京东备份系统的演进。他表示,备份有很多用途,不简单是做数据恢复,最主要的用途是测试环境的搭建,还有就是从库扩容。

图片描述

京东资深DBA张洋

在介绍完京东备份系统1.0、2.0之后,重点介绍了3.0系统的演进之路和架构,他表示目前的3.0系统挑战主要包括存储未上云、有些老库redolog太小,xtrabackup不能成功、备份策略需要人工添加,大表xtrabackup容易失败等。因此,对于未来,他表示主要关注使用JSS云存储、规范化数据库配置、从库分类自动添加备份策略。

最后他也分享了目前京东备份系统的一些数据,目前拥有备份集群795套、备份36037、备份文件总大小1362T、成功率99.9%。

天津南大通用数据技术股份有限公司高级副总裁兼CTO武新

天津南大通用数据技术股份有限公司高级副总裁兼CTO武新发表《关系型模型与非关系模型的融合:技术实战与展望》主题演讲。本次分享武新分别从四个方面诠释主题,首先,介绍大数据需求与IT技术架构演变;其次,介绍SQL(关系)与Hadoop(非关系)的融合趋势;再次,GBase UP 介绍及应用案例;最后是总结与展望。武新表示,当前企业数据处理仍面临“三座大山”,在过去是业务数据孤岛,如今是MPP数据库解决了结构化业务数据的分析问题,在未来将是大数据的挑战,全数据、多模型、异构、新技术等等。

图片描述

天津南大通用数据技术股份有限公司高级副总裁兼CTO武新

融合架构的大数据平台产品需求范畴包括传统事务型数据库(SQL)、新型MPP数据库(SQL)以及Hadoop(NoSQL),TPC-DS MPP与Hadoop性能对比:GBase MPP整体快5.8倍;TPC-DS MPP与Hadoop性能对比:GBase MPP多数快10倍以上;TPC-H MPP与Impala性能对比:GBase MPP整体快7.3倍以上。而GBase UP的定义为简化、融合、扩展及开放,其技术架构是SQL and NoSQL融合、扩展和开放,而GBase UP 的定位是企业级大数据融合产品。

武新还表示当前数字商业的场景越来越复杂,数据容量越来越大,数据也越来越分布。数据的集成,分享和组织管理成为重要目标,统一管理是大势所趋;市场表现方面,传统数据库5强依然占据88.7%市场份额。表明传统SQL数据库依然有着很大的用户市场;尽管传统SQL数据库和Hadoop有各自独立的工作场景,它们之间的数据融合和双向数据流通越来越成为趋势

更多大会精彩内容,请关注CSDN“2016中国大数据技术大会” 专题报道;微博@CSDN云计算,微信搜索“CSDN大数据”订阅号获取大会精彩资讯。

评论