返回 登录
0

EMC:数据中心全闪存年,机架级闪存可让Hadoop提速10倍

针对当前的数字化转型,EMC公司认为,现代数据中心应当具备全闪存、云赋能、横向扩展和软件定义四个特征。围绕这四个核心,EMC发布了三款存储产品,包括VxRail超融合基础架构应用装置、VMAX All flash以及DSSD D5机架级闪存解决方案。其中,DSSD D5可将高级数据分析等应用提速多达10倍,并且可以改变Hadoop的三副本存储机制。

EMC预测,到2020年,用于生产应用的所有存储系统都将基于闪存阵列,传统磁盘仅用于大容量及归档存储。

现代化的数据中心

EMC认为,2016年将是全闪存之年,主存储系统进入全闪存时代。

EMC全球高级副总裁、大中华区总裁叶成辉表示,当前的数字化转型中,大数据、移动、物联网等新应用不断推动数据中心向更快速、更高效、更敏捷的方向变革。

VMware全球副总裁、大中华区总裁郭尊华认为,企业都希望采用云计算、移动、互联网技术去推动新的业务的发展,在搭建数据中心的时候,要非常快速地去部署、管理这些IT的资源,同时也必须要去追求高效、经济的效率。

叶成辉表示,从EMC的角度来看,现代化的数据中心有四个方面的亮点。

  1. 全闪存。现在已经逐渐变成闪存的天下。EMC在三年半之前推出来第一台闪存,大家觉得很贵,但是现在已经在改变。现在EMC推出来的闪存产品已经是3.8TB,三星在研发的是30TB的闪存。今天大部分企业用的非闪存的存储还是1TB,而且是机械存储,故障率更高,需要很多的维修工作,所以闪存会改变未来。因为现在闪存比较大,成本比较低。所有的数据中心在未来18个月将会转换成新的应用会放在闪存上面。

  2. 云赋能。所有的数据中心未来都要跟云结合,这就是云赋能的做法。

  3. 横向扩展。添加硬盘的传统纵向扩展做法只适合数据量增长不大的情况,但是未来的数据中心是横向扩展的做法。

  4. 软件定义。新应用快速迭代,工程师已经没有那么多时间去管理数据中心,需要利用软件自动化管理来支持更多的新应用,所以未来是软件定义。

图片描述

EMC全球高级副总裁、大中华区总裁叶成辉与VMware全球副总裁、大中华区总裁郭尊华

机架级闪存可让Hadoop提速10倍

EMC资深产品顾问李君鹏(Mike)介绍了EMC最新发布的VxRail超融合基础架构应用装置、VMAX All flash和全新的机架级闪存的存储解决方案DSSD D5的技术细节。

VxRail

随着CPU和存储的密度越来越高,以及有更快的网络来连接CPU和存储,现在可以使用软件定义的基础架构,超融合基础架构是软件定义的,将计算、软件定义的存储、网络和虚拟化集成在一起,超融合基础架构使计算、存储和网络功能与底层的硬件解耦合,运行在通用的基于X86标准的工业组件上。

超融合基础架构简化了SDDC软件定义的数据中心,超融合基础架构包括两个基本的组件,一个是超融合软件,另外一个是工业标准硬件。超融合软件提供了计算、存储、网络和管理功能。超融合软件允许物体存储融合在工业标准的X86服务器里,以构件块的方式提供了横向扩展的能力,可以使数据中心以敏捷、可扩展以及成本高效的方式来运行。

VMware的超融合软件,包括vCenter Server、vSphere、VSAN等。

VCE VxRail是由EMC和VMware共同组建的、单一研发团队提供的超融合的应用装置,以2U、四节点、敏捷可扩展、易管理、SDDC构件块的方式,提供了虚拟化、计算、存储、网络和数据保护。VxRail应用装置适合于部署在虚拟桌面、服务器工作负载、混合云以及分布式企业环境。VxRail应用装置提供了多种配置和规格,可以实现无中断的SDDC的横向扩展。

  • VxRail也提供了可以提升效率的数据服务,集成了复制、数据保护、备份功能。

  • VxRail为VMware超融合环境提供了单一厂商支持的单一厂商解决方案。

  • VxRail使用X86硬件运行软件定义的存储环境,VxRail是专门构建的SDDC软件定义数据中心解决方案。

  • VxRail是完全集成的VMware的超融合基础架构应用装置。

如果使用其他的超融合解决方案,用户需要使用第三方的工具和管理。VxRail允许客户利用现有的标准,使用相同的工具、管理、流程和技能,不需要新技术的学习过程。集成现有的VMware的软件版本,简化了生命周期管理,降低了TCO。

一个2U的VxRail最多可以有112个CPU核心,提供76TB的闪存容量,支持同步数据消除、压缩、纠删码,一个2U的应用装置提供了更多的闪存、更多的性能。

使用VxRail可以从小配置开始,16个VxRail应用装置最多可以运行3200个虚拟机。

使用VxRail可以选择适合任何使用情形的配置,对于那些需要最大的性能和规格,要求低延迟的应用程序,客户可以选择全闪存节点。对于那些需要兼顾性能和成本的使用场景,客户可以选择混合节点。

一个应用装置内的四个节点必须是同构的,不同配置的应用装置可以在一个群体当中混搭。
使用VxRail,简化了端到端的生命周期管理。VMware的超融合软件,可以自动搭建、配置和验证客户的VxRail,加速业务的敏捷性,加快了收效时间。从开机到调配虚拟机,客户只需要不到15分钟,就可以建立起一个VMware的群集,没有其他超融合解决方案能够做到这一点。要实现这个目标,超过200多个配置步骤,实现了自动化。添加一个新的应用装置到这个环境,只需要5分钟就可以完全配置好。

VxRail中,RecoverPoint提供了复制、数据保护和先进的灾难恢复。VMware的VDP提供了原端消重的数据恢复,还可以使用EMC的Data Domain,还可以将VxRail的存储容量可以扩展到可扩展的云存储当中。VxRail的市场当中,有一些经过验证的、预配置的应用程序供客户选择,进一步扩展了客户VxRail的价值。随着时间的推移,VxRail市场里会有越来越多的应用程序供客户选择。

EMC的融合平台提供了这种端到端的方式,将Vblock、VxRack等混合在一起,在边缘或者是在远程办公室、分支办公室,有VxRail,所有这一切通过VCE vScale联结在一起,使用VCE来管控。这就是分级的分布式企业应用的融合基础架构平台,是由EMC的VCE提供。

郭尊华表示,VMware自身也是VxRail的客户,在全球用了130套,节省了很多机房的空间和机架的空间。

对于EMC融合架构的三种不同产品Vblock、VxRack和VxRail的差异性,李君鹏总结说,Vblock最适合于部署在传统的数据中心,运行以前关键任务应用,像SAP、Oracle、Microsoft等等,第二平台最关键的应用。VxRack部署在传统的企业数据中心和服务提供商的数据中心最合适,运行这些通用的一般的第二平台工作应用和最新的第三平台应用。VxRail最适合于部署在数据中心以外,或者是中小企业,中小企业可能是很小的数据中心,只有很少的IT人员。像这些都是VxRail直接运行的虚拟化工作负载,都是VxRail比较适合的。都提供了很好的横向扩展能力,即使2U的VxRail应用装置,也可以扩展到16个应用装置,运行多达3200个虚拟机。如果是客户未来的环境需要扩展得更大,一开始就建议上VxRack。此外,不同于VxRail与VMware紧密集成,VxRack可以支持OpenStack环境。

VMAX All flash

认为全闪存年到来,EMC重新设计了VMAX,尽可能的利用最高密度的闪存,通过支持3.8TB的闪存盘,使VMAX All flash与混合阵列相比,在购买成本和总体拥有成本方面,更具有吸引力。与混合阵列相比,VMAX All flash提供了更高的性能,400万IOPS,低于0.5毫米的延迟,150GB/S的带宽。简化了基于应用装置的软件打包方式和横向扩展的构件块配置,消除了销售和购买的复杂性,使客户更乐意采纳全闪存的VMAX,和使用高端的数据存储服务。

由于全部是闪存盘,只提供了一个服务节点,不需要关心应用程序的I/O偏斜的不同,因为整个应用程序都是应用在闪存盘上。

VMAX All flash与ECM此前推出的XtremIO全闪存阵列的相同和不同之处:

首先,XtremIO和VMAX All flash都支持混合工作负载整合,都提供了一致的低延迟。与XtremIO不同的是,VMAX All flash提供了多维度的扩展,无论是端口支持的设备数量还是容量。VMAX All flash为关键任务应用提供了世界级的业务连续性和灾难恢复解决方案,提供了6个9的可用性。除了数据块的工作负载,VMAX All flash还可以整合mainframe、IBM 系列和文件的工作负载。VMAX All flash提供了线内的消重和压缩,还有无中断的VMAX数据迁移。

VMAX All flash为闪存而设计,能够支持巨大的规模,增加了闪存的耐用性,提供了一致的低于0.5毫秒的延迟。VMAX All flash提供了高IOPS、巨大的带宽。

多核多线程设计,用于超过100万个虚拟机,VMAX All flash有巨大的全局缓存,写I/O首先写到VMAX的cache当中,如果同一个地址的数据被反复修改,VMAX就把最后的修改写到后端的闪存盘上。VMAX巨大的全局内存使后端写到闪存盘的I/O数量减少了80%,增加了闪存的耐用性。同时VMAX All flash也提供了闪存的模组分析技术,可以监控闪存盘的使用寿命。当发现闪存盘的使用寿命接近的时候,可以预先准备好备用的闪存盘。

巨大的写缓存、智能的读写算法,为VMAX All flash提供了极低的、一致的低于0.5毫秒的延迟。CPU按照工作负载的要求,动态分配CPU的核,先进的QoS、优先级控制,可调整的前端后端的FE/BE样本文件。

VMAX All flash有巨大的SPC吞吐量,支持BI和DW。

VMAX All flash的基本构件块是V-brick,包括引擎和53TB的闪存软件,可按照13TB闪存包实现横向扩展。VMAX All flash纵向和横向扩展能力,可以分别扩展容量和性能。V-brick和驱动器升级都是打包的。

客户在寻求全闪存系统带来好处的同时,又不想失去高端存储支持他们关键任务的能力和价值,VMAX All flash广泛的生态环境为各种平台、操作系统、混合云等各类应用提供了通用的标准的交付存储服务的方式。VMAX All flash坚若磐石般的复制和集成技术,支持了客户的关键应用程序,维护数据的可用性,避难了灾难。

VMAX All flash企业规模的管理和自动化,简化了管理,降低了运行成本。

VMAX All flash巨大的整合能力可以满足服务提供商和大企业需要的可预测性、规模和控制。
使用unisphere配置VMAX All flash,平均的调配时间不到30秒。

VMAX All flash部署也非常灵活,可以单独部署,也可以作为Vblock融合存储架构来快速部署。

一个VMAX All flash技术更新的案例,客户原先有一个9机柜的VMAX20K,通过更新为相同容量的单一机柜的VMAX All flash,实现了6倍性能的提升,总体应用成本降低了40%,能耗减少了87%,占地面积减少了92%,预计驱动器的更换数量会减少98%。

VMAX All flash是真正的关键任务存储,管理自动化、丰富的企业数据服务、深入的生态环境集成、可信的保护、超大规模的整合,简化了规划和部署,实现闪存的潜能。

叶成辉认为,VMAX All flash最颠覆的就是传统的金融银行,因为70%的银行都有VMAX,对他们来讲最需要的是稳定、可靠、快,以前可能没有All flash,他们不够快。

机架级闪存存储解决方案DSSD D5

DSSD提供了一个共享的和直接访问的高性能机架级闪存存储池,支持高度可扩展的协议,实现了NVMe从user space来访问,也实现了NVMe的热插拔的存储模块。

  • DSSD提供了超高的性能,一千万个IOPS,100GB/S的带宽,100微秒的延迟,144TB的闪存容量。

  • DSSD优化了数据通道和客户通道,DSSD的数据通道是不使用软件的,这样就提供了最低的应用程序的延迟,最大的IOPS和带宽。应用程序直接访问DSSD,不需要经过传统的I/O软件站。

  • DSSD D5是一个5U的高性能、高密度和基于NAED闪存的机架级存储,最多可以有36个闪存模块,可以全装或者半装。DSSD D5提供了不同的配置,可以有36TB、72TB或者144TB的闪存容量。

  • DSSD的闪存模块是双端口的,PCIe Gen3的,是热插拔的。DSSD有两个控制模块,提供了冗余。

  • DSSD有两个I/O模块,每一个IO模块可以连接48台冗余连接的主机。DSSD的控制模块不用来处理I/O请求。

与应用程序的接口,是DSSD与其他解决方案最大的不同点。DSSD直接连接各种应用程序,根据传统的应用程序特别是数据块内的应用程序,DSSD提供了一个block drive,不需要修改I/O原代码,直接访问DSSD。对于Hadoop类的应用程序,DSSD提供了Hadoop的HBase插件。

DSSD增减了空间、时间的垃圾回收可靠性,闪存物理控制,增强了闪存的耐用性。客户在寻求实时解决方案,EMC看到三类数据密集、性能密集的工作负载,受到传统存储瓶颈的影响最大。一类是高性能的数据仓库,包括传统的数据库、Oracle、MPP、内存数据库。另外一类是运行在HDFS上的高性能应用,SQL等等。第三类是定制应用。使用DSSD运行高性能的数据库和数据仓库,可以实时分析更大的数据级,并且不需要做过多的调整。

使用DSSD运行在HDFS上的高性能应用,可以使实时分析成为可能,并且可以独立扩展计算和存储。

使用DSSD用于定制应用,可以提供更好的带宽密度,减少等待时间和增加分析。

DSSD可以达到1000万的IOPS(5U系统),延迟100微秒,带宽100GB/s,原始数据存储容量144TB(可用容量100TB)。运行数据库,与Oracle最快的存储平台相比,性能是Oracle的三倍,延迟是Oracle的1/3,总体拥有成本是Oracle的1/3。

在DSSD上运行Hadoop,只需要存储一份数据就可以了,这与传统的Hadoop解决方案相比,存储容量仅是传统解决方案的1/3,速度是传统解决方案的10倍。

DSSD可以用于各行各业,可以用于信用卡的欺诈甄别,金融的风险分析,可以用于预测建模,流数据的近实时分析,还可以用于金融的交易建模,政府的设计仿真,石油天然气的抽取模拟网格,生命科学研究等定制应用。

在信用卡实时分析方面,过去由于没有能力快速地分析,可能只能分析少量的字段,来判断这笔交易是正常交易还是欺诈交易。有了DSSD,可以在更短的时间分析更多的字段,来分析这笔交易是否是正常交易还是欺诈交易。一家公司使用DSSD支持欺诈分析,使欺诈的金额降低了25%。

评论