返回 登录
0

【BDTC 2016】高性能计算与大数据的融合论坛:探索两者的最佳实践

2016年12月8-10日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所、中科天玑数据科技股份有限公司与CSDN共同协办,以“聚焦行业最佳实践,数据与应用的深度融合”为主题的2016中国大数据技术大会在北京新云南皇冠假日酒店隆重举办。

中国科学院计算技术研究所研究员张云泉

下午高性能计算与大数据的融合论坛正式开始,来自中国科学院计算技术研究所研究员张云泉主持本场论坛。本次论坛共有6位业内专业技术大咖参加,分别是华中科技大学教授金海、清华大学教授陈文光、PerfXLab澎峰科技联合创始人张先轶、数学工程与先进计算国家重点实验室研究员斯雪明、商汤集团研发执行总监林倞和国家超级计算天津中心主任助理、应用研发部部长孟祥飞。

图片描述

中国科学院计算技术研究所研究员张云泉

华中科技大学教授金海

华中科技大学教授金海发表《大数据时代的新型计算机系统结构》主题演讲。金海以双十一的交易额引入,指明大数据不只是数量大,而且增长速度快、处理时效高、安全性要求高等等。因此,本次分享金海主要分为两个方面做讲解,即内存计算及其国际动态和内存计算方面的实践。金海表示,基于DRAM的内存计算模式面临四方面挑战:DRAM介质易失性,DRAM介质存储密度低,DRAM功耗高和内存子系统成本高。基于DRAM以上问题,非易失存储技术逐渐兴起,并且新型存储介质的性能不断逼近传统DRAM。

图片描述

华中科技大学教授金海

新型存储级内存(SCM)为内存计算带来曙光,它具备以下优点:可按字节寻址、持久存储,断电数据不丢失、比NAND Flash读写快1000倍,读延迟接近DRAM,写延迟高1倍、耐久性比NAND Flash高1000倍,但存在写寿命上限、存储密度比NAND flash高1000倍,比DRAM高一个数量级、静态功耗接近”零”。混合内存架构给软硬件生态系统带来巨大冲击,首先是体系结构,其次是操作系统,再次是数据组织,最后则是编程模型。

最后,金海也为我们做了总结,即内存计算是大数据时代解决大数据处理时效性的有效手段。值得重点研究的关键机理包括三个方面:首先,面向大数据处理的异构层次内存的协同组织模式研究;其次,基于内存计算的大数据低能耗处理环境研究;最后,基于内存计算的大数据高效并行处理机制研究。

清华大学教授陈文光

清华大学教授陈文光带来的分享主题为《Gemini:基于图计算的高性能大数据分析系统》。他表示spark在数据模型层面的局限性主要是每次细粒度的数据更新,由于spark基于粗粒度RDD只读的数据对象模型,需要RDD变换,即有大量数据的复制,导致处理效率不高。实现层面的局限性主要是Spark基于Scala语言,运行在JVM上;内存表示冗余,占用内存大;内存分配与回收开销大。

图片描述

清华大学教授陈文光

而图计算,作为折衷的大数据分析平台,可以解决上述挑战。他重点介绍了分布式图计算系统Gemini。1.在高效性的基础上支持扩展性,避免没有必要的“分布式”副作用,优化图的划分与计算。2.设计理念的变化:以计算性能为中心的分布式系统,分布式系统有快速的通信网络,计算可以与通信重叠;效率优化,自适应push-pull转换,层次化的分块划分;扩展性优化,局部性感知的分块,基于分块的任务窃取。

PerfXLab澎峰科技联合创始人张先轶

PerfXLab澎峰科技联合创始人张先轶发表《ARM嵌入式系统的DNN性能优化》主题演讲。张先轶介绍,目前主要从事三个方面的工作,首先是深度学习,包括服务器+嵌入式终端,框架:PerfNet(基于mxnet)和性能库:PerfDNN;其次是PerfCV,基于CV类功能(cvt_color,resize);最后是对OpenBLAS的介绍。张先轶首先为我们介绍了什么是BLAS,即Basic Linear Algebra Subprograms,基本线性代数子程序,包括BLAS3级:矩阵-矩阵,BLAS2级:矩阵-向量,BLAS1级:向量-向量。OpenBLAS几乎支持所有主流的CPU处理器和常见的操作系统,兼容性很高。BLAS性能优化流派支持自动调优和手工核心汇编。

图片描述

PerfXLab澎峰科技联合创始人张先轶

数学工程与先进计算国家重点实验室研究员斯雪明

数学工程与先进计算国家重点实验室研究员斯雪明带来的分享主题是《SKA科学数据处理中方联盟研究进展》。他首先介绍了SKA的背景, Square Kilometer Array是综合孔径射电望远镜,作为超大型国际科研合作项目,建成后,人类探索宇宙的能力将得到根本性的提高。SDP(Science Data Processor)科学数据处理是SKA的关键环节。他随后重点介绍了SKA的架构和计算类型以及COTS 工作进展做了详细的介绍。

图片描述

数学工程与先进计算国家重点实验室研究员斯雪明

商汤集团研发执行总监林倞

16:10【高性能计算与大数据的融合论坛】商汤集团研发执行总监林倞发表《深度学习的基础架构:从算法创新到生产力的助推器》主题演讲。本次议题林倞主要针对神经网络深度学习的系统,及需要怎么样的基础架构来快速实现算法放到产品级的研发上去。目前主要从事算法到产品研发的工作,如人脸识别技术,当下大家经常用到的美颜功能就是林倞团队提供的技术,包括新浪微博、小米手机相册等等。

图片描述

商汤集团研发执行总监林倞

人脸属性特征分析,活体检测,一般图像识别,这都是基于移动互联网技术,如大规模搜索等。而今年在做的是视频结构化分析,针对视频内容快速解析,对人车物还是场景进行快速识别,进行结构化理解存储到数据库中,这样使得数据能够快速地检索快速查询以及比对,避免海量数据视频数据尤其是视频数据无法利用的困境。

国家超级计算天津中心主任助理、应用研发部部长孟祥飞

国家超级计算天津中心主任助理、应用研发部部长孟祥飞分享的主题为《应用驱动的超级计算与大数据融合平台建设》。他首先介绍了天河一号的三大技术创新:CPU+GPU异构融合体系结构、64位多核多线程自主飞腾1000 CPU、自主高速互连通信技术。随后,他分享了”天河一号”系统的使用情况,他表示目前稳定运行服务,到2015年使用率已经超过90%,进入饱和运行状态,并发运行的作业数达到1200余个,服务国家重大重点科研项目超过1000个。支撑完成包括Nature、Science等研究、知识产权成果超过1500项。

图片描述

国家超级计算天津中心主任助理、应用研发部部长孟祥飞

对于大数据和超级计算、云计算融合,他表示对于规划,他强调首先需要通过云计算虚拟与集成技术实现大数据的采集与应用服务,其次,通过高性能计算解决计算密集需求,并配合数据挖掘算法实现大数据的分析处理,另外,需要通过层次式动态可扩展存储系统实现海量数据的高效存储。

更多大会精彩内容,请关注CSDN“2016中国大数据技术大会” 专题报道;微博@CSDN云计算,微信搜索“CSDN大数据”订阅号获取大会精彩资讯。

评论