返回 登录
0

BDTC 2017|天数润科:SkyIntelligent大数据科学云平台实践

12月7–9日,为期三天的2017中国大数据技术大会(BDTC 2017)在北京圆满落幕。作为国内最具影响力、规模最大的大数据领域技术盛会,中国大数据技术大会已成功连续举办十年,今年以 “大数据与智能” 为主题,针对各行业的智能化进程和实践展开深入讨论,除了大会主旨演讲外,还有数十场针对大数据、机器学习/深度学习、云服务等技术专题,以及面向金融、医疗、制造等行业性质的分论坛。

南京天数润科受邀参与BDTC 2017盛会,由公司研发副总裁倪岭担任《大数据分析与生态系统》分论坛的演讲嘉宾。倪岭以大数据分析和机器学习应用的具体实践为出发点,发表主题《SkyIntelligent–大数据科学云平台实践》演讲。

图片描述

倪岭提到,随着企业数据增长快速、对不同应用场景的需求激增,企业在处理和挖掘数据价值的过程中常常面临几个问题:

第一,数据易进难出

企业现有的大数据系统往往只作为功能单一的采集和存储平台,缺乏有效可靠的机制为上层分析和应用提供支撑,使得数据价值无法得到充分挖掘。

第二,分析需求复杂多样

企业的分析需求复杂多样,涵盖了从传统的统计型分析、基于领域知识的建模、交互式可视化分析、传统机器学习和深度学习等。然而,现有的传统大数据平台不论在软件或硬件的配置上,皆无法满足不断演进的分析需要。

第三,平台重复建设

为了满足不同分析需求,企业往往会搭建多个平台,进而造成资源浪费和维护成本的激增,数据和分析流程在多平台之间的反复流转也常造成分析效率的低下。

第四,平台维护困难

面向分析和运行环境的复杂多样,企业缺乏有效的配置和维护手段,使得开发人员常常需要花大量的时间处理非核心开发的问题。

伴随着更多的企业对于私有数据云平台的需求,天数润科研发了一款全流程的大数据分析与机器学习平台产品 - SkyIntelligent数据科学平台,致力提供更加完善且灵活的数据开发环境,以统一高性能计算环境和基于容器的私有云方式,解决以上提到的诸多问题。

图片描述

SkyIntelligent数据科学平台以 “一站式、模块化、易扩展” 为设计原则,通过对底层、中间件和前端三层架构的专门优化,简化了大量的数据分析流程和工作,解决用户过去常面临如数据的大量传输、本地软件的复杂配置、性能受限于本地硬件等难题。

底层:以性能优化为重点工作,针对如高速内联网络、GPU、混合快速存储以及分布式深度学习的通信等底层软硬件进行优化,提高运行和计算的性能。

中间件:以弹性和抽象为重点工作,基于容器化编排与调度系统,实现资源的虚拟化以及弹性的共享和隔离,实现镜像管理、任务调度和服务创建等基础的编排功能。

前端:以用户便利为重点工作,以Jupyter Notebook作为在线IDE开发环境,针对机器学习模块和行业模版进行扩展,同时提供快捷的开发与运行环境自定义功能,支持离线任务的提交、模型的在线部署等一站式数据服务。

图片描述

天数润科此次参与2017中国大数据技术大会可谓收获良多,通过与各行业领导、技术专家的互动交流,不仅获得宝贵的指导意见,也鼓励我们继续在产品和业务等方面持续创新与深耕,满足企业和用户未来更多的需求。

评论