返回 登录
0

阿里云解析数加平台:图形化机器学习,支持100+人协同开发

阿里云在1月20日的2016云栖大会上海峰会上发布一站式大数据平台“数加”,首批亮相20款产品。阿里云大数据事业部资深总监徐常亮称,“数加”在技术上至少领先业界三年。

“数加”包括数据采集、计算引擎、数据加工、数据分析、机器学习、数据应用等几个层面。

数据采集

Datahub是数加上的一款数据采集产品,可为用户提供实时数据的发布和订阅功能。写入的数据可直接进行流式数据处理,也可参与后续的离线作业计算。Datahub同主流插件和客户端保持高度兼容。

计算引擎

大数据计算服务MaxCompute(原ODPS)、分析型数据库Analytic DB、流计算StreamCompute共同组成了底层强大的计算引擎。

  1. 大数据计算服务可6小时处理100PB数据,相当于1亿部高清电影。单集群规模过万台,并支持多集群联合计算。做到了速度更快,成本更低。据阿里云测算,自建Hadoop集群的成本是数加的1.5倍,国外计算厂商AWS 的EMR成本更是数加的5倍。阿里云当天还宣布,大数据计算服务再降价50%。

  2. 分析型数据库可实现对数据的实时多维分析,百亿量级多维查询只需100毫秒。

  3. 流计算擅长对实时流式数据进行分析,具有低延时、高性能的特点。每秒查询率可以达到千万级,日均处理万亿条消息、PB量级的数据。

开发套件

图片描述

基于“数加”云端数据开发套件,开发者可一站式完成数据加工。这些产品包含:数据集成、数据开发、调度系统、数据管理、运维视屏、数据质量、任务监控。

整体来看,大数据开发套件的优势包括:支持100人以上协同设计、开发、运维;具有良好的扩展性;提供各个产品功能模块的Open API,可二次开发;多个数据实例之间的数据授权机制,确保数据只能使用却不可见;提供白屏化的运维能力,以及字段级数据质量监控、机器预警、资源使用率监控等功能,让用户更好的掌控自己的数据及数据任务。

数据分析

图片描述

在数据分析方面,数加提供了3款产品供开发者使用:

  1. 通过移动数据分析产品,开发者可快速搭建日志采集、分析系统,从而为用户提供个性化服务;

  2. 通过数加BI报表产品,3分钟即可完成海量数据的分析报告。产品支持多种云数据源,提供近20种可视化效果。

  3. 通过数据可视化产品DataV,一星期就能做出双11同款大屏。这款产品,曾支持了阿里巴巴多年的双11、双12作战指挥。

数据可视化

同时,基于DataV,数加还发布了面向政府的行业应用产品“郡县图治”。通过这款产品,县长可以在一个屏幕下统览全县各项经济民生数据,为政府决策提供辅助。

机器学习

图片描述

“数加”发布的机器学习工具,可基于海量数据实现对用户行为、行业走势、天气、交通等的预测。图形化编程让用户无需编码、只需用鼠标拖拽标准化组件即可完成开发。产品还集成了阿里巴巴核心算法库,包括特征工程、大规模机器学习、深度学习等。

数据应用

为了能够帮助开发者更快捷在应用中集成大数据功能,“数加”同时提供了规则引擎、推荐引擎、文字识别、智能语音交互等数据应用产品。

  1. 规则引擎是一款用于解决业务规则频繁变化的在线服务,可通过简单组合预定义的条件因子编写业务规则,并做出业务决策。比如,银行会设置如果10分钟内用户在两个省份交易,则需要电话确认。

  2. 推荐引擎是一款用于实时预测用户对物品偏好的数据工具,它能够帮助客户发现众多物品中用户最感兴趣什么。

  3. 文字识别提供自然场景下拍摄的图片中英文文字检测、识别以及常见的证件类检测和识别。

  4. 智能语音交互基于语音和自然语言技术构建的在线服务,为智能手机,智能电视以及物联网等产品提供“能听、会说、懂你”式的智能人机交互体验。

评论