返回 登录
0

第四范式先知:建模比Spark快416倍,支持万亿级别变量数

7月20日,第四范式公司发布了基于深度学习、强化学习和迁移学习的人工智能平台——“第四范式·先知(Prophet)”。第四范式CEO戴文渊表示,在3000多万条大数据的测试环境下,先知平台建模速度比Spark快416倍,同时采用DSN(深度稀疏网络)使得先知能够支持万亿级别变量数,所以具有更强的表达能力,能够更好地支持多维数据。

图片描述

深度学习是当前最为热门的人工智能算法,然而深度学习在实际使用中还遇到很多障碍,例如深度学习首先是(标记)数据饥渴型和计算饥渴型算法,同时高精度的学习效果还需要很高级的算法人才。此外,深度学习也不是人工智能的全部。第四范式首席科学家杨强教授(没错,就是美国人工智能协会(AAAI)首位华人Fellow)总结了人工智能发展的两个主要障碍:

  1. 人工智能行业应用推广的门槛在于人才的稀缺和投入的巨大,培养一个合格的AI人才需要6-10年时间,加上地区发展的差异导致AI的“准入门槛”居高不下;
  2. 没有各行各业的“大数据”支撑,没有AI在各行业的应用及发展,AI也只能是实验室的项目,应用之路漫长。

作为一名资深的人工智能研究者,杨强希望实现更通用的人工智能,包括覆盖没有大数据的领域。他表示,深度学习的研究目前已经达到一个高峰,而应用的探索才刚刚开始,现在应该是强化学习的时代,强化学习可以通过延迟的反馈不断地实现模型优化,未来则属于迁移学习,它既能够将基于大数据训练的模型迁移到没有大数据的领域,同时又可以更好地支持个性化的需求。

杨强加入了他的得意弟子戴文渊的创业大计,希望整合深度学习、强化学习、迁移学习、记忆网络等算法,将稀缺的AI人才与行业经验变成产品,将每个行业解决方案中有价值的模块进行产品化,把科研高度与行业实战经验封装到一个平台级产品中,成为企业的商业套件、企业决策的智能引擎。

戴文渊既是迁移学习研究者和拥护者,也曾担任百度广告变现算法的核心负责人、百度凤巢的总架构师。杨强认为,团队的算法经验和工程经验搭配能够实现第四范式“AI for everyone”的目标。

经过1年半的研发,第四范式推出了商用的先知平台,支持超过3万台机器、能处理PB级的数据量,能够自动化、智能化的实现机器学习全流程——支持参数自动化的算法,降低了人工参与的特征工程和模型训练过程,提供自动或半自动的特征工程、模型选择调参工具,降低了对数据科学家的依赖。

先知平台具有四个定位:

  1. 人工智能应用者开发平台
  2. 人工智能的算法开发平台
  3. 解决人工智能行业人才门槛高的问题
  4. 为不同行业量身打造定制化的人工智能解决方案

基于四种机器学习方式,先知平台提供有如下十项主要功能:

  1. 数据免清洗
  2. 模型自学习
  3. 一键上线
  4. 弹性计算
  5. 实时数据流
  6. 智能数据集成
  7. 特征自动组合
  8. 面向AI的计算框架
  9. 模型解读技术
  10. 个性化需求满足

图片描述

戴文渊认为,大部分专家80%或更多的精力都花费在数据清洗上,而第四范式独创的“免清洗算法”功能,对于无效数据的容忍度极高,为AI “减负”。杨强介绍,免清洗的实质,是基于机器学习实现自动清洗,当然这需要和具体的业务相结合,因为不同业务对数据的需求不一样。其他自动化的流程原理也是类似,同时通过强化学习来保证精度不断提升。

戴文渊介绍,Spark机器学习建模时间会随着数据量呈平方增长,传统分布式计算解决的是分工(大任务切分成很多小任务由集群机器分别完成)的问题,但作为一个整体的机器学习任务,还需要解决协作的问题——不同子任务的分别学习的结果之间还需要进行交流,而先知平台的GDBT在解决分工问题的同时,还解决了协作的问题,所以在建模方面的实际的测试结果比Spark更好,尤其是在数据量级越大的情况:

  • 在5万条较小数据的测试环境下,先知与Spark相比速度提升28%;
  • 在625万条数据的测试环境下,先知比Spark速度提升86.6倍;
  • 在3125万条大数据的测试环境下,先知可以实现比Spark速度提升416倍。

CCAI 2016中国人工智能大会将于8月26-27日在京举行,AAAI主席,多位院士,MIT、微软、大疆、百度、滴滴专家领衔全球技术领袖和产业先锋打造国内人工智能前沿平台,6+重磅大主题报告,4大专题论坛,1000+高质量参会嘉宾,探讨人机交互、机器学习、模式识别及产业实战。门票限时六折优惠倒计时第二天

图片描述

评论