返回 登录
0

用Spark+ TensorFlow训练和应用深度学习模型

Tim Hunter在databricks博客发布博文,演示如何使用TensorFlow和Spark一起训练和应用深度学习模型。

两个use cases:

  1. 超参数调整:用Spark找到神经网络训练的最佳超参数,减少10倍的训练时间,降低34%的误差率。
  2. 大规模部署模型:利用Spark在大量数据上应用一个训练的神经网络模型。

训练的超参数,如每层的神经元、学习率,太多或者太少都不行。TensorFlow(开源版)本身并不是分布式的,超参数调优处理是“尴尬的并行”,可以通过Spark实现分布式,使用Spark广播常见元素如数据和模型描述,并通过支持容错的集群安排单个的重复计算。采用默认超参数设置,精度为99.2%,最好的结果为99.47%,误差率降低34%。

图片描述

线性扩展能力,13节点的集群可以并行训练13个模型,相对于用一台机器每次训练一个模型提速7倍。

图片描述

神经网络典型权衡曲线:

  • 学习率非常关键,太低学不到东西(高测试误差),太高则训练过程可能随机振荡甚至在某些配置下发散。
  • 神经元的数目对性能没那么重要,大量神经元的网络对学习率更敏感。

图片描述

安装TensorFlow及重现本文测试参考:

部署部分,详见原文(含代码):

Deep Learning with Spark and TensorFlow by Tim Hunter

评论