返回 登录
18

TensorFlow 图像识别功能在树莓派上的应用

上周 TensorFlow 1.0 的发布使之成为最有前景的深度学习框架,也在中国 AI 社区中掀起了学习 TensorFlow 的热潮,不过光跑例子怎能脱颖而出?本文是数据科学公司(Silicon Valley Data Science)的数据工程师 Matt Rubashkin 的一篇实战派文章,介绍了他如何创造性的将深度学习与物联网结合起来解决一个实际问题的思路和过程,非常具有启发性。

SVDS(Silicon Valley Data Science)曾使用过实时、公开的数据来优化对加州火车到达时间的预测。但是,加州火车的到站时间数据不可靠,因此难以准确预测。我们使用 Raspberry Pi 摄像头和 USB 麦克风,能够侦测到火车的经过及其速度和方向。当在 Mountain View 办公室里装配了一台新的 Raspberry Pi 时,我们遇到了一个棘手的问题:Pi 不单单侦测到了加州火车(true positive),也侦测到了太平洋联合货运的火车和 VTA 轻轨(false positive)。为了确保侦测到的是加州火车的延迟,我们不得不对不同的火车做个靠谱的分类。

图片描述

视频:https://youtu.be/n0lCPXzaxTg

传统的背景图像分类技术是远远不够的,因为我们在整个加州火车系统的铁轨上——包括不同的距离,不同的方向,不同的高度——放满了 Raspberry Pi。而且我们的操作时间也很有限,没有足够的时间来为系统里每一个 RaspberryPi 手动选择模式和特征。

用 TensorFlow 解围

幸好是在2016年遇到这个图像分类问题,因为在这一年里很多深度学习相关的图像识别技术的代码被公开了。我们选择使用 Google 的 TensorFlow 卷积神经网络,因为它有简单易用的 Python 库和丰富的在线文档。我拜读过 Pete Warden 关于 TensorFlow 的博客——TensorFlow for Poets(https://codelabs.developers.google.com/codelabs/tensorflow-for-poets/#0),这篇博客里介绍了如何在高性能的 Inception V3 模型上创建定制化图像分类器。而且,我可以用我的笔记本电脑来对这个新模型的增强版通宵进行训练。这样就不需要很贵的 GPU(显卡),也可以在未来对模型进行微调,非常有用。

我是从 TensorFlow 教程页面中花的识别教程开始的。我使用命令行接口来分类数据集中的图片,也包括 Van Gough 的向日葵这样的定制图片。

图片描述

图像中的名称,从上到下依次雏菊,向日葵,蒲公英,郁金香,玫瑰。

现在我有了用 TensorFlow 来创建图像分类器的经验,便希望建立一个稳健无偏的图像识别模型用来识别火车。虽然之前 Raspberry Pi 拍摄到的图片可以用于训练模型,但我还是选择了更大更多样的数据集。我也将小汽车和卡车包括进模型中,因为他们也可能在某些位置上经过 Raspberry Pi 的侦测点。为了得到这个汽车分类器的训练数据集,我用 Google 找了1000张图片,含:

  • 加州火车
  • 货运火车
  • 轻轨
  • 卡车
  • 小汽车

测试及配置模型

对模型训练了一个通宵,第二天一早,我回到办公桌来查看模型运行得怎么样。首先我测试了不包含在训练集里图片,并惊奇的发现,分类器似乎一直可以挑出正确的分类。这里面包括从 Google 上找到的训练集的图片,也包括从 Raspberry Pi 采集到的图片。

图片描述

图片中的名称,从上到下依次是:加州火车,运输火车,轻轨,汽车,卡车。

我在 Raspberry Pi 上运行图片分类器,来保证这套设备用户是可以支付得起的。此外,由于不能保证网络连接的速度,我必须直接在设备上运行分类器以避免把图片发送到中心服务器所造成的延迟。

Raspberry Pi3 马力(功率)充足,可以直接在设备上进行流处理,因此我们只需要用网络发送小容量的,处理过的数据流,并且这套设备也便宜。这个传感器整体的硬件成本是130美金,所有的代码都是用的开源库。我用 JupyterHub 对其进行了测试,以便控制多个位置上的 Raspberry Pi 设备。有了一个正常运行的车辆分类集,接下来我把模型加载到 Raspberry Pi 上,并在视听流架构下实现了它。

图片描述

为了能够在 Raspberry Pi 32Bit ARM芯片上编译,我使用的是来自SamAbraham 的 Pi-TensorFlow enthusiasts 小社区的指引(https://github.com/samjabrahams/tensorflow-on-raspberry-pi),同时也与 Pete Warden,Google 的 TensorFlow 团队进行了沟通。

解决 TensorFlow 在 Raspberry Pi 上出现的问题

虽然有好的文档记录如何在 Android 和其他小型计算设备上安装 TensorFlow,但大多数的例子都是单张图片识别或批处理,而非流媒体图片识别。在Pi上单张图片可以简单稳健地给出分数,如下面这个成功的分类所示:

图片描述

但是,把85MB的模型加载到内存里需要太长的时间了,因此需要把分类器图表加载到内存里。分类器图表加载到内存之后,Raspberry Pi 拥有总计1G的内存,在我们定制的火车侦测 Python 应用中,有足够的计算资源来处理连续运行的摄像头和麦克风。

图片描述

即便如此,用 TensorFlow 分析 PiCamera 拍摄到的每一张图片也是不可行的,因为这样 CPU 的使用率最终将达到100%,导致 Raspberry Pi 系统过热,因此只有运动物体的图片传送给了 Pi 上的图片分类器,并用 TensorFlow 识别不同类型车辆。

结论

如果你对使用物联网设备做实时图像分类感兴趣,请从这里开始:

图片描述


原文: TensorFlow Image Recognition on a Raspberry Pi
作者: Matthew Rubashkin,目前是数据科学公司 Silicon Valley Data Science 的数据工程师,并且是UC Berkeley 博士,拥有光学物理和生物医学研究的背景,并且在软件开发,数据库工程和数据分析方面拥有广泛的经验。
本文来源AI100公众号(rgznai100),授权CSDN发布。
欢迎人工智能领域技术投稿、约稿、给文章纠错,请发送邮件至heyc@csdn.net


图片描述 图片描述


SDCC 2017·上海站将于2017年3月17-19日登陆申城,三大技术峰会24位嘉宾,汇聚国内一线的互联网公司大牛,畅谈运维、数据库和架构的热门话题和技术热点,精益运维发起人&优维科技CEO王津银、MongoDB 大中华区首席架构师唐建法和华为软件API开放平台架构师李林锋等亲临现场。3月5日前门票八折优惠中,5人以上团购立减400元,详情点击注册参会

评论