返回 登录
0

使用Unity开发HoloLens应用

导读: 开发者们在陆续收到HoloLens开发者版的同时,也都着手了HoloLens应用的开发工作。本文作者从空间映射、场景匹配、自然交互等核心特性开始,以实践详解了如何使用Unity引擎开发一个简单的HoloLens应用,并对自己的开发经验进行总结和分享。

HoloLens概述

经历数个月的期待与等待,笔者终于拿到了预订的HoloLens开发者版本套件。作为市面上第一款发售的AR/MR设备,HoloLens开发者版本具有很多独特的黑科技。今天,我们就来了解HoloLens的开发特性(参见图1应用场景)。

图1 Hololens应用场景

空间映射

借助微软特殊定制的全息处理单元(HPU),HoloLens实现了对周边环境的快速扫描和空间匹配。这保证了HoloLens能够准确地在真实世界表面放置或展现全息图形内容,确保了核心的AR体验。

场景匹配

HoloLens设备能存储并识别环境信息,恢复和保持不同场景中的全息图像对象。当你离开当前房间再回来时,会发现原有放置的全息图像均会在正确的位置出现。

自然交互

HoloLens主要交互方式为凝视(Gaze)、语音(Voice Command)和手势(Gesture),这构成了HoloLens的基本输入要素。同时传统的键盘鼠标等设备也被支持,自然的交互方式更贴近人类习惯,提高了交互效率。

通用应用

HoloLens平台的操作系统为Windows Holograpic,同样基于Windows 10定制。所以Windows 10 UWP通用应用程序可以顺利地在HoloLens上运行。这不仅降低了研发和迁移成本,也让开发效率大幅提升。

当然,说了很多HoloLens的特性和优点后,开发者版本也存在一些亟待解决的问题,比如视野较窄、凝视体验不佳、抗光线干扰弱和重量续航等。但瑕不掩瑜,HoloLens带来了真正的混合现实体验,拥有着强烈的冲击感,未来将大有作为。

开发一个HoloLens应用

在了解HoloLens设备后,我们来试着开发一个简单的HoloLens应用,当然你也可以开发一个传统的UWP应用。这里我们则采用Unity引擎来构建应用,使用Unity开发是官方推荐的做法。

开始之前

确保正确配置了开发环境,需安装以下工具和SDK:

  1. Visual Studio 2015 Update 1及以上版本;
  2. Windows 10 SDK 10586及以上版本;
  3. HoloLens模拟器,如图2;
  4. Unity HoloLens技术预览版。

以上工具和SDK均可在微软官方网址获取,详细教程可以访问:https://developer.microsoft.com/en-us/windows/holographic/install_the_tools

图2 HoloLens模拟器

集成HoloToolkit-Unity项目

在创建了标准Unity项目之后,我们需要集成微软官方提供的HoloToolkit-Unity项目。HoloToolkit-Unity是微软官方的开源项目,用于帮助开发者快速开发HoloLens应用,能够快速为项目集成基本输入、空间映射和场景匹配等特性。以下是此项目的结构和内容分析,如图3。

  • Input目录

    • GazeManager.cs用于快速集成凝视射线特性;
    • GestureManager.cs用于快速集成手势识别特性;
    • KeywordManager.cs用于快速集成语音命令特性;
    • CursorManager.cs用于快速集成可视化凝视组件。
  • Sharing目录

    • Sharing Prefab组件用于快速集成场景共享特性。
  • SpatialMapping目录

    • SurfacePlane Prefab组件用于描述和渲染真实世界表面;
    • SpatialMapping Prefab组件用于快速集成空间映射特性;
    • RemoteMapping Prefab组件用于快速集成远程空间映射信息导入特性;
  • SpatialSound目录

    • UAudioManager.cs用于快速集成空间声音特性。
  • Utilities目录

    • Billboard.cs用于实现跟随用户视线特性;
    • Tagalong.cs用于实现跟随用户移动特性;
    • Main Camera Prefab组件用于快速集成HoloLens标准主摄像机。

图3 HoloToolkit-Unity项目结构

构建场景

新建空白场景后,我们需要删除原有的Main Camera对象,同时从HoloToolkit目录中拖拽一个Main Camera Prefab组件到场景中,如图4,这样就集成了满足HoloLens需求的基本主摄像机。对于HoloLens,将主摄像机渲染背景设为纯色,颜色设为RGBA(0,0,0,0)。因为任何纯黑的颜色将会被HoloLens渲染为透明,以达到不遮挡现实世界的目的。此外,HoloLens建议摄像机视角近距离为0.85,这个距离最符合真实人眼的体验。同时主摄像机位置必须重置为世界零点,即xyz(0,0,0),任何全息图像将会以此为原点在周边世界中绘制出来。

图4 设置主摄像头

然后点击“Create Empty”创建一个空游戏对象,并将其命名为Input,如图5。为Input对象添加核心脚本组件,分别为GazeManager.cs、GestureManager.cs、HandsManager.cs和KeywordManager.cs。这样就集成了以上命令三大核心特性,对于凝视射线、手势识别和语音命令功能,均建议使用单例来进行管理,这样可以避免功能混乱。同时为凝视设置可视化的指针,可以提高用户的交互体验和效率。

图5 集成输入组件

接下来集成可视化凝视组件,从HoloToolkit目录下拖拽CursorWithFeedback Prefab组件到场景中,如图6。这样当凝视在全息对象时,其表面会出现可视化凝视组件。当用户手势被识别到时,会出现一个蓝色的手掌图像,能够贴心地告诉用户可以操作了。

图6 集成凝视组件

创建一个Cube对象和一个新的C#脚本,命名为HoloTest.cs。Cube作为我们的全息图像主体,将它的Transform参数设为如图7所示。这样Cube的位置方便我们近距离观察其实际变化情况,你也可以根据自己偏好来放置它。

图7 设置Cube的Transform参数

HoloTest.cs脚本的功能为随机更换对象的材质颜色,遵循GestureManager.cs中预设的OnSelect消息名称,HoloTest.cs脚本中将会在OnSelect方法中实现此功能代码如下:

public void OnSelect()
    {
        //随机变换物体颜色
        gameObject.GetComponent<MeshRenderer>().material.color = new Color(Random.Range(0, 255) / 255f, Random.Range(0, 255) / 255f, Random.Range(0, 255) / 255f);
    }

进入Input组件检视选项卡,为KeywordManager.cs组件配置语音命令。图8语音命令触发时将会执行相应的组件行为。本例中,当我说出“test”时,机会即会Cube的OnSelect方法,来随机改变Cube颜色。

图8 设定语音关键词行为

编译项目

为了满足HoloLens的需求,我们需要在Player Settings里面开启Virtual Reality Support,并在下拉列表中选中Windows Holographic,如图9。只有这样HoloLens才会将此应用渲染为3D应用,这一点十分关键。

图9 添加HoloLens支持

同时从工具栏Edit→Project Settings→Quality选项卡中,将UWP平台默认画质设为Fastest,如图10。这是为了降低性能开销,官方推荐帧率为60fps。

图10 设定默认画质

如图11,Build Settings视图中选择目标平台为Windows Store,SDK为Universal 10,点击Build按钮开始编译UWP项目。

图11 编译Unity项目

部署调试应用

使用Visual Studio打开编译后的UWP项目,在Debug选项上设置如图12所示。

图12 设置Debug选项

连接HoloLens到PC,完成Build和Deploy后,我们在HoloLens中打开此应用。实际效果如图13所示。当我使用手势点击Cube时,它会随机变化颜色;而当我说出语音命令“test”时,Cube仍会正常的变换颜色,这完全符合我们的预期。

图13 实际效果图

HoloLens开发总结

使用Unity引擎开发HoloLens应用是非常容易的事情,大部分流程与开发UWP项目并无不同。但仍有不少需要注意的雷区和特殊要求,以下就是部分要注意的部分:

  1. Main Camera一定要按照官方要求配置,背景纯色且RGBA值为(0,0,0,0),这样才能避免遮挡现实内容;
  2. Gaze凝视特性需要我们使用Raycast来实现,注意处理射线未命中目标情形,默认凝视最远距离为15米,若是未击中物体,使用时可能会出现空引用异常;
  3. 手势识别、拍照和语音命令等均需使用Windows特有API,空间映射和场景匹配需要使用HoloLens特有API;
  4. 其他很多细节上的体验,例如可视化凝视组件、目标区域可视化指引组件等,使用它们来给用户提示,可以帮助用户理解应用操作方法,提高使用体验。

最后,AR/MR技术独特的交互体验与开发特性,代表了未来自然交互的发展方向,相较于目前成熟的VR技术,它们具有更光明的发展前景和更广阔的用途。无论是微软还是Magic Leap,它们无疑会是未来市场的引领者,而目前也是我们学习的黄金阶段,能够迎头赶上这波浪潮,对于相关从业者具有重要的意义。

作者简介:

张昌伟@msp的昌伟哥哥),全栈工程师,微软最有价值专家。专注于iOS和.NET平台开发技术,首批AR开发者,目前全职从事HoloLens开发。

责任编辑:唐小引(@唐门教主),欢迎技术投稿、约稿、给文章纠错,请发送邮件至tangxy@csdn.net

本文为《程序员》6月刊原创文章,未经允许不得转载,更多精彩文章请订阅2016年《程序员》

第一时间掌握最新移动开发相关信息和技术,请关注mobilehub公众微信号(ID: mobilehub)。

评论