最近几年,AR变得很火热。本文选取国外微软、苹果、谷歌、PTC四大AR巨头,国内AR领军企业亮风台和Realmax为例, 看看他们是如何在AR产业进行布局,同时还从手机端AR和头戴式AR的角度对AR产业链的发展情况进行了分析。
国外AR巨头之(一):微软
从全球AR产业布局中看,微软无疑是个全能选手。无论在AR头显和其他硬件组件,还是AR渠道、SDK、3D开发工具、3D捕捉等四类工具或平台,亦或是在游戏、消费、企业、医疗以及教育等领域的AR应用,都能找到微软的身影。
1、AR硬件
AR头显:提到AR头显,就不得不提HoloLens,事实上微软在AR上的所有布局都是围绕HoloLens在展开。
HoloLens内置高清摄像头,可以通过投影系统来创建低延迟的多维彩色图像。其次,HoloLens内置了很多先进传感器,例如环境光传感器、四环环境感应摄像头,传感器和摄像头同时工作所产生的信息,经过HPU全息处理单元处理,就能实时映射出所有信息。
由于重量的关系,HoloLens并没有内置风扇排热,但是有设计排气口帮助热量的散发。同时,HoloLens的运行内存为2GB,存储空间64GB,使用的是Intel的32位架构处理器。HoloLens设计有蓝牙、Wi-Fi连接,并且带录音功能,提供4个麦克风。
最重要的是,HoloLens没有线缆的束缚,也不需要智能手机,本身就是独立的智能设备。当然,为了满足消费者手势控制的需要,HoloLens还配备有蓝牙遥控器,采用手势识别技术控制。
深度摄像头:HoloLens最神秘的地方就在于它的深度摄像头,它的工作原理与Xbox的Kinect体感设备类似,仅用十分之一的电量,就可以为用户投射出大约70厘米*15英寸的画面。深度摄像头是HoloLens用来“观察”和了解周围的环境,如果你做出伸手动作,其传感器就能帮你追踪头部的变化。
镜头:HoloLens的每个镜头都由蓝色、绿色、红色三层颜色的玻璃组成。在镜片的上方,通过一个“轻引擎”将光线投射到头显上,在每一层玻璃上都有微小的波纹凹槽,而这些光粒子能够产生反射,使光线在周围弹射并且在眼睛上能够感知虚拟物体,这种技术是基于Windows 10系统。
2、AR工具
HoloLens是一款独立的高端增强现实设备,而Windows Holographic则是HoloLens的平台,该平台允许其他厂商的虚拟现实、增强现实以及混合现实设备使用Windows Holographic。
AR创建应用的使用的工具取决于应用的类型。
2D应用:2D应用可以使用任何可以开发UWP应用的工具开发,例如用来开发PC、平板和Windows Phoned通用应用的工具。这种应用将被表现为2D投影,并且能够跨设备运行。
3D应用:全息3D应用需要使用基于Windows 全息API(Windows Holographic APIs)设计的工具来开发。当然,如果想开发全息应用,推荐使用Unity;想要构建自己引擎的开发者,可以使用DirectX和其它Windows API。
此外,使用Visual Studio and the Windows SDK、Windows Device Portal、HoloLens emulator也有助于提高开发者的开发体验。作为一款主要面向开发者团队的产品,现阶段HoloLens更大的价值在于召集更多的开发者在其平台上产出更多的内容。
3、AR应用
硬件的竞争,最终都归结到内容上。微软在官网上展示了接近150个HoloLens应用,其中包括了Skype和其它有趣的游戏和体验。最新的两款应用是HoloGuide和HoloHear。HoloGuide能够将我们引入到一个低能见度区域,并且还能将聋哑人士的手语翻译成语音。还有Teomirn,可以将我们的手指命令叠加到钢琴曲,让自己变身贝多芬。
当然,还有更多的应用可以让我们体验HoloLens的魅力,比如HoloStudio可以进行3D虚拟打印,Actiongram可以用全息图像来讲故事,而Roboraid则带来了第一人称的射击游戏,用手势和眼神来控制开火。另外微软还宣布将会使用HoloLens兼容所有的Windows 10应用,包括OneDrive、地图、Remote Desktop、Groove Music和Office套件等。
宇航员在太空中使用HoloLens
就连NASA都已经看好了HoloLens的潜力,能够让宇航员在太空中使用HoloLens作为自己的虚拟助手,而这些都是非常让人兴奋的应用。
国外AR巨头之(二):苹果
自2015苹果收购Metaio时,大家就知道苹果开始布局AR了,终于在今年的2017苹果全球开发者大会(WW DC 2017)上,苹果发布了基于iOS的AR开发平台——ARKit,帮助开发者在 iOS 的 app 中加入 AR,从而更好地连接虚拟世界和现实世界。
ARKit有哪些技术亮点?
运用了VIO技术。翻阅苹果官方SDK文档,可以看到ARKit使用了VIO技术,即结合了运动传感器硬件和基于摄像头捕捉的图像视觉算法,具备找平面的AR基本功能。
其次,ARKit独特之处,在于具备了scale的感知、环境光的感知等功能,这些功能在传统的AR SDK很少见。需要指出的是,ARKit之中并未包含图像识别、云识别等基础的AR功能,显然它不是一个跨平台的开发工具。
ARKit的应用实例
由于ARKit目前还处于初期开发阶段,所以还无法从App Store中下载,不过笔者从一些牛人的微博中找了一些有意思的ARKit实例,与大家分享。
测量实物长度
利用AR测量现实物体的长度
该利用AR技术模拟了一把虚拟的卷尺,用来测量现实物体的长度,还可以用不同的单位进行测量,比如厘米或英寸。根据图片中所展示的,测量得到的数据跟实际数据相比稍微有些出入,但总体上还是比较准确的,用来作为粗略测量的工具会非常使用。
室内展示
室内展示
在这款AR App 中,你可以通过不同的角度去观察屋内装饰,还可以透过墙看到隔壁的房间。如果将手机靠近房间,则可以放大家具的细节。这款AR App也许可以用在室内装修、房地产展示、家具购物等领域,也是一个很实用的范例。
此外,还有观察太阳系行星分布的APP、游戏类APP、展示类APP、趣味类APP等各类型的AR APP,大家感兴趣的可以自己找找。
国外AR巨头之(三):谷歌
早在 2014 年,Google 就推出了自己的 AR 平台,Project Tango,同时还发布了支持 Project Tango 的 Android 原型机。
AR硬件
与传统的GPS、Wi-Fi定位技术不同,Tango采用参照定位,是根据硬件设备的传感器,例如重力传感器、IMU陀螺仪等,获取移动设备相对于初始位置的位移和旋转角度,自己构建一个参照坐标系,因为有较高的精确度。Tango中主要有三个核心技术。
移动追踪:Tango会记录追踪移动设备在3D空间中的位置,位置数据包括地点、旋转角度等,进而实时报告给应用。
区域学习:区域学习技术使得移动设备能够看到和记住物理空间的关键视觉特征,如边缘、角落等。区域学习能将使设备具有记忆功能,下次需再看到会自动进行匹配,并利用之前数据修正误差,进而使得定位更准确。
深度感知:深度感知技术使得设备能衡量物体之间的距离,这是通过独特的硬件设备技术实现的,例如结构光、光速飞行时间、立体测量技术等,这是感知3D空间的一些方法。
需要指出的是,Google 的 Project Tango 并不是一个简单的 AR 平台,他还囊括了人工智能和机器学习,其中就设计到了 3D scene understanding,这个技术实际上是让机器人去识别和理解其所处的环境。
AR应用
“透视眼”逛博物馆
在底特律艺术学院,参观者可以借助一部搭载Tango技术的手机查看到展出的埃及木乃伊内部结构以及其他展品细节。简单来说,Tango会将扫描获得的木乃伊石棺内部图像叠加到手机拍摄画面上,于是,隐藏在纱布最里面的古埃及骷髅骨架和其他隐藏艺术文物就展现在我们面前。这就相当于你拥有了一双透视眼。
足不出户买家具
还有一款叫做iStaging的Tango应用,可以让你足不出户选购家具,并且可以通过3D模拟绘图,将家具虚拟地摆放到家中合适的位置,让你预览整体效果。这些家具的AR呈现效果在空间感和大小比例上都非常出色,几乎和在宜家逛样板间没什么区别。
无处不在的游戏
《Crayola Color Blaste》这一游戏和《Pokemon Go》有异曲同工之妙,不过后者是基于地理位置推进游戏进度,而前者基于Tango技术,可以随时随处生成游戏场景。简单来说,任何时候打开游戏,游戏形象和画面都可以与你当时所处的环境叠加,在家中、办公室里与会吃掉颜色的僵尸搏斗。感觉是把游戏人物随身携带一样。
国外AR巨头之(四):PTC
自2015年11月PTC收购Vuforia后,PTC逐步实现了Vuforia与其物联网分析平台ThingWorx的整合,充分发挥了物联网(IoT)与增强现实(AR)这两项变革性技术的优势,实现了PTC融合数字与物理世界的愿景。
Vuforia平台
Vuforia最早是高通推出的针对移动设备扩增实境应用的软件开发工具包。它利用计算机视觉技术实时识别和捕捉平面图像或简单的三维物体(例如盒子),然后允许开发者通过照相机取景器放置虚拟物体并调整物体在镜头前实体背景上的位置。
Vuforia平台主要包括三个组件。
1)Vuforia引擎
Vuforia引擎是一个客户端类库,可以静态集成入相应的应用。它可以在Vuforia SDK中获取到,并支持iOS和Android平台。
2)工具集
Vuforia还提供了一些工具来创建对象、管理对象数据和确保应用正确授权。Vuforia Object Scanner帮助你扫描3D模型并转换为Vuforia引擎兼容的格式;Target Manager是一个开发者控制台的web应用,它允许你创建数据库来存储用户在设备上或云服务上使用的target数据。
为眼镜构建应用的开发者们可以使使用Calibration Assistant助手来生成适合用户面部独一无二几何形状的配置文件,Vuforia可以使用这些配置文件来将虚拟内容渲染在正确的位置上。
3)云识别服务
当你需要识别大量图片或者数据库需要频繁更新时,Vuforia提供了云识别服务(Cloud Recognition Service)给开发者。Vuforia的web service API允许你有效地管理云端大量的图片数据库,并能通过直接将它们集成到你的CMS(内容管理系统)来自动化工作流程。
PTC的AR解决方案
PTC的AR解决方案可以帮助创新者和开发人员构建身临其境的AR体验,这将改变用户在智能互联的世界中创建、运营以及维护产品的方式。
PTC近期推出了一款适用于工业企业的AR产品:ThingWorx Studio融合了Vuforia的强大功能和ThingWorx IoT平台,为工业企业创建、运营和维护产品提供了新方法。
ThingWorx Studio是一款颠覆性的技术产品,利用该产品,企业不需要具备高超的AR编程技术或深入的AR专业知识,也可以轻松快捷地创建AR体验。无论用户背景如何,利用这种体验,他们都可以在智能互联的世界中更好地创建、维护和运营产品。
AR体验步骤
通过ThingWorx Studio,可以实现:
•创建工业AR体验,为概念项目构建证据支持。
•只需简单地“拖放”即可创建引人入胜的AR体验,无需编写代码。
•通过轻松集成3D CAD模型、企业系统数据、文本说明、动画和实时传感器数据,创建并重复使用现有内容。
•在短短几分钟内通过iOS和Android设备发布需要交付的体验。
可以说,PTC不仅保持了Vuforia在消费者市场中的技术领先优势,并且已经将Vuforia的能力拓展到了企业级的应用领域。目前PTC已经将AR技术应用在预测性的维护,远程服务、远程诊断等领域。
国内AR的领军企业之(一):亮风台
提到国内的AR企业,首先想到的是亮风台。自成立以来,亮风台始终专注AR核心技术,深度整合软硬件,面向用户提供专业AR产品与服务的公司,其主打的产品是AR眼镜HiAR Glasses和HiAR SDK解决方案。
亮风台是国内少数掌握核心自研技术的AR团队,放眼全球也具备充分的竞争力。图像识别、环境感知、人脸识别、手势识别,多次刷新国际权威评测记录,据悉,亮风台团队所研发的“基于深度学习的目标跟踪技术”,不但在国际权威的跟踪算法评测(OTB 100)中获得领先成果,还被运用在了智慧城市的落地产品中。
AR眼镜HiAR Glasses
HiAR Glasses 采用自由曲面光波导投影系统,镜片不仅轻薄,更兼顾性价比和量产性。精心设计的强反射遮光镜片,可大大提高强光下的可见度。可私人定制舒适镜片,轻松调节瞳距和近视度数。
HiAR Glasses
同时,HiAR Glasses全球最小的双目立体手势深度摄像头模组,不仅满足 AR 手势交互的性能要求,更兼顾整体外观和功耗。另配备两颗增效补光器辅助深度计算,大幅度增强自适应室内外不同光线条件下使用的能力。
HiAR OS
此外,新一代的 HiAR Glasses,采用基于手势、语音的自然交互方式,配合精心打造的 HiAR OS,将 AR 互动体验提升至更高境界。可以说,HiAR Glasses的核心技术全部由中国人自主研发,不仅获得了"设计界奥斯卡"德国红点奖,还获得了CES Asia 2017创新奖。
HiAR SDK
HiAR SDK简单易用,功能强大,支持支持 Android、iOS、Windows 和 macOS 平台,可在手机、智能眼镜、无人机、机器人等设备上运行。
HiAR SDK拥有全面的AR功能,包括多目标识别跟踪技术,可同时识别并跟踪多个目标;独创的“云端+本地”识别技术,无限扩展能力,成倍效率提升;动态目标加载技术,可灵活添加识别目标,随时随地为用户提供最新内容;使用 Unity 3D 打造创意非凡的增强现实 App。
可以说,HiAR SDK以原生支持多种格式3D动画模型渲染,且支持脚本语言。同时也支持丰富的原生多媒体AR和视频蒙版特效,并兼容全部主流的软硬件平台,三行代码即可集成。
AR应用
亮风台AR应用主要集中于工业、教育、军事,智慧旅游,信息展览等领域。
国内AR的领军企业之(二): RealMax
RealMax是一家集硬件、软件、内容为一体的AR企业,Realmax已经在上海、香港、纽约、慕尼黑设立了分公司,并建立了5个全球实验室,完成了硬件量产、软件算法、应用开发和内容制作的AR技术储备,通过纵向的能力布局,Realmax可以走在AR行业的世界前沿里,并具备了打造生态的能力支撑。
RealSeer
Realmax集团拥有13年的硬件研发经验,可以提供AR硬件开发、工业设计、OEM定制和批量生产;有超过10年的图像软件积累,在图像追踪、云端视觉搜索、3DSLAM、人脸和表情追踪等方面实力雄厚;软件方面技术实力同样不俗,在AR开发工具上,支持安卓、iOS、Unity3D和WindowsPC等多终端、跨平台开发,提供标准的SDK包,并推出了AR操作系统Realcast找趣。
目前,Realmax已经应用在医疗、教育、军事、家居、工业、旅游、电商、娱乐等多个领域。
AR产业链分析:
纵观整个AR产业链,是非常庞大的,包括硬件、软件、渠道、内容、应用等方面,本文仅对AR产业的硬件+工具+应用进行一个简单的梳理,从手机端AR和头戴式AR两个方面总结如下:
1、手机端AR发展情况
手机端AR发展现状可概括为:硬件、操作系统、软件开发标准已经建立,具备了进入消费级市场的条件。但是由于缺乏相应的应用场景,下游市场尚未形成规模,导致消费级市场还没有正在打开,市场认知度偏低。
AR硬件
目前来看,AR硬件和零部件技术主要掌握在国外AR企业手中,典型代表如微软、谷歌、苹果。但长远来看,这些企业已经完成了AR前期技术积累,留给后来企业渗入的机会不多。
AR工具
在操作系统和SDK上,谷歌已经完成了行业标准的建立,留给小公司的机会基本上没有。
AR应用
目前来看,AR应用生态尚未形成,应用场景还在建立之中,国内大多数AR企业集中在这一层,现有应用场景主要集中在游戏、健康、教育等领域。
综上所述,手机AR属于头戴式AR大规模应用之前的过渡产品,目前已经有一定的应用及内容市场,按照Gartner新技术周期预测,大约是5-10年后手机AR会被头戴式AR所取代。
2、头戴式AR发展情况:
头戴式AR产业链尚未真正确立,受技术、价格等方面的制约,目前仍在发展期。
AR硬件
目前市面上充斥了很多AR眼镜,如微软的Hololens、谷歌的谷歌眼镜、EPSON的AR眼镜BT-300系列、亮风台的HiAR Glasses等。
从显示设备中光学模组的角度来看,一些厂商已经完成了自己的技术积累,如HoloLens的光学模组,这个主要考量的是顶层技术实力。
从3D图像识别技术组件来看,图形识别技术目前的门槛是数据积累的碎片化,多数公司在这个领域深耕;同时基于机器视觉算法的3D图像识别是AR的核心门槛,国外的AR巨头通过对小型创业公司的收购,完成了这方面的技术积累。典型的代表如微软和苹果就收购了很多图像识别公司。中国公司在这一领域也涌现出了一些独角兽公司,如亮风台和Realmax。
AR工具
目前来看,国外SDK除了幸存的历史悠久的开源库ARToolKit,其余难逃被收购的命运。Metaio被苹果收购,目前SDK已经不能从官方下载;Vuforia更是命运多舛,先是卖给了高通,最后被PTC收购;Total Immersion,早年已经被Intel收购,被纳入Intel RealSense SDK当中,需配合RealSense相机使用。
与国外SDK发展的窘境不同的是,国内早期创业的AR企业的SDK进入了快速发展期。目前发展比较好的有:亮台风的HiAR SDK、Realmax的RealSDK、视辰信息科技(上海)有限公司的EasyAR SDK等企业。此外,亮台风、Realmax、视辰信息科技(上海)有限公司在软件平台发展得也非常不错。
AR应用
就目前的行业发展情况来看,AR应用会最先教育、企业、消费、游戏、健康等细分领域取得成功。教育培训方面,用3D立体的图像在书本上完成呈现,帮助学生学习理解;企业典型的应用如飞机维修,借助AR,用户可以迅速知道零件的具体用途,并按照指引完成高效维修,不必通过查字典的方式,相似的还有手术和临床诊断;消费方面主要是线上信息能通过AR与线下场景完成交互,提升用户体验。
综上所述,在AR硬件层,终端硬件门槛高、量产难、价格贵;在AR工具层,算法研究成果的精度和可扩展性的技术发展还受限制;在AR应用层,用户使用习惯还未形成,企业也在寻找切入点。这一切都使得AR行业仍然是蓝海,AR产业还处于摸索、探索的阶段。