您正在使用IE低版浏览器，为了您的雷锋网账号安全和更好的产品体验，强烈建议使用更快更安全的浏览器
发私信给大壮旅
导语：通过移动设备切入大众市场的 AR，何时能附身穿戴设备？
同步到新浪微博
当月热门文章
为了您的账户安全，请
您的邮箱还未验证,完成可获20积分哟！
您的账号已经绑定，现在您可以以方便用邮箱登录
请填写申请人资料特稿 | 你不知道的CES真相：AR眼镜，想说爱你不容易|眼镜|AR|光学_新浪科技_新浪网
& 滚动新闻 &&正文
特稿 | 你不知道的CES真相：AR眼镜，想说爱你不容易
一进CES场馆，就是这么一个浑身布满二维码的立方体。由于姿势清奇，你无法看到它的每一个面，就仿佛这次的CES展，太多人就看了个热闹。对于背后的门道，不乏蜻蜓点水、人云亦云之士。作为一个有追求、有热情的媒体，我们能容忍这样的报道吗？答案当然是No！为期三天的CES Asia昨天过去了，我很怀念它。实际上，前两天（七、八号）因为事情太多，并没有一整天都泡在展馆里。返京的高铁在九号下午三点，为了赶上最后一天这个尾巴，我拿了朋友的展商证，早早地八点就进场了。然后为了多看一会儿，下午一点半才往出走，结果一阵狂跑才赶上火车。跑步途中我脑子在想：啊，好多年没跑过这么快了，但腿长还是有优势，步子就是大。坐到高铁上后一看表，差两分钟三点。“这届CES不行”，成了我听到最多的声音，仿佛都成了一种政治正确。虽然这次CES的展位的确有很多没卖出去，不过个人观察来说，还是有不少可以说道的东西。事实上，我相信大家这几天估计已经看过太多那种每个展台把展商的PR稿抄一遍的所谓CES总结文章。如果你不满足于此，扔掉那些浮光掠影的总结，我们来好好聊聊真正的CES吧。下面的部分我分为几个部分，分别是AR眼镜、VR硬件、汽车+VR/AR、AR+早教、VR/AR购物、低调的公司展、产业链上游公司……唔，标题好像不是很给力呢，那么，还是叫“AR眼镜：想说爱你不容易”、“VR最大的惊喜竟然来自一家俄罗斯厂商！”、“将来你开车的时候离不开AR/VR”、“孩子们，准备迎接一大波AR玩（ji）具（lei）吧”、“放下VR购物，京东的AR仓储倒是感觉挺有前途”、“小展位，大巨头，你绝对会错过的这些低调公司”、“VR/AR产业的幕后推手们”，是不是感觉厉害多了？那么，让我们一同走进今天的分（tu）享（cao）。Let’s Go！AR眼镜：想说爱你不容易本次AR眼镜公司来了非常非常多，乃至把一些常年闷声发财，一般人都不是很熟悉的公司也炸出来了。不过，走过整体的AR眼镜，仍然是觉得，AR眼镜还是处在一个特别早期的阶段，大多数展出的东西仍然处于demo阶段，展台上拿起来，看看，放下，走人，OK没问题，但是让人买回家去，能用，各方面鲁棒性过关，对不起，就像一位朋友的说法，大概还需要五年。首先，AR眼镜本来就是个技术含量特别高的玩意儿。把一块虚拟图像以自然的方式贴合到人的视野里，真的不是说说那么容易，也不是某些厂商在发布会一笔带过的那么轻松，它对软件、硬件水平要求都特别高。软件如计算机视觉、SLAM技术等，硬件如光学成像、SoC芯片等。而这方面的软硬件实际上目前都不太成熟。还没完，甚至还需要有工业设计方面的考量，外形总不能太丑吧？我们不说B、C端，那是商人强行给客户划分的类型，就说作为一个人类，我们对一个戴在眼镜要求是什么？要轻、要显示好，要一百次用一百次运行OK，最重要的是，要便宜。首先说轻，如果要轻，就必须在光学方案和处理单元这些硬件上下功夫。CES展会上绝大部分眼镜厂商展出的还是老版本的光学方案——N年前的谷歌眼镜的棱镜方案（就是那个方方正正的方块），或者就是这种方案的兄弟：半反半透反射，或者升级版本的自由曲面棱镜，然后就是极少数的，也是AR眼睛的未来——光波导，最后是特别少数的，传说中的Video-See-Through（视频透视）。我们一个个来，谷歌眼镜棱镜这种过时的玩意我们不说了跳过好不好？它效果差，FOV（视场角）小、还只有单目。但是你不要小看这种方案，它的确便宜——实际上出货最多的AR眼镜厂商就在这个领域，而且这次很低调的就只有一个小展台，据说其一家量级达到5k级，这个级别在AR眼镜领域实际上算天文数字了。只是，我们真的该move on了，向前看吧……另外，谁知道去年被传倒闭的某深圳A字开头的棱镜公司咋样了啊？接下来是半反半透反射，它的原理是通过一块屏幕把图像投射在你眼前，再折射到你的眼睛里。这方面方案最有名的就是Meta——如果你不知道，腾讯、康卡斯特、李嘉诚、联想可是给这家公司投了几个亿的，你必须得好啊，是不是？但实际上Meta的头盔非常笨重，这是它的光学原理决定的。因此FOV虽然有90度之巨，体积却非常大。最要命的是，必须要连接电脑——这是AR几乎不可忍受的。Meta的方案其衣钵继承者就是DreamWorld，这次DreamWorld也占据了一个展位，我一过去问光学，小哥给我拽了一句英文，听着好高大上（其实是没听懂）……其外形和Meta非常接近（不知道为啥，他们不让我拍人戴着眼镜的照片），用的也是类似的方案。实际上，他们CEO正是Meta出来的，巧合的是，我上午刚去DreamWorld看过，下午回到住处就传来了Meta状告DreamWorld CEO剽窃老东家专利的消息。抛开这些八卦，DreamWorld在显示、亮度和色彩方面，几乎可以说是整个CES亚洲展里最佳了，吊打同类无问题，其亮度号称达到300尼特。不过可惜的是，展示中它无法实现SLAM，顶多也就看看显示效果。据说其SLAM方案还在做。另外，它也是需要连接手机或电脑，从其中的app来启动。半反半透在本次场馆里还给我留下深刻印象的还有RealMax的AR手机盒子，不对，比起AR纸盒子来说，外观上还是好一些的。这个方案最早是RealMax收购的深圳智帽团队做的，看上去有点工业范儿，不过显示效果很一般，不如DreamWorld。另外手机是放在脑门这个位置的，开了一上午了也比较烫了。还有一款AR工业头盔，试了半天没有成功开启，从显示来看，体验也一般般，我个人其实很怀疑这种一块小屏横在眼前的工业头盔方案前景。另外还看到一家杭州的蓝斯特，也做了好多年了，公司是2011年成立的，据说拿的单子也不少。嗯，看看吧……打开机，我看到了什么？那不是传说中绝对无敌、经典的谷歌安卓系统下方的三个虚拟按钮么！你跑到AR眼镜里来做什么？！最后就是0Glass，这家刚刚被三一重工投资的深圳公司的产品是我离开CES前最后去的一家，因为之前人太多了。他们最新眼镜Danny光学虽然还是个半反半透，但是不需要连接手机和电脑，是一体式的。显示还不错，从demo演示来看，效果也可以，采用的是索尼的OLED屏。不过，展会上仍然也只是一个demo而已。接下来是自由曲面方案的产品，实际上自由曲面也是一块棱镜，只不过相比谷歌Glass和Meta这种简单粗暴的东西，设计难度更大，可以做到视场角更大，价格也不贵。本次展出的主要有亮风台、悉见和影创三家（严格来说就是两家），自由曲面领域比较有名的模组提供商北京耐德佳本次没有单独参展。亮风台采用的是北京耐德佳公司的自由曲面光波导方案，包括本次参展的悉见也是一样。亮风台这次展出的仍然是HiAR Glass眼镜，搭载骁龙820芯片，我之前已经讨论过很多次这家公司和它的硬件产品，demo的效果还是可以的，创始人团队都是技术出身，阵容非常豪华，但是从软件大牛到硬件成型这其中的坑是巨大的，亮风台的产品拖了很久，可能这些也有关吧。最近传出了开始量产的消息，希望量产顺利吧，毕竟对于硬件产品来说，供应链还是个巨大的坑，有些硬件上市公司耕耘数载，都不敢自称供应链很强。影创把之前半反半透的产品都拿出来了，也展出了自己的新产品——Air，同样采用的是自由曲面棱镜，据影创光学团队负责人董若告诉我，这款自由曲面是他们自己光学团队设计的，并且实现了在10毫米的镜片上做到60度FoV的方案。他们也在观察，是不是接下来走光波导的方向。最最后，终于轮到了传说中的光波导。为什么光波导这么重要？被大家都看作AR眼镜光学的方向？因为目前只有它才能实现轻便、接近我们现在真正眼镜的外形和重量。光波导以以色列著名光学方案公司Lumus为扛把子，基本上雄霸市场N年，最近美国的DigiLens有迎头赶上的趋势。本次展会带来光波导方案的分别是Lumus的合作伙伴Infinity AR、北京的灵犀微光和深圳的鼎界。先说Infinity AR，这家公司被爸爸的阿里巴巴投资了1500万美金，本来是我比较抱有期待的公司，而实际上排队也的确水泄不通。好不容易蹭了一把，戴上了传说中Lumus的AR眼镜。效果的确算是最轻薄，通透度也超过前几个方案。光波导目前的问题是价格高，因为其良品率较低。据说Lumus一片眼镜要到1000美元以上（不过听说上海某公司号称能做到80%良品率？？？），两个加起来就直接破万了。北京灵犀微光不卖眼镜，只卖光机。镜片看上去效果也可以，1.7毫米的厚度接近Lumus的1.6毫米，FOV也不错，但是号称可以自己调节亮度？总之，波导最关键的问题是在于量产，产能如何，良品率如何。目前国内还有深圳珑璟光电（独家 | 七人团队坚持两年半，AR公司珑璟光电获数百万天使轮投资）、上海理鑫光学等。不过有个公司这次的宣传册上号称自己是全世界唯二能生产消费级AR光学的之一？呵呵……是谁就不点名了。深圳鼎界展出的是自己光波导的样机，不过去的时候没电了用不了Otz。据说，这是一家渠道能力很强的公司，准备把AR眼镜卖给一些航天科技方面的用户。光波导方案则来自国内的各家供应商。再最后，我们来谈一下整个CES亚洲场馆唯一的一家采用Video See Through方案的AR（自称是“介导现实”（MR））眼镜方——易瞳科技吧。Video See Through（视频透视）是实现AR/MR的两种主流方式之一，第一种是用透镜光学，具体种类我们前面介绍很多了。而视频透视就是拿一块屏放在你的眼前，外部拍摄来的视频在你眼前播放，从而形成“看到”现实的效果，虚拟物体都是叠加在这个视频里的。可以理解成，这是一种类似AR的VR，即所谓的介导现实（Mediated Reality）。但现在这种方案已经很少有人在搞了。戴上易瞳科技的MR眼睛，就如同我刚才说的，可以看到摄像头拍摄到的我眼前的现实，并且也有一些虚拟物体叠加在上面。但要命的是，整个体验的帧数不高，拖影和掉帧非常严重，应该达不到60fps。眼镜卖8000多，很神奇的是网店的简介里写明白了是给开发者（说白了感觉就是极客）的，还建议一般用户不要买。不过公司声称，他们不靠卖这个眼镜为主营业务，主要还是接一些B端的方案。说了这么多光学，还有软件呢？这方面最重要的当然是SLAM技术。它是解决虚拟物体能够在现实中真正存在的最核心技术。简单来说SLAM就是一种定位方案，它能感知并重建周围的世界，让AR世界里的虚拟物体牢牢待在原地，就像真的一样，不会出现你走出几米转头发现回头，咦？东西不见了？然后一秒出戏。如果用过微软的HoloLens就会明白，HoloLens是靠着四台RGB摄像头+一台深度摄像头，和一台HPU（全息图像处理单元）匹配完成了环境的感知和重建。而在本次展会上，几乎所有家的效果都一般，包括以这方面著称的以色列公司Infinity AR，这家公司采用的双目立体摄影机+惯性测量单元的方案，价格便宜，算是实现了SLAM，不过也很飘。据说，不用深度相机的原因是为了节约能耗。据专做SLAM的朋友表示，目前存在的大问题就是，很多公司把VIO（视觉惯性里程计Visual–Inertial Odometry）技术当成SLAM放出来了：VIO是用单目或双目摄像头做识别匹配和深度估计等，用惯性测量单元去做初始水平面估计和3自由度，最后再用一套算法做拟合。勉强可以理解成是一种模拟。问题就在于，“看看视频、玩玩桌面游戏，VIO勉强可以了。但是要在工厂、仓库、大型建筑这种大场景，没有SLAM就不行”。依仗Marker的VIO比SLAM更好搞。但这样一来是非常麻烦的，你会在使用AR眼镜的时候把整个房子都贴上标签吗？本次参展的做到SLAM的眼镜厂商基本没有，DreamWorld说是SLAM有demo但没展出，0Glass的直接表示demo没实现SLAM（他家的软件据说是和EasyAR视辰合作搞得）。另外有一家上海视限是做“视觉惯性SLAM模组”的，因时间关系没有去看成，具体不明，堪称遗憾。有看了的朋友可以告诉我效果怎么样。综上所述可以看出，AR眼镜目前无论是硬件还是软件都还有很多不成熟的地方，也有很多坑。我们仍然需要等待这些技术的进一步成熟。另外不得不再提一下虽然自己不在场、但却无处不在的HoloLens。整合没什么好丢人的，撒谎反以为荣才丢人我们必须再把已经被N家国内AR厂商吊打了好几次的微软HoloLens从场外抬进来了。HoloLens的光学用的是自己做的一套全息衍射波导光栅方案，最早来自诺基亚，虽然都叫波导，但这一套和Lumus的方案其实不太一样，工艺相当复杂，国内基本没有公司有再现的可能。这种光学原理带来的视场角的确小，才30度左右，目前单论显示效果，的确已经被国内一些自由曲面方案超越。但HoloLens的显示还是OK的（虽然有点色差，这是它原理决定的），而且操作系统稳定，只是手势识别的确有的时候有点坑爹。不得不说的就是HoloLens的SLAM方案，至今没有人能超越，它不需要你在空间中放置什么标记或Mark点。虚拟物体也是真的很稳稳地在你视野里待着，已经脱离了demo的范畴，有实际可用的游戏和应用。谁用谁知道。最屌的是微软专门给HoloLens搭载了一块叫HPU（全息图像处理单元）的玩意，这东西由台积电专门设计，处理所有从摄像机和传感器序列传来的数据的，基本可以实现每秒一兆次运算。国内公司喜欢拿重量、FOV说事，从而得出HoloLens FOV小、重量沉，而对自己具体采用的是棱镜、自由曲面还是半反半透膜？处理器效率如何？SLAM实现没有？是分体式还是HoloLens一样的一体式？（分体式指把处理单元放在一个模块里揣在身上）这些问题讳莫如深或刻意不谈。这么比较真的没啥意思。可以说，虽然已经推出好久了，HoloLens仍然是最棒的AR眼镜，没有之一。开玩笑，微软倾世界最顶尖的人才，苦心经营了N多年，随随便便就被你创业公司超越了？就像一个同样做AR眼镜的朋友说的，如果微软花了这么多人力物力还随便被吊打，那就是我们行业的悲哀。门槛这么低，大家还玩毛？巨头早该进来收割了，哦不对，苹果已经来收割SDK厂商了，请允悲。其实我真的感觉国内厂商不管是为了融资还是PR，没有必要动不动就吊打HoloLens，不要把VR头盔领域的坏毛病学过来。你真的告诉投资人，我们国内创业公司比不上国际巨头微软花好几年搞出来的HoloLens，这很丢人吗？我觉得如果投资人这一点都理解不了，那这个投资好像不要也罢啊？AR眼镜的供应链真的太长了。长到了一个创业公司不可能面面俱到的地步，牵扯到很多产业链上游的公司。抛开光学、芯片和软件，就是小小的LCoS投屏技术，都有很多厂商扎堆，比如奇景光电，这次参加展出的韩国公司May和香港公司香港应用研究院有限公司（是的，这是家公司，下文会详叙）等等也都展示了LCoS模组。未来还可能采用画面效果更好的微型OLED投屏，目前来说，微型OLED屏的主要供应商是索尼，但其缺点在亮度，此外有美国军方供应商eMagin，号称能把亮度调到5000nit之高，还有京东方投资的云南奥雷德光电。（理论上可以通过加大电流来提高亮度，但这样会造成功耗和发热感人）说到台湾佐臻，这是一家历史比较悠久，专门给其他AR眼镜厂商做解决方案的公司。这次他们的上海子公司翊视皓瞳也有参展CES亚洲，哗啦啦华丽地排出了一大堆自己设计过的AR眼镜方案，从棱镜、自由曲面、半反半透到光波导（Lumus的光波导方案）都有涉及。我也打听到联想的AR眼镜方案（不是和Kopin的合资，是内部对标HoloLens的另一款眼镜，七月发布）也是佐臻在做。但人家工作人员大大方方说自己的强项并不在光学，而是给谷歌眼镜做的那块小小的芯片板子，“这才是我们的核心技术所在。”其实，对于创业公司来说，很多东西的确不是你能搞定的。更何况国内外技术的确有差距。联想这种大公司，都和美国Kopin开了合资公司，要利用对方的光学方案做AR眼镜。因此整合各家公司的东西形成自己的产品，真的没啥好丢人，也是一门很厉害的技术。供应链管理水平本来就是非常稀缺的能力，需要几年，甚至十几年的功力。就像美国的军工AR眼镜Vuzix，其实光学和软件方案都没有多高端，很多也不是自己做的，但就是踏踏实实在做工业、军工领域的解决方案。因此中国的创业公司，瞄准一个垂直领域，潜下心来、扎扎实实、量身定做地去干，绝对是有机会的。至于硬件参数？先进的光学方案？碉堡的处理速度？那不是你的赛道，那是巨头的赛道。AR眼镜到底是不是未来？但是AR眼镜是不是未来？我个人是存疑的。我先严正声明，个人是非常喜欢AR眼镜的，喜欢到什么程度呢？买微软HoloLens的念头缠绕了我曾经小半年，但是由于太贵还是作罢了。毕竟穷啊。首先，真的要尊重习惯的力量。老罗的锤子M1更新了“一步”功能，能让手机多一个侧边栏，想从微信跳到浏览器，一滑，一点，就过去了，可以说是太方便了，既不用退回Home，也不用双击出运行菜单。我买了M1和坚果Pro两台机器了，用这个系统很久了。但我是怎么做的呢？我还是像以前那样，退回Home菜单，然后翻找浏览器的app图标……只有很少情况下，我想起“一步”功能来了，才焕然大悟，对呀，有这么方便的功能呢。我咋没好好利用起来？说这个故事只是想说明，习惯的力量是如此强大，改变它不是一朝一夕的，甚至有的时候，是不可能改变的。用户看电脑、看手机，其实习惯都是差不多的，那是去看一块游离在游离于身体之外的屏幕。并且手机是社交刚需品，辐射连带性非常强。但如果这一切搬到一个眼镜里？那情况完全不同。想想看，看个小说，语句直接飘在你的视线里，打个电话，对方的信息展示在你的眼睛里？所有人能够适应吗？反正我是不会舒服。而走在街上，显示信息在眼镜里无处不在，其实是不太自然的。这是一个违反人习惯的感受：我很可能不想要那么多信息显示，甚至有点烦它。毕竟，我们现在的信息还不够多吗？打开微信，成千上万条都出来了，我的微信早就被各种VR/AR群轰炸，常年显示999+，一个个的都懒得点掉。然后会有人说，我可以关掉啊，但是问题在于，戴眼镜这个动作，本身就不是一个每个人都习惯的动作。有些人觉得戴眼镜难看（从小到大，不是一个人给我说），有些人就是单纯不喜欢，手机可以被认为是身外之物，然而仍然有人喜欢拿手机的外形来装逼，更何况一个戴在脸上的东西？除非未来你在眼镜里看人，是看不到他的眼镜的，可能还说得通。所以相当可见的未来里，AR眼镜应该还是一个场景依赖性非常高的产品，在各种专门领域里使用，比如工业、医疗、教育等等，就如同现在影院的3D眼镜，进入这个场景时戴上，离开时摘掉。但这种垂直领域的要求还是非常高，毕竟都是人命关天的事情。不过AR在汽车里，那个人认为还是有前途的，接下来我们会在CES的汽车篇好好介绍一下。另外还有一款给盲人使用的智能眼镜（展台人员特意强调：我们不是AR眼镜！）NextVPU，也会在接下来讨论。
不过，夹缝中生存是中国文化娱乐从业者的基本生存本领了。
京东、美团点评、网易先后表态，支持顺丰，明面上看，大家攻击的...
人工智能正在一步步取代人，时代滚滚向前，无人可挡，所有迟疑踌...AR技术不得不说的秘密
我的图书馆
AR技术不得不说的秘密
AR技术不得不说的秘密
<font color="#16-03-01&& 原载《董老师在硅谷》，微信号donglaoshi-123
增强现实技术为什么引起关注
随着近日，某家增强现实技术（Augmented Reality, AR）公司融资14亿美元，AR再度成为科技领域内一个追捧热点。其中到底藏着什么样的巨大前景这么被人们看重呢？
在说清楚这个秘密之前，我们先得区分另一个类似的技术——虚拟现实技术（Virtual Reality，VR）。两者的技术可能有重叠的部分，但应用场景则不同。
简单来说，假如有一天，你赶不上演唱会只能看直播，但不想放弃现场体验怎么办？没关系，戴上VR眼镜，你在家里就能如身临其境般感受最逼真的视觉体验。VR眼镜是不透明的，用于显示完全虚拟的世界，把物理世界完全挡住，即使坐在家里，你也能感到去大溪地“潜水”。&
Google Cardboard VR
Facebook Oculus VR
而AR眼镜通常是透明的，让你能看到现实世界的景象，同时会由眼镜虚拟出一些图像叠加在上面。
总的来说，这些设备是计算机的必然发展趋势。自2007年iPhone面世以来，智能手机发展迅猛。用户随时随地带着它，各项使用数据毫无悬念地都在超越PC端。所以，人机交互界面的未来主要在于移动。但现在的手机局限在于，
（1）既然要便于携带屏幕就做得小，屏幕小了某些功能就得受限；
（2）显示屏幕是平面也就是二维(2D)的，而真实世界是三维(3D)的。
未来的透明AR眼镜有望实现大突破，既能让用户随身携带，又能在眼前显示超大屏幕，还能把以假乱真的3D内容渲染到人所看到的真实世界里。想象你坐在教室里自习，讲台上的老师看起来真实无比，但其实他就是在你的眼镜上虚拟出来的人。这样的眼镜大概不会完全取代手机，但毫无疑问潜力无穷。
跟VR比较，AR的应用场景更广阔。毕竟，我们一般不会戴着VR头盔在大街上逛吧。本质上，AR是VR的超集，镜片前面一挡就成了VR。
戴眼镜好麻烦，能不能裸视？
直接像《星球大战》一样，在空气中显示全息图（Holography）行不行？这样的美好愿景，有一天也许能做成，但近期看离实用还早。
现在有一些大学实验室的确在研究裸眼光场显示器（Light Field Display），但需要很复杂笨重昂贵的设备，还必须先安置才能使用。相对这些，做成眼镜的效果要好得多。轻便的AR眼镜将是移动人机交互界面上，也是计算机发展的重大革新。
在VR头盔前加个摄像头也能成AR，为什么非要做透明？
说起来AR有两种，一种是前面所说的透明AR（Optical See-through)，人透过镜片能直接看到现实世界。另一种就是“视频叠加”（Video See- Video Overlay）——通过摄像头捕捉现实世界图景，然后以视频的方式呈现给用户，同时其中再渲染一些画面。事实上，现在手机和平板上已经出现了很多Video Overlay的应用，比如看星空，求翻译，选家具等。&&
那为什么不用VR头盔加摄像头实现这种AR呢？事实上，现在很多VR头盔都在试探这种做法。不过，它和透明AR相比各有优劣。其优势在于，用视频实现的虚拟和现实的叠加(overlay)要比透明AR简单得多。这也是为什么它已经开始在移动端商用的原因。
但劣势也可想而知，用户看到的毕竟只是一个2D视频，质量跟眼睛直接看到的世界差距很大。而且视频从采集到显示总是有延迟的，如果跟体感信号不一致的话会造成身体不适。所以不管怎样，还是会有公司追求更好的产品体验，前仆后继地去做透明AR的。
光凭这些就能融到14亿美金？
前面我们说了AR技术应用潜力，这只是资本看重的一方面，同时还有技术，创始人，团队的原因。
其实，该AR的核心技术来自华盛顿大学前研究员Brian Schowengerdt。 他导师Eric Seibel是光纤扫描内窥镜(Scanning Fiber Endoscope)的专家。大家都知道，内窥镜就是医生们做手术时用来体内成像的，本质是个微小摄像头。Brian很聪明地逆转光路，把这个技术用到了显示上。这样通过极细的光纤（如左图所示）用激光就可以打出彩色的图像。
&&&&&&&&&&&&&&&&&&&&&
这个技术十几年前就发表了[2]，后来又不断改进，生成了一堆专利。该AR技术在很大程度上是基于Brian的这些专利。
那这种技术为什么重要呢？我们后面留成一个专门的问题讲。
然而光技术牛是不够的，要想做好AR眼镜，可想而知是需要软件硬件都得有重大突破。国际大公司可能有财力去做这个事，为什么他们认为一个初创小企业能做成？我觉得，其团队创始人Rony Abovitz起的作用非常大。他曾经在机器人手术（Robotic Surgery）上创业，做骨科手术精准定位。2004年创建的公司，2008年就上市了，后来在2013年以16.5亿美元被并购。听起来就是很牛，这种背景当然拉投资比较容易。
除了创始人兼CEO很牛，其团队也不一般，计算机视觉部分更有不少业内大牛。合作的团队更有在好莱坞给电影做特效的。而公司当年用来拉投资用的概念视频就像一个微型电影一样。
新技术核心：光场显示技术为什么对AR很重要
首先，光场显示技术基于极细的光纤，可以让眼镜做得轻薄。但更重要的是，Brian证明，这种光纤技术不仅可以投射出一个2D图片，还能显示出一个光场(Light Field)。
目前利用眼镜实现的3D主要可分成两种技术框架：Stereoscopic（中文翻译成“立体”，但其实不够准确），和Light Field（光场）。Stereoscopic眼镜早已商化，比如所有3D影院里用的，还有市面上几乎所有AR和VR眼镜/原型。而Light Field还只在实验室里有雏形。
什么是Stereoscopic 3D？为什么它不够好？又什么新技术核心是Light Field呢？
Stereoscopic 3D是假3D
3D图像比2D图片多了一个维度，这个维度就是景深(depth)，其在感官上有明显的区别（只有少数人有双盲症不能看到）。
人眼感知景深有很多机制，包括单眼（monocular）和双眼（binocular）机制。单眼能感知的景深信号有很多种，比如：一个东西遮挡了另一个（occlusion），熟悉的物体的大小（relative size/height)，物体移动的变化（motion parallax）——远的物体变化慢、近的物体变化快。所以在此基础上，人类双眼的景深信号也非常强：两只眼睛看到同一个场景会有细微差别，这让大脑能通过三角计算（triangulation）来得到物体景深。人类在远古时就有这样的感知，帮助他们很好地判断对面的老虎或者鹿到底离自己有多远。
Stereoscopic 3D也就是利用这个原理给双眼分别显示不同的图片（如下图），它们很相似，只在水平方向上有细微差别。而这两张图片拍摄的时候，就是用两个并排的相机模拟人眼的位置拍的。实际上，现在的3D电影也都是基于这个原理。通过一些光学技术把细微差别的画面分别传入左右双眼，以形成立体的感知。
但这样的Stereoscopic 3D有些问题。简单来说，它会引起用户身体不适如头晕、恶心等。为什么呢？这又涉及到另一个视觉原理。
当我们在看一个现实世界中的物体时，眼睛其实有两种自然反应：
(1) 聚焦(Accommodation/Focus)：眼睛的晶状体就像一个凸透镜，它会调节凸度来让那个物体在咱们视网膜上清楚成像。
(2) 会聚(Convergence)：在每只眼睛聚焦的同时，两只眼球还会有旋转运动来一起指向那个物体。
很自然地，这两种反射运动在神经上是联接的(Neurally Coupled），也就是说任意一种运动会自动引发另一种运动。这也意味着，在人眼看真实物体的时候，聚焦和会聚的距离总是相等的（Vergence Distance = Accommodation Distance，参见下图A）。
那么Stereoscopic 3D的问题就来了。因为Stereoscopic屏幕到眼的投射距离总是固定的，也就是聚焦不变，但对图片的感知会让眼睛会聚在不同的距离以产生景深3D效果（见上图B）。所以，这两种距离经常是不一致的，以至于造成这两种神经相连的运动强行分离（Neurally Decoupled）。
从另一个角度讲，在自然世界里，当人眼聚焦并会聚到一个物体时，别的距离的物体应该都是模糊的（上图C）。而在Stereoscopic 3D里，不管人眼聚焦到哪儿，别的距离的物体成像都是清楚的（上图D）。
这些都不符合自然界人眼的规律，因此大脑会产生混乱，长时间就会引起恶心晕眩等症状[4]。所以Stereoscopic其实是用了一个小伎俩让人能看到3D效果，但它并不是真3D。
光场（Light Field）是真3D
光场显示跟Stereoscopic 3D比有很大不同，它能让人眼聚焦到不同的距离，从而和会聚的距离保持一致。这是最符合人眼观察自然世界规律的做法，因此被称为true-3D。但要实现这样的光场显示，并不是那么简单。现在主要是两种方法：空间复用（Space Multiplexing）和时间复用（Time Multiplexing）。
“空间复用”，就是把一个像素当几个像素用，来实现不同的聚焦距离。这个方法最大的问题就是分辨率大打折扣。我曾经试戴过，基本就是雾里看花。
“时间复用”，就是用高速原件来快速产生不同的聚焦距离，让人眼以为它们是同时产生的，这样分辨率不会损失。大家知道人眼的速度感知是有限的，很多显示器都是60Hz的，因为人眼能分辨的极限值一般就是60Hz。这意味着什么呢，如果利用360Hz的高速显示器，就可以实现6个不同的聚焦距离。而有研究表明用6个聚焦距离加上一种线性混合（Linear Blending）的渲染算法就基本能实现从约30厘米到无穷远让人眼自然对焦[5]。
而Brian的高速激光光纤扫描(Scanning Fiber)技术就是一种时间复用的办法。他当年先试过只用一根光纤扫描不同聚焦距离，这样做明显对显示速度要求太高，后来用一个光纤束，比如16根，每个光纤有一点位置差，然后同时扫描得到不同聚焦距离。
这样的光场受现实的局限，肯定不可能是连续的，都是被采样的（downsampled）。但是，即使是这样的光场投射到眼睛里也在理论上跟真实世界物体光线进入眼睛是一个道理，因此可以实现true-3D。这也是为什么光场显示技术重要的原因。
透明AR眼镜还面临哪些挑战
首先能实现近眼光场显示就很难，古老的Stereoscopic 3D方法使用户戴长了就会眼困头晕。而光场显示技术理论上成立，现实中也还有很多问题要解决。比如：
系统大小：据报道都还是像一个冰箱一样大的，离可穿戴还有很长的路要走。
光场采样：既然是采样就一定有损失，比如对比度清晰度上，如何才能最优采样？
聚焦和会聚（Accommodation-vergence Matching）：即便聚焦距离对了，也要保证会聚距离始终与其保持一致。Magic Leap现在的demo视频还只是从单眼摄制的，还没有证据表明他们很好地解决了双眼问题。
室外显示：现在业内demo都是室内的。当用户在室外时，太阳光强度比显示光高几个数量级。至少镜片需要有自动调光的技术。
捕捉内容：虽然现在可以用计算机图形来做demo，但以后的应用一定会需要相机采集的内容，而光场的拍摄本身还有很多问题要解决。
散热：是一个容易被忽视的问题。当年Google Glass出来的时候有人说用着用着脸就像要烧起来了。
近眼显示有两个关键部件：显示器和镜片。现在大部分的AR眼镜镜片都是基于分光镜（Beamsplitter Prism）。
如图左，简单的分光镜就是45度角，把显示器产生的光从眼镜框反射进人眼，也同时让现实世界的光透进来。这样做简单便宜，但是镜片厚。理想的状态下，不仅要做到视角（Field-of-View）大，还要轻薄，透光性好，在折射/反射显示光的时候也要尽量保持光的属性并做到尽量小的光损失。
3. 视角（FoV）和分辨率（Resolution）
视角直接决定了用户体验。现在的很多AR眼镜视角还在20°-40°之间，曾有不少试戴了的记者都对它的视角表示失望。而人眼的横向视角双眼差不多有200°，纵向有130°。视角大意味着总的分辨率也要很大才能覆盖，8K*8K才会比较理想。
4. 遮挡（Occlusion）
前面说到过单眼的景深感知有一个很重要的信号就是物体之间的遮挡。在用透明AR眼镜时，一个关键问题就是虚拟物体和现实物体之间的遮挡怎么实现。
如果是现实物体在前面，虚拟物体在后面，还相对比较好办，就是要自动探测现实物体的距离，再计算出虚拟物体哪些部位需要遮挡从而不渲染。但是如果反过来，虚拟物体需要遮挡现实物体，就没那么直接了，因为理论上需要把现实物体的光从眼镜上选择性地滤掉。从现有的样机上看，在虚拟物体明亮时，它本身的亮度会自然遮挡后面的真实物体，但当虚拟物体比较暗时，就会有有所谓的“鬼影效果”（Ghost Effect），结果又会让大脑产生混乱。
如果想实现完全正确的遮挡效果，只能在镜片上做实时的像素级的滤光机制（Per-pixel Shutter），但现在的技术都还不成熟。
Magic Leap：以增强现实展示科幻世界
5. 渲染黑色
透明AR眼镜现在还没办法渲染黑色。因为它说到底是虚拟光和自然光的叠加。如果画黑色，用户是看不到的，只会看到后面的背景真实物体的光。类似的暗色都有这个问题。
透明AR眼镜还有一个很大的挑战就是延迟。把虚拟物体叠加到真实物体上，比如放一个虚拟水杯到一个真实桌子上，涉及到一系列计算：探测真实物体→计算它的空间位置和方向→计算叠加位置→渲染虚拟物体等。这一切都必须在一眨眼内发生，让用户感觉不到延迟。比如我们的头可能是一直在动的，随着我们头动，我们看到的那个虚拟水杯应该在桌上原来的位置不动才对。而如果系统延迟过大，我们看到的那个水杯的位置可能总是不对，大脑又要混乱了。
这对透明AR挑战尤其大，因为我们是直接看到真实世界的，几乎没有任何延迟，而虚拟物体的渲染得能跟上这个速度才显得自然。在Video Overlay里，就没有这个问题，因为我们看到的真实世界的视频已经是延迟的了，这样在上面的物体叠加就比较容易跟它保持同步。
有技术专利是用激光直接打到人眼里，可以解决许多光学问题。但安全性方面还没有确切的科学证据。所以用户接受度是个问题，很多人估计一听到这个就望而却步了。
说了这么多，这下一代移动人机交互界面到底什么时候能做成呢？我个人感觉要做成人民群众喜闻乐见的版本至少要5年时间，也许更长。以上列出的这些挑战，每一个都还需要很多努力才能解决。目前它们很多都还不到量变，只是需要优化的阶段，需要大的质的飞跃。路漫漫而修远兮，可既然这是计算机发展的必然方向，我们就拭目以待吧。
&&&&&&吴万敏博士，浙江大学计算机专业本科，伊利诺伊大学香槟分校博士。毕业后到硅谷工作，曾任理光创新实验室顾问研究科学家，现在谷歌工作。9年专注VR／AR技术的美女。&&& 董飞，本科南开大学，硕士杜克大学计算机系毕业。先后创业公司酷迅，百度基础架构组，Amazon 云计算部门，Linkedin担任高级工程师，负责过垂直搜索，百度云计算平台研发和广告系统的架构。
喜欢该文的人也喜欢