雷鸟AR眼镜反响速度优化一倍基于通义深度定制场景专属大模型 (雷鸟ar眼镜官网)

admin1 3天前阅读数 10 #银行

AR(Augmented Reality，增强理想)眼镜，被以为是取代手机成为下一个超级终端的有力争夺者。这两年，随同着 Meta、苹果等巨头的入局和鼎力投入，加上供应链的成熟，AR 眼镜也被更多人所关注，成为这一波 XR(Extended Reality，扩展理想)热潮中的最大受益者。

而在同一时期，AI 大模型的横空出生和加快迭代，成为第四次工业反派的引擎，改造各行各业，创新着全新的商业方式。

2024 年下半年，不带显示的 AI 眼镜席卷整个科技行业，估量未来市场规模超千亿美金。AI 眼镜的爆火，也让更多人坚信，“下一个 iPhone 时辰，由 AI+AR 发明”。

但是作为衔接物理全球与数字全球的桥梁，AI+AR 不是做简易的 1+1 加法题，AR 的场景很复杂也很非凡，对反响的速度以及交互的方式都有着更高的要求。

作为国际第一梯队的 AR 眼镜公司，雷鸟创新不时在做 AI 与 AR 的融合研发任务，并在 AI 生态上投入了大批的人力和物力，去探求 AI+AR 的最佳融合方式。针对当下 AR 产品出现的 AI 体验不佳的疑问，雷鸟创新与阿里云一同，探求走出了一条自动化协作创新共赢之路。

AI+AR，消费电子的新机遇

相比拟手机、PC 等传统终端，AR 展开的时期并不长，近几年才将落地产品推向群众市场。而随同政策支持和 AI 大模型的减速展开和落地，消费电子行业迎来了新一轮的展开机遇。

来自机构统计的数据显示，2024 年上半年，国际消费级 AR 设备销量同比增长 49%，反映出市场对 AR 的普遍认可。多家 AR 公司担任人也不止一次性性在公收场所表示，AR 眼镜会是 AI 的理想载体，在空间计算时代中，将会展现出共同的价值和潜力。

IDC 观念以为，AI 在配件搭载上有很多选择，手机、PC、AR 眼镜都是好的载体。但是关于 AR 这种轻量级配件来说，AI 的介入会极大丰厚 AR 的运转场景，尤其是在生活助手类的运转中，都会使得其经常经常使用的简易性、准确性失掉清楚优化。

中商产业研讨院也在报告中表示，在 AR 设备中，AI 技术可以协助设备更好地了解用户的意图、行为和环境，从而提供愈加特性化的体验。随着相关技术途径的逐渐成熟，未来 AI+AR 眼镜有望跑通效率优化类场景，向消费级放量，AI+AR眼镜有望在短期成功百万出货量，中期成功千万出货量，AI+AR 眼镜未来有望成为下一个过亿的创新终端产品。

雷鸟创新可以说是国际 AR 产业的最早一批，创立至今已有三年多的时期，用了不到一年的时期就做到了中国消费级 AR 市场占有率的第一名，在对 AI+AR 的探求上也是处于前列，并屡次在公收场所标明公司在 AI 与 AR 融合上的努力。

雷鸟创新开创人兼 CEO 李宏伟以为，“AR 眼镜将赋予 AI 与人类高度分歧的感官才干，并使得 AI 真正成为人们的‘外脑’，增强者们对视觉信息、音频信息的处置才干。AI+AR 会是行业的一个很关键的趋向。我们坚信，未来 2-3 年 AI 带来的最关键的新配件就是 AR 眼镜，下一个 iPhone 时辰由 AI+AR 来发明。”

过去，AR 眼镜尽管能同时出现数字与物理全球，但二者是隔绝的，没有交互，也没有联动性。在 AI 展开的初期，其更多的是被运转在一些软件优化等基础运转上，并没有直接串联起物理与数字全球。

而这两年，AI 展开的速度逾越任何历史时期，性能也有了极大的优化，主动性和运转的场景也更多、更深化。

有了 AI 大模型的融入，AR 不只能出现理想与虚拟全球，更能借助 AI 与算法去接纳和驱动数字全球，并与物理全球构成衔接，与你在理想中看到的场景启动交互，看你所看，听你所听，在你眼前，在你耳边，重构我们的视听全球。

就像李宏伟说的那样，“AI+AR 的融合，不只可以成功过去手机的场景，还可以成为十分好用的 AI 智慧助手，更关键的是，它们会成功虚拟与理想的深度融合，带来整个全球的数字化。”

逾越，深度定制 AR 场景专属大模型

在明白了 AI+AR 的展开途径后，2024 年有多家 AR 企业末尾了产品与 AI 融合的落地以及新思索。

一个十分清楚的信号是，在年底这段时期，作为承托 AR 眼镜的 AI 眼镜产品频发，不只需雷鸟创新这样的垂直厂商的介入，也有创业者以及大模型企业的入局。

入局者众多，产品也很多，但是，真正能直击用户，连通数字全球和物理全球的很少。这里一个关键的疑问在于，AI 与 AR 的融合不是简易的去做加法，大模型的选择以及场景化深度优化十分关键。就似乎是苹果的 Siri 一样，由于有很多场景的疑问回答不了，所以被很多人弃用。

李宏伟也指出，跟大模型对话也是一样，假定不能做到 80% 以上的准确率的话，那大家也就不用了。假定用 AR 眼镜来识别路牌或许采用，只需一半概率能识别出来，也很影响用户的心思。用户在产品体验上方，要的十分关键的一个的东西就是确定性。就好比你发个微信信息给对方，假定只需 50% 的概率能收到，那这个产品必需没人要。

“我们要求判别的就是谁在大模型上方会终年处于指点者位置，这也是选择和阿里通义协作的要素之一。”

作为目前市面上大模型产品的第一梯队，通义的基础模型和多模态才干都很出色。

其中，Qwen2.5 全系列模型在 18T Tokens 数据上启动预训练，相比 Qwen2，全体性能优化 18% 以上，拥有更多知识、更强编程和数学才干。视觉言语模型 Qwen-VL-72B 具有自主操作手机和的视觉自动体才干。大规模音频言语模型 Qwen-Audio，语音聊天部分融合了语音识别和天然言语了解，不要求多个模型启动衔接，成功了端到端大模型，可以识别音乐、心境、环境声响等。

AR 眼镜在搭载了通义千问出色的多模态识别才干之后，图像、文字、视频和音频等多种输入方式都能够被实时处置。

比如，用户在路边看到了一栋修建或许是不看法的植物，通义借助 AR 眼镜的摄像头便能够识别用户看到的物体，对其启动引见。关于用户眼前所看到的物理全球，通义也可以启动描画，不只能够协助用户深化了解以后所处的环境，也能协助视障人群看到眼前的全球。

同时，AR 眼镜在有了通义大模型的加持后，还能够成功即时翻译，支持中文与英语、日语、韩语、法语、德语、俄语等多国言语互译。即经常经常使用户身处生疏的国度，也能冷静与外地人启动交流，优化沟通的效率。

不过，仅仅以大模型通用才干协助 AR 眼镜成功了多个场景下的交互还不够。

雷鸟创新选择通义，还有一个更关键的要素，就是双方都努力于成功虚拟全球与理想全球的深度融合，情愿面向用户做深度的研发投入。换句话说，有很多款通用大模型都很优良，但是在 AR 眼镜上的体验并不佳，关键就在于大模型没有针对 AR 眼镜的需求做深度的定制和婚配。

李宏伟表示，“很多 AR 厂商做的仅仅就是把大模型接出去，这是不行的。如今的通用大模型确实可以做很多事情，但是关于 AR 上触及的场景，做的还不够深化不够好。我们看好阿里云通义大模型的如今和未来，并且双方也都有一个共识，那就是不能说在 AR 眼镜上放一个通用大模型就行了，要针对 AR 的场景去做定制和适配，把它培育成一个很契合这个运转场景的大模型，让 AR 眼镜真正深化到用户的日常生活之中。”

2025 年 1 月 7 日 CES 时期，雷鸟创新正式公布雷鸟 V3 AI 拍摄眼镜。这款新品上搭载了其与阿里云通义共同打造的业内首个专门面向自动眼镜的 AI 大模型。这肯定制化模型不只能更好地了解眼镜场景下的用户需求，还能为 Agent 提供更精准的知识支持和决策依据，从基本上优化了 AI 眼镜的交互体验。

得益于此，雷鸟 V3 的 AI 平均照应速度为 1.3s，远超 Ray-BanMeta 及其他接入通用模型的 AI 眼镜；V3 的 AI 识别准确率高达 98%，可称为用户真正全能的百科助手。在此基础上，雷鸟 V3 还将陆续上线 RayNeo 电台、探求视界 2.0、手机通知 AI 总结播报、QQ 音乐点播、AI 资讯播客、全场景录音总结、支小宝扫码支付等丰厚性能，让 AI 真正服务于用户的日常生活。

之后，雷鸟创新方案在第二季度公布的 AR 眼镜 X3 Pro，也将搭载与阿里云深度定制和融合后的通义大模型。

在产品研发时期，双方都投入了大批的人力和物力，针对详细的场景去做训练和提问，对配件端侧的模型启动优化，从而去婚配 AR 场景下的需求。

比如 AI 翻译，惯例的通用大模型更多的是依据接纳到的言语信息去做单一的翻译，但是在详细的场景结合上没有深化融合，会形成有时翻译的内容会显得很僵硬。此外，速度是翻译很关键的目的，假定仅仅是接入现有的通用大模型，全体的体验并不会很顺畅。

为了优化 AI 的体验，雷鸟创新和阿里通义做了多方面的训练任务。一方面，是做了速度上的优化，相比拟于以后市面上通用大模型翻译，搭载了定制通义大模型的 RayNeo AI 的反响速度优化至少一倍。

另一方面，除了速度之外，通义还针对旅游、点餐、购物等多个细分场景做了优化，借助 AR 眼镜去识别以后的环境、对话人的表情、手势等多个信息源，更好地了解用户的经常经常使用场景，从而给出更准确的翻译结果。

视觉也是一样，AI+AR 要接纳物理全球，要做到的第一点就是能够对理想全球的场景启动准确的反响。但是，物理全球是相当复杂的，比如路牌，有各种材质、大小，不同光线下反光的水平也不一样。为了提高识别的准确率，阿里云和雷鸟创新一同做了增量的训练，经过不时地采集训练和优化，优化复杂场景下的识别准确率。

另外，还有 AR 眼镜的 AI 智慧助手，也是一个多信息输入的场景，要求做一个新的分类模型，针对不同的指令做出低提早质量高的照应。

当然，以上所说的只是部分场景，未来雷鸟创新和阿里通义还会针对更多的细分场景去做好底层的优化，从而真正成功“接纳数字全球，改生物理全球”。

共创智实融合全球

当下，AR 正处于蓬勃展开的阶段，但仍处于上半场的初期。而且，AI+AR 是为数不多在上半场就由中国厂商深度介入甚至是主导的产业。

雷鸟创新与阿里云在 AI+AR 上的深度协作，会进一步加深用户对 AI 落地场景的感受和了解，推进 AR 走向群众市场，衔接数字全球和物理全球。

谈及与阿里云的协作，李宏伟表示，AI 在新的场景下，在物理全球的落地进入到了一个关键时期，阿里云所做的一切十分好也很有价值，我们跟阿里云的协作也开创了这个行业的一个新方式。未来的规范也会被重新树立，那就是 AR 接入的大模型要能够做深度的定制化和重新训练，从而满足场景化需求。

不过，目前所做的场景探求仍是不够的，随同着技术的优化，以及 AR 在更多场景的探求，AI+AR 还有进一步融合的空间。比如在对话翻译时，能否将字幕显示在对方的嘴边？“戴上 AR 眼镜之后，每集团说话的时辰，嘴边都会显示一个对话框，就像是游戏里的场景一样，能看到说话人的言语，与全全球各地的人都能不阻碍交流。”李宏伟说道。

他还以为，有了 AI 的加成，AR 眼镜未来不只可以了解文字、图片和视频，还能了解空间，从而可以做真假融合的游戏了，比如跑步的时辰搜集金币。

另外，随着大模型落地不时深化，端侧运转成为趋向，手机、PC 已有 AI 大模型端侧运转的通常。日前，阿里云就将“通义千问”大模型部署在联发科的 SoC 上，经过量化、参数剪枝和知识蒸馏等多种技术手段减小模型体积。在端云协同技术的推进下，带来了低提早、隐私维护、离线才干、节省带宽和实时处置这五大优点。

关于 AR 眼镜来说，由于体积、续航等方面的限制，目前端侧大模型的运转还在探求中，比如慎重地选择参数量，要综合功耗与性能去做更多的研讨，这也是未来雷鸟创新和阿里云去共同协作处置的疑问。一旦落地，AR 眼镜会更快地响运转户的指令，端云协同技术经过在设备端处置敏感数据，将大幅优化 AR 眼镜用户的数据安保性和隐私性。

场景在变化，趋向和需求在变化，但不变的是数字全球与物理全球的减速融合。关于雷鸟创新和阿里云来说，AI+AR目前仍在前半程，二者的融合还要不时的精进。

本文摘自《云栖战略参考》总第16期

扫码限时申领纸质版

虚拟理想与增强理想AR各自的优势是什么?

虚拟理想的优势在于能给人发生很剧烈的沉溺感，经常使用户身临其境，适用于房产展现、演唱会、竞赛现场等要求不同空间的场所；增强理想AR的优势在于能将虚拟的东西和理想结合起来，在各个方面给人们协助，比如说，维修工人佩戴了Realmax的智能眼镜，你可以在维修的时刻，从眼镜中失掉正确的提示；医生可以经过智能眼镜观察患者的状况，有助于剖析病情；司机可以经常使用智能眼镜导航，并能提早知路途况信息，更有甚者，可以经常使用智能眼镜透视，去赌场大赚特赚，增强理想AR运行的行业很广，虚拟理想运行的行业有限。

怎样自己制造Ar技术效果

AR(Augmented Reality）：增强理想是一种全新的人机交互技术 ,应用这样一种技术 ,可以模拟真实的现场景观 ,它是以交互性和设想为基本特征的计算机初级人机界面。经常使用者不只能够经过虚拟理想系统感遭到在客观物理全球中所阅历的“身临其境”的逼真性 ,而且能够打破空间、时期以及其它客观限制 ,感遭到在真实全球中无法亲身阅历的体验。 Augmented Reality(中文翻成增强实境)，这个词近来在网上出现的越来越多，Augmented Reality可以算是Virtual Reality〈虚拟实境〉当中的一支，不过略为不同的是，Virtual Reality是发明一个全新的虚拟全球出来，而Augmented Reality则是强调『真假结合』。 AR把虚拟的图像和文字讯息与理想生活景物结合在一同,从去年末尾，很多AR运行曾经在Android和iPhone智能手机上纷繁亮相，出现效果让大家冷艳不已，甚至有评论网站直指，这已是2010最热的Web趋向之一。 Augmented Reality有三个要素：1. Combines real and virtual 〈结合虚拟与理想〉2. Interactive in real time〈即时互动〉3. Registered in 3-D〈3D定位〉要到达AR的真假结合，经常使用者肯定得透过某种装置来观看。早先大部分的研讨关键是透过HMD〈Head-Mounted Display；就是头罩式的装置〉，技术大约分红光学式〈Optical〉与影像〈Video〉两种，前者是一种透明的装置〈像是柯南的眼镜之类〉，经常使用者可以直接透过这层看到真实全球的影像，然后会有一些另外的投影装置把虚拟影像投射在这层透明装置上。另外一种是不透明装置，经常使用者看到的是由电脑处置好、曾经真假结合的影像。最近几年末尾盛行起来的智能手机，改动了AR的样貌。头戴式的HMD还是太费事了，而智能手机同时具有电脑计算才干、录影、影像显示，还有GPS、网路连线、触控、倾斜度侦测等等的额外性能，多少钱也逐渐平民化，于是在智能手机为平台的AR研讨越来越多。