当扎克伯格在 Meta Connect 大会上准备拿出代号 Orion 的原型机时，他甚至紧张地搓了搓裤子。



紧张的时候，扎克伯格更像个真人，而不是听证会上的机器脸……

简单总结一下扎克伯格的开场演讲：就是 AR 和 AI。其实，这两个关键词也总结了扎克伯格和 Meta 的“二次创业”。他将 Orion 比作“时间机器”，试图在它上面标注出“Meta 在过去十年都做了什么”，以及 Meta 的未来将去向哪里。

据说，扎克伯格的办公桌上常年摆放着各式各样的头显和智能眼镜原型机。



眼镜，一切都为了眼镜

在 2022年时，他曾一下子展示出四款 VR 原型机；

（代号）Butterscotch 探索高分辨率；Half Dome用于优化降低晕眩感的变焦技术；Starburst 主打 HDR（高动态范围成像）功能，但为了追求高亮度显示配备的电力支持和散热器，让其外形十分厚重；没关系，还有一款 Holocake 2，则是为了研究如何打造轻薄外形。

这些原型机不背负商业化重担，它们更多承担对某一项（或是一些）功能的“概念验证”。积攒起来的不仅是技术，当然，还有外界对于 Meta 下一代消费级智能眼镜的期待。

“最先进的眼镜”

Meta 展示了两条比较清晰的产品线。一是，迭代 Quest 头显，打造逼真的混合现实体验；二是，打造一个新的个人 AI 计算平台，可日常佩戴的轻量化眼镜是目前最好的载体。



新 Quest，十月发货

“青春版” Quest 3S，顺应了行业将 VR 逐步扩展到MR 的趋势。集成了Quest 3的处理器（骁龙 XR2 Gen 2 芯片组），彩色透视，手部追踪，Touch Plus 手柄等。将 Quest 3 的 Pancake 透镜方案换成了菲涅尔光学方案，才能得以将价格压低 200 美元，定价在 299.99 美元。在现场的第一视角演示中，还是会边缘畸变的情况发生。

除了每次都会讲的 Horizon Worlds（元宇宙）的那一套，Quest 也愈发向 Vision Pro 靠拢了——扎克伯格自己也说，这是一个通用的多任务的计算机，不仅用来打游戏。



对比上一代，价格“青春”许多

因为苹果对于“空间计算”的引入，颠覆了大众对于 MR 类产品的认知，同时也将偏娱乐属性的 VR 产品拉到生产力的维度上。



MR 指向生产力是大势所趋

Quest 3S 可以实现 Windows 桌面的投射，实现多屏办公。以空间界面和交互（不同于二维）的角度重新思考，比如在 Instagram 等软件上的社交体验；扎克伯格展示了一个叫做“Hyperscape”的应用，用户在扫描一间真实房间并在头显里重建后，可以邀请别人来“做客”。



多屏工作是必备功能

Quest Pro、Quest 3 没有延续 Quest 2 的成功，重担必然落在 Quest 3S 身上。Vision Pro 无疑有着最好的MR硬件，但其价格实在劝退了很多人。

很多 Meta 员工也讲不清楚，Ray-Ban Meta 怎么就成“爆款”了？眼镜作为需求明确的功能性产品， Meta 做对了一点——让用户接受日常佩戴着出门。Meta 引入 Essilor Luxottica（Ray-Ban 的母公司）的变色镜片，无缝切换室内室外；推出透明镜框版，把技术更好得隐藏，这些都让智能眼镜更加日常。



是的，Meta自己也没想到这款眼镜怎么就火了

不过前面的这些铺垫，都是为了引出 Orion，第一款全息 AR 眼镜的原型机。在扎克伯格的构想里，这款原型机将会走向消费者。



Orion概念机，真正上市版本很可能有外观调整（不然是够丑的……）

Orion 用碳化硅代替玻璃制作镜片，碳化硅非常轻，它不会产生光学伪影或杂散光，而且具有高折射率。它的视场角（FOV）可以达到 70 度。波导本身具有非常复杂的纳米级 3D 结构，并以衍射或传播光的方式来实现这个视场。

投影仪是 ULED，体积非常小，而且非常节能。在任何照明条件下都足够亮。



全新的镜片和投影仪

全息显示屏能“装”下多台屏幕；有不同深度和大小的全息影像，将朋友远程“投”到身边陪聊（如果你忽略它现在的演示效果还很诡异）；



手动和眼动都不再稀奇

当全息影像足够小时，手势也能识别得足够精确；甚至，语音、手势、眼动跟踪……这些都不值得一提，神经交互（EMG 腕带）才是未来。



扎克伯格觉得腕带神经交互才是未来

演示视频里，黄仁勋戴上 Orion 都连连称赞，“头部追踪好，亮度好，色彩对比好，视野极佳”——几乎就是一副能想象出来的、buff 叠满的智能眼镜。

Llama，AI 的 Linux？

眼镜为什么能成为一个如此自然的计算设备？

假设几个场景：

场景一，你的双手都拎着东西，路过卖菜的小摊，用眼镜拍下一张，并且问问它，这些食材可以拿来炒个什么菜？



Orion展示一：认吃的

场景二，你把车停在了一个不熟悉的停车场，让眼镜拍下并记得具体停车的位置；

场景三，只会说英语和只会说西班牙语的两人，将眼镜作为同声传译器来实时交谈；

场景四，扫二维码付款时，再也不用满兜里找手机了。



Orion展示二：随时干活

这些都是 Meta 举例的 AI 功能。“Meta AI”个人助理将通过后续更新，逐步迭代。

另外，Meta AI 也在打通与第三方合作，比如 Spotify、Amazon Music 等。在眼镜的基础上叠加其他功能，比如扬声器可以替代 TWS 耳机，摄像头可以替代手机。



Orion展示三：随时看片

“Meta AI”基于开源模型 Llama 所开发，模型本身也迎来更新。

Llama 3.2 多模态模型正式发布，包含四种尺寸: 1B、3B、11B 和 90B。1B/3B，旨在提供边缘算力，也就是可以在移动设备上运行。11B/90B，具备多模态能力，并可直接替代 Llama 3.1 8B 和 70B——对于Llama，扎克伯格说，希望这是AI的Linux。



做AI的Linux是巨大的野心

今年3月，外媒 The Information 爆料：Google 正在大力研发 Android XR 系统，他们找到 Meta，以此希望将 Android 覆盖到 XR 领域。

Meta 不出意外地拒绝了。接着，Meta 开放了Horizon OS（VR/AR操作系统）给第三方硬件合作方。

现在去预测 Meta 能否做成”XR 领域的安卓”还为时尚早，但既然 Meta 想做下一代计算平台，那么，入口和生态的把握就都将非常重要（类比谷歌每年向苹果支付 200 亿美元以确保其默认搜索引擎位置）。

曾经的 Facebook 在 S-1文件里写道：“Facebook 是为了完成一项社会使命，让世界变得开放和互相连接。”十几亿人在 Facebook 上建立社交网络，养成数字习惯。



连接，面向未来的连接

扎克伯格在 Meta Connect 重提了这段话，“构建一个更开放、更容易访问、更自然、更有人际连接的未来。”

这一次，扎克伯格列出来的筹码有：MR 头显、开源模型、更先进的 AI、智能眼镜……这些都共同指向他口中的那个未来。

全息AR眼镜来了！扎克伯格现场开箱，黄仁勋首批体验，还有Llama 3.2大模型上新



智东西9月26日报道，北京时间今日凌晨1点15分，年度“MR圈春晚”Meta Connect 2024大会正式拉开帷幕。

Meta CEO马克·扎克伯格穿着黑色T恤登台，紧锣密鼓发布Quest 3S头显、Llama 3.2大模型、雷朋智能眼镜、全息AR眼镜等新品。

扎克伯格亮出的首个硬件新品是Quest 3S，惊爆价299.99美元（折合约2110人民币）。



虽说性能比Meta首款消费级MR一体机Quest 3略逊一筹，但起售价直降200美元，约等于苹果Vision Pro的1/11，妥妥的性价比机皇！！！

大模型也重磅上新！Meta多模态模型Llama 3.2发布，包括90B和11B参数的视觉大语言模型，以及1B和3B参数的轻量级纯文本模型。



借助Llama 3.2，Meta AI推出全新多模态功能，能支持语音交互了，有多种音色选项（包括一些名人的声音）。扎克伯格现场演示与Meta AI语音聊天，非常丝滑。

还有被Meta称作有史以来最先进的AR眼镜——全息AR眼镜“Orion”。



英伟达创始人兼CEO黄仁勋已经尝鲜。

01.

Quest 3S：亲民廉价版，售价300美刀，

性能比Quest 3几乎无异

首先，平价版的Quest设备来了！

Meta直接将Quest 3S价格砍掉200美元（折合约1406人民币），还几乎做到了性能与Quest 3相差无几。

Meta Quest 3S 128GB版售价为299.99美元（折合约2110人民币），256GB版售价为399.99美元（折合约2813人民币）。而512GB的Quest 3为499.99美元（折合约3516人民币）。



两款头显采用的处理器一致，均为高通骁龙XR2 Gen 2芯片。价格大幅下降的关键就是Quest 3S将Pancake镜头更换成了Infinite透镜。

从现场演示来看，拥有4K显示屏的Quest 3S显示十分清晰，还支持杜比全景声（Dolby Atmos）环绕。

Meta重建了Horizon OS以实现空间计算，可以更好支持用户使用YouTube、Facebook和Instagram等基本2D应用。



Meta添加了空间音频，并改进了Passthrough（透视）的对比度和颜色，都使得其画面演示能更加逼真和身临其境。

扎克伯格宣布Meta正与微软合作，用Windows 11 PC来实现无缝虚拟桌面体验。

Meta已提供多屏幕支持，并且能够直接与显示器上正在发生的事情进行交互。例如，用户可以直接拖拽笔记本中的界面到Quest设备中。

为了创建更加逼真的元宇宙环境，Meta推出了Hyperscape，用户只需用手机扫描自己所在的房间，然后随时戴上头显都能“重现”这一房间。

这一头显设备能让你坐在前排座位观看音乐会、坐在家庭影院观看高清大片、进行健身等。

此外，Quest 3S还兼容Meta的数千款应用和完整游戏库，以及即将推出的Quest 3和3S独家游戏，如《蝙蝠侠：阿卡姆暗影》。

对于那些刚接触XR或者一直在等待Quest和Quest 2设备降价的用户而言，Quest 3S可能是更好的选择。

02.

Llama 3.2：视觉模型赶超GPT-4o mini，1B端侧模型媲美Gemma

开源AI方面，Meta发布了全新多模态大模型Llama 3.2。

Llama 3.2有90B和11B两种参数规格的视觉大语言模型，还有能在设备端本地运行的1B和3B轻量级纯文本模型，包括预训练和指令调整版。



下载地址：https://www.llama.com/

1B和3B模型支持128K tokens上下文，适配高通和联发科硬件，并针对Arm处理器做了优化。



3B模型在遵循指令、总结、快速重写和工具使用等任务上的表现优于Gemma 2 2.6B、Phi 3.5-mini模型。1B模型的表现媲美Gemma。



90B和11B视觉模型是其相应文本模型的直接替代品，同时在图像理解任务上的表现优于封闭模型，如Claude 3 Haiku、GPT-4o mini。



比如问企业去年哪个月的销售额最高，Llama 3.2可根据可用图表进行推理并快速提供答案。



它还能使用地图进行推理并帮助回答问题，例如地图上标记的特定路径的距离。



视觉模型也能通过从图像中提取细节、理解场景，然后制作一两句话作为图像字幕来帮助讲述故事。

与其他开放多模态模型不同，预训练和对齐模型都可以使用torchtune针对自定义应用程序进行微调，并使用torchchat在本地部署。

11B和90B参数的多模态模型需要支持图像推理的全新模型架构。

Meta的训练流程由多个阶段组成，从预训练的Llama 3.1文本模型开始，首先添加图像适配器和编码器，然后通过大规模噪声对数据进行预训练，接下来在中等规模的高质量领域内和知识增强的数据上进行训练。

在后期训练中，Meta使用与文本模型类似的方法，在监督微调、拒绝采样和直接偏好优化方面进行多轮对齐。最终得到这一组可以同时接收图像和文本提示并深入理解和推理两者组合的模型。



对于1B和3B参数的轻量级模型，Meta使用了利用强大的教师模型来创建性能更佳的小型模型的方法，使得其成为首批能够高效适应设备的高性能轻量级Llama模型。

Meta通过缩小Llama现有模型的大小，同时尽可能多地恢复知识和性能，其采用了从Llama 3.1 8B中一次性使用结构化修剪的方法。

在后期训练中，研究人员使用与Llama 3.1类似的方法，通过在预训练模型的基础上进行几轮对齐来生成最终的聊天模型。



Meta正在分享首个官方Llama Stack发行版，将极大简化开发人员在单节点、本地、云和设备端等不同环境中使用Llama模型的方式，从而实现检索增强生成（RAG）和集成安全性的工具支持应用程序的交钥匙部署。

03.

Meta AI：多种名人声音任意选，

P图、实时翻译更方便

借助Llama 3.2，Meta AI有声音了。

现在，使用语音与Meta AI对话，可以让它回答你的问题或者讲笑话逗你开心。Meta在语音中还添加了很多熟悉的AI声音。如英国女演员Judi Dench等的声音。
扎克伯格现场对话了AI版数字AR/XR视觉艺术家唐·艾伦·史蒂文森三世（Don Allen Stevenson III），他对小扎提到的恭喜新书发表、创作感想等内容对答如流。

当被问到一个与史蒂文森三世本人毫无相关的农业问题时，AI版艺术家的回应也很符合人设，他称自己擅长设计和技术而非农业相关。



Meta AI还能直接看懂照片，用户可以直接在聊天界面中上传图片，AI就可以帮你解答你旅行中遇到的花是什么花、如何制作图片中这道菜等等。



编辑照片也不在话下，无需打开其它编辑工具，仅在Meta AI的对话框就能解决。用户可以直接告诉AI想在上传的照片中添加、删除或者更改什么内容，例如替换服装、更换背景等。



同时，当用户想分享照片到Instagram Story等社交平台上时，Meta AI还会根据照片的内容生成相应的背景图。

扎克伯格说，Meta正在测试一款翻译工具。该工具可以自动翻译短视频应用Reels中的音频，通过自动配音和口型同步，不仅能模拟说话者的声音来翻译，连口型都能对上。

这一功能首先将在Instagram和Facebook上进行小规模测试，将来自拉丁美洲和美国的创作者的视频翻译成英语和西班牙语，未来将会扩展到更多创作者和语言中。



Meta AI的图像生成功能还能帮用户在Facebook等平台上为自己“立人设”，如将自己的个人资料图片更换为超级英雄或者其他角色，还能为故事推荐标题。



面向企业，Meta正在将其AI工具扩展到数千家使用WhatsApp和Messenger英文版点击消息广告的企业。

上个月已经有超过100万个广告客户使用Meta的广告生成工具，并利用这些工具制作了1500万条广告。数据显示，平均而言，与未使用这些功能的广告系列相比，使用Meta生成式AI 广告功能的广告系列点击率高出11%，转化率高出7.6%。



04.

雷朋智能眼镜：

能记事，会观察，打破语言障碍

雷朋智能眼镜一直非常受欢迎，具备视频通话、流式传输内容、拍摄，抑或是听音乐、有声读物等功能。

这次雷朋眼镜重点升级了多项AI功能。

首先是对话变得更自然。用户只用在对话开始时说提示词“Hey Meta”，后面就可以直接连续提问，不用重复说很多次“Hey Meta”。

还有一个功能是帮用户记住事情。比如当用户飞到某个地方，询问在哪儿停车，眼镜会帮用户记住停车的位置。



用户也可以用语音设置提醒，3小时安全着陆时给妈妈发短信报平安。

它还能用来打电话、扫码。当双手不方便操作手机时，用户可以用Meta AI在WhatsApp和Messenger上录制和发送语音消息，同时保持在线状态。



此外，Meta AI能通过结合摄像头，为用户提供持续帮助。

比如当用户探索一个新城市，可以让Meta AI根据摄像头捕捉的信息询问用户在行走时看到的地标或获取下一步要看什么的想法。

它也能提供服装搭配建议，并实时掌握你的周围环境，比如建议用户考虑“刚才路过的那条珍珠项链”、“右边的黑色连衣裙”。

或者在一个杂货店并试图计划一顿饭时，用户可以让Meta AI根据自己在过道上行走时看到的东西来帮忙弄清楚要做什么，以及手里的酱料是否与它刚刚建议的食谱搭配得很好。

现场还演示了流畅的实时语音翻译功能，戴着眼镜就能打破语言障碍，实现跨语种交流。

Meta将继续添加更多语言。

雷朋智能眼镜可使用“be my eyes”应用，将视力有缺陷的人与视力正常的志愿者相连，以便志愿者能借助眼镜和POV视频通话，轻松看到视力残障人士的视角并告知周围环境，或者在日常任务中提供实时、免提的帮助，例如调节恒温器或分类和阅读邮件。



Meta正推进与Spotify和Amazon Music的整合，并与Audible iHeart建立新合作伙伴关系，使用户能随时随地使用语音搜索、发现和播放内容。

此外，Meta还发布了一款限量版Shiny Transparent Wayfarer透明镜框，并将EssilorLuxottica的全新UltraTransitions GEN S镜片系列引入雷朋眼镜系列，能快速适应所有光线条件。



05.

Orion：迄今最先进AR眼镜，

全息显示屏，手腕神经接口

最后，扎克伯格现场开箱，拿出Meta眼中的“迄今最先进的AR眼镜”——Orion。

AR眼镜兼具便捷、即时性、大显示屏、高带宽输入、情景化AI等优势。它不受手机屏幕限制，能借助大型全息显示屏，将物理世界当成画布。

尽管雷朋智能眼镜开创了AI无显示屏眼镜类别，但XR行业还在翘首以盼真正的AR眼镜——一款将大型全息显示屏和个性化AI辅助优势结合到舒适、全天候可佩戴的产品。

Orion正为此而生。



经过数十项创新，Orion的组件被压缩到几分之一毫米。

扎克伯格称它是“世界上从未有过的高端眼镜”，“技术上很疯狂”，在不同照明条件下，大到能显示一个电影屏幕或多个显示屏幕，覆盖物理世界全息图。



它拥有迄今为止最小AR眼镜中最大的视野，支持从多任务窗口、大屏幕娱乐到真人大小的人物全息图，所有数字内容都能与物理世界视野无缝融合。

Meta AI智能助手可在Orion上运行，理解用户在现实世界上看到的东西。

比如用户可以把摄像头对准冰箱，让Meta AI根据里面的东西提供食谱建议，或者边洗碗边调整数字家庭日历，边给朋友打视频电话。

也可以进行免提视频通话，实时与朋友和家人保持联系，还可以通过WhatsApp和Messenger查看和发送消息。

以前需进行的拿出手机、解锁、找到合适的应用程序、让朋友知道用户快吃晚饭了这一系列繁琐步骤，现在一副眼镜就能轻松完成所有操作。

如果想和远方的人相见，他们的虚拟影像会被即刻传送。

由于配有透明镜片，人们戴上AR眼镜，依然能看到彼此的面容和神情，或者进行眼神交流。

为了制作这种显示屏，眼镜腿上的投影仪将内容投射到纳米印刷镜片上，使它们不仅能够在2D空间投射图像，还能在3D空间投射图像。



Orion支持手势追踪、眼动追踪，基于手腕的神经接口可理解用户与设备交互的手势。



手势操控时，你可能不想在公共场合手舞足蹈招一堆人围观，而操作Orion的动作非常轻微，不会影响到周围的人。

Meta已经向少数人展示了它，这些人评价说这是他们见过的最疯狂的技术。

Meta将Orion称作其开发过的“最精致的产品原型之一”，但它暂时不会进入消费者手中。其团队决定先专注于内部开发，继续快速构建并继续突破技术界限，以开发出更好的消费产品。

Meta向自家员工和选定的外部用户提供Orion的访问权限，以便其团队可以学习、迭代和构建消费者AR眼镜产品线，计划不久后开始出货。

目前Meta主要关注三件事：1）调整AR显示质量，使视觉效果更加清晰；2）尽可能优化，让外形尺寸变得更小；3）规模化，使其可负担。

06.

结语：不卷高端，卷起性价比

“元宇宙”概念降温了，但用智能硬件打开虚实融合之门的产业探索才刚刚起步。

便宜、便携、舒适，智能，成为今年MR/VR/AR新品的共识，这在今天的Meta Connect大会上再度得到印证。

尤其是便宜。连坐拥大批死忠“果粉”的苹果，其Vision Pro都因昂贵的售价栽了跟头。

知名市场研究机构IDC预计第三季度美国本土的Vision Pro销量将比第二季度大幅下滑75%，全年全球销量难破50万台大关。知名分析师郭明錤也认为，高昂的价格阻碍了消费者。

苹果研发平价版头显的消息已频频传出。Meta也被曝取消高端头显“La Jolla”的开发计划，原因是未能将产品成本控制在1000美元内。

国内MR/VR/AR硬件同样在快速更新迭代，没有盲目复制苹果Vision Pro卷向高端，而是从技术路线和应用场景上构筑差异化竞争力。

字节跳动旗下PICO上个月推出其首款MR一体机PICO 4 Ultra，相较前代产品PICO 4/4 Pro全面升级，起售价4299元。

深圳仙瞬科技开发了超微型化的全球首款具备隐形显示功能的智能眼镜，体积小到能轻松集成至普通眼镜框架内，使现有设备能更好融入AI。

IDC预测2024全年中国AR/VR预计出货60.2万台，同比下滑17.1%；从今年年底开始，将会有更多手机厂商入局MR领域，并将于2025年集中推出首款产品。