AR界安卓在中國，Rokid引爆空間計算狂潮

原文來源：光錐智能

作者：劉雨琦

圖片來源：由無界AI‌ 生成

你可能很難想像，在一個沒有顯示屏也沒有鼠標的空間，僅憑一副AR眼鏡和一台口袋主機，就能完成一篇5000字的文章。

沒錯，8月26日，在2023 Rokid Jungle 新品發布會現場，這樣的場景正在真實發生著。會上，Rokid 發布了消費級OST（光學透視）個人空間計算平台Rokid AR Studio，包括Rokid Max Pro（售價4999元）和Rokid Station Pro（售價3999元）兩大硬件產品。

Rokid創始人、CEO祝銘明在發布會上表示：“讓空間計算能更自然地融入日常生活和工作，讓Rokid AR Studio成為你的第一台空間計算機。”

這和以往人們對AR眼鏡的認知有很大不同。在此之前，AR眼鏡一直被“鎖死”在娛樂場景中，靠影視和遊戲兩大支柱產業生存，而Rokid AR Studio 真正成為了個人生產力工具，IM軟件、寫文章、寫代碼，搜索信息等等工作場景，都能通過最新的硬件完成。

**使用場景的擴展，讓AR設備從邊緣化的場景中，轉向更為實際的使用價值。消費者願意買單，整個AR產業鏈才會進入消費級市場正循環。 **

說自己是個“社恐”的老闆祝銘明，是個十足的產品和技術控，他在內部曾斃掉兩版產品設計初稿，差點把產品部“逼瘋”。可當最後產品部偷偷拿出設計好的產品時，祝銘明立刻下令資源都傾斜到這個產品上。 “我只關心一個數據，就是用戶使用時長。目前，我們的真實用戶使用時長已經接近一個半小時，週留存率超過20%。做到這個，用戶會自然增長。”

**用戶數積累達到百萬級別，也意味著，AR行業進入了軟件系統和生態建設的第二階段。近年來，已經有越來越多的系統廠商、應用軟件廠商、內容廠商加入到AR生態建設中來。 **

“一群瘋子，一個夢想，十年光陰。”

正如祝銘明所言，從娛樂場景到生產力工具，Rokid用了10年，這背後不只是思考的躍進，更是從硬件技術到軟件技術，乃至整個產業鏈向前邁的一大步。蘋果和Rokid開啟了AR競賽第二階段，行業比拼也正在加速。

**單目SLAM，怎麼重新定義交互？ **

在整場發布會中，最令人意外的，不是Rokid Max Pro 76g的機身，**而是只有一顆攝像頭，竟然能完成SLAM（空間定位技術）、微手勢交互、第一視角分享、視覺定位VPS能力等多種融合型的交互方式。 **

AR/VR設備在經歷了物理交互（手柄）、語音交互、手勢交互後，正在往眼球追踪和現在的多感知融合交互方案發展。

但多感知融合的交互，對於硬件的要求更高，除了要滿足基本的需求，更要全方位、多角度的捕捉到用戶動作、手勢，才能精準地完成交互。

**而用單顆攝像頭完成SLAM交互有多難呢？ **

視覺SLAM方法包含兩個模塊，一個是Tracking，已知3D點位置，基礎定位；一個是Mapping，更新3D點的位置。而無論是哪個環節哪種方法，單目意味著只能選擇一種攝像頭，以及固定位置和固定角度，對於識別的範圍、追踪速度和精度都存在極大的挑戰。

“業界都認為單目SLAM不可置信、很難做到”，祝銘明戲稱，“這可能也是對Rokid的一種肯定吧”。

目前，市場上為數不多的具備空間交互的AR眼鏡至少會搭載三顆攝像頭，來承擔算法功能。 **視覺路線的不同，也形成了以蘋果為代表的VST（視頻透視）和以Rokid為代表的OST（光學透視）兩大陣營。 **

仍以蘋果Vision Pro為例，其用12顆攝像頭“堆”出了快速定位捕捉、高精度的全景感知以及精密追踪，並通過VST的方式，將外部的世界通過攝像頭顯示在終端屏幕上，通過攝像頭的實時拍攝來看到外部世界。

但為了交互而堆硬件的方法，成本提高的同時價格也在翻番上漲，同時導致了機體重以及難量產兩大落地難題。這也就是為什麼，蘋果Vision Pro定價3499美元，並要在2024年才能實現量產的根本原因。

而Rokid堅持的OST方案本身便存在著一定的技術壁壘，由於管路設計複雜，且顯示畫面視角有限，光學零部件成本造價較高，在價格不進行較大漲幅的情況下，Rokid只能通過技術突破的方式，來降低疊加成本。

而讓行業認為“不可置信”的單目SLAM是如何做到的？會後，光錐智能與祝銘明進行了深度的交流，發現Rokid的“絕招”在於，**用AI算法來突破硬件的壁壘。 **

祝銘明介紹到，單目SLAM技術雖然早就存在，但還從沒有被應用在AR眼鏡中，手機的前置攝像頭也同樣應用了此類技術，唯一不同的是：算法。

從AI到AR，這是一條看似跨越但實際上本質融通的道路，但也正是因為Rokid此前數年在AI領域的積累，通過多維度視覺算法模型，包括視覺定位與增強、數字人技術、2D/3D手勢識別、OCR識別等技術，讓AI在具體的場景中落地。

比如AR視覺定位與增強功能，就是在解決和突破單目的限制，通過構建厘米級的視覺地圖，將虛擬信息在真實物體世界進行精準疊加融合，實現物體和場景的高精度三維重建。

Rokid副總裁、XR中心負責人王俊傑介紹道：“空間定位基於SLAM技術，然後才能在空間中進行穩定的自然交互。1~2秒的時間通過算法快速初始化，建立映射空間。”

而市場上，大多數設備還是採用雙目的方案來解決，但雙目融合也存在很多問題，除了成本多增加了一個攝像頭之外，還需要不斷用算法來實時擬合兩個攝像頭的數據，從而帶來更多的複雜問題。

由此看來，如果單目方案能夠順利進行，Rokid就又率先踩准了一個技術趨勢。此前，Rokid也是行業首創Station 主機的廠商，眼鏡和主機分離的方案已經被證明是行業體驗的最優解。

另外，在手勢識別中，Rokid採用了微手勢的交互方式，手指一捏，即可進行點擊和選中；手勢左右撥動，還可對正在瀏覽的界面或內容進行切換。簡單的捏合和滑動手勢等邏輯定義比較自然，上手較快。

通過我們的現場測試結果來看，目前Rokid可以實現雙手的裸手空間交互，目前，Rokid手勢識別的算法支持水平/空間軸轉、明/暗光等複雜場景識別，同時可識別的手勢類型豐富、算法精準，整體識別率約90%以上，並擁有毫秒級識別的響應能力及99%的可靠性保障。

Rokid表示，基於深度學習算法和大量實驗數據，單目3D手勢算法能在移動端實時重建手部姿態參數，包括手部6DoF、手部關節點6DoF，以及Hand Mesh信息，為AR的手勢交互提供良好的算法基礎。

目前，Rokid的手勢識別在3D空間中可實現多種操作，包括點、捏、抓、握、拖、拉等等，完全可以滿足AR交互應用需求。例如，戴上Rokid Max Pro，伸出手，在眼前張開手掌即可呼出菜單。

畢竟想要支持如此復雜的算法結構，背後的功臣不只攝像頭，更與“大腦”也就是Rokid Station Pro的算力和性能息息相關。

口袋裡的空間計算機

**一直以來，整個VR/AR行業都存在著“算力、舒適度、價格”的不可能三角。算力更高的設備往往更重，價格也更貴，舒適度高的輕量級設備又無法滿足使用需求。 **

從現實的情況來看，目前並沒有一種“完美”的解決方案，主流廠商們試圖在二者中找平衡，當下市場上存在著兩類主流的解決方案：一種是以蘋果為代表的顯示計算一體，電池外接的方案；另一種，則是以Rokid為代表的顯示計算分體設計。

蘋果一體化的設計，將兩塊micro-OLED屏幕、多個攝像頭和傳感器、揚聲器等元件集成在一起，在顯示效果、計算等方面效率更高，但同時也會增加機體本身重量，導致只能將電池外接。

而Rokid堅持的分體式設計，將佩戴性拉到了極致，對比Vision Pro 454g重量，76g的眼鏡重量，幾乎和普通眼鏡沒有差別；同時主機算力也可以不那麼受空間資源限制，同時一定程度上避免散熱帶來的不適問題。

**總的來說，分體式的路線可以做到眼鏡的輕便和主機算力的雙向極致發展，同時也更加靈活，算力的迭代和眼鏡的技術路線可以異步進行。 **

Rokid Station Pro就是在分體式設計的基礎上，進行了更高的算力升級，打造集計算、成像、通信等功能為一體的All in One終端，也是真正可以被稱之為“生產力工具”的超級終端。

據光錐智能了解到，Rokid Station Pro 搭載了高通驍龍XR2+、12G RAM + 128G ROM, 支持WIFI6/6E和BT5.1，Station Pro續航能力將是手機方案的2倍以上，同時具有更佳的散熱和更高性能，可以達到厘米級6DoF跟踪精度和極低MTP（Motion to Photon）渲染延遲。

公開信息顯示，驍龍XR2＋是高通推出最新旗艦的XR平台，能夠實現50%的續航能力和30%的散熱性能提升，從而支持更小更輕薄的設備外形中賦能更豐富和沈浸式的體驗。同時驍龍XR2 + 平台引入全新圖像處理管線，能夠實現低於10 毫秒的時延，開啟全彩視頻透視MR 體驗。

從光錐智能在現場的體驗來看，無論是觀影、遊戲過程中還是調用鍵盤進行工作生產流程，尤其是在遊戲的高頻交互和打鬥下，畫面的流暢度和反應速度，都十分絲滑。

值得一提的是，目前市場上核心算法還是3DoF（三自由度追踪），是指該設備能夠檢測到向上、前、下三個方向的轉動，但不能檢測到頭部的前後左右的空間位移。

而升級後的Station Pro採用的6DoF算法，除了能檢測到頭部的轉動帶來的視野角度變化外，還能夠檢測到由於身體移動帶來的“上下前後左右”6種位移的變化。

這個算法的升級，更重要的在於玩家的自由度。舉個例子，3DoF算法下的打殭屍，射程範圍在前方的一定角度，而升級後殭屍從360度出現，一回頭身後殭屍撲面的體感，是前者無法達到的。

也就是說，不只算力更高、體驗更絲滑、算力空間的拓展也帶來了體感上的巨大不同。

高通技術公司XR產品管理高級總監Said Bakadir表示：“第一代驍龍XR2+平台是賦能下一代XR體驗的不二之選。高通技術公司為Rokid Station Pro提供業界領先的平台，支持其打造了自身獨特的AR應用生態系統。”

做AR行業中的iOS

當然，蘋果手機之所以能在手機市場上常年稱王稱霸，成功的原因並不只於它的硬件，更在於它的系統和生態。通過軟件系統來培養用戶使用習慣所築下的壁壘，往往要比硬件本身更牢固。

**這是Rokid自研AR空間操作系統——YodaOS-Master的部分原因，但卻不是全部的原因。 **

今年三月Rokid Open Day上，Rokid正式推出了YodaOS-Master，並發布了“AR空間創作平台靈境”，讓每個人都能在3D空間內創作AR內容，人人可參與，徹底打破AR創作的門檻，讓生態勢能爆發。

**如果說單目SLAM、3D手勢識別、驍龍XR＋、靈境平台都是一把把利刃，那YodaOS-Master，通過一套自研的系統，才能將這些絕招釋放。 **

簡單來說，Rokid 是在走一條沒有人走過的路，而Rokid的理念是“軟件定義一切”，所有的軟件都需要係統進行承載和提供，才能發揮出價值。

圍繞感知、理解、交互、展現、協同和數字創作五個方面，YodaOS-Master從芯片優化、硬件設計、軟件架構、AR算法還有創作工具等諸多方面都做了巨大升級，或是目前最為完整的一套面向AR時代的空間操作系統。

發布會現場，Rokid也展示了自研系統帶來的開放性和便捷性。舉幾個明顯的例子，**基於自研系統和驍龍XR＋平台，Rokid開發了多任務並行模式，**打破了之前只能單任務的掣肘，實現一邊聊釘釘、一邊寫代碼、一邊看文檔的場景，能夠同時實現並充分的發揮了空間大屏的優勢，讓生產效率提升到最大。

**另一個極為創新的案例是，Rokid基於自研系統，重新定義了空間搜索。 **祝銘明介紹道，這打破了此前搜索信息的陳列方式，搜索結果的呈現不再是二維的平面的效果，而是存在在三維空間中。 “與問題最相關的結果會離你最近，有點相關的結果在二級頁面，離的越遠越不相關，當然，你也可以劃掉前面的結果，動態挑選你想要的結果”。

如此，未來感瞬間拉滿，也展示出了與第一階段AR設備的本質不同。

**可以看到， AR行業開放生態已經開始進入第二階段，蘋果和Rokid不僅在硬件方向上一個向左，一個向右，在行業系統軟件、生態發展上也是如此。通過硬件、算法、軟件生態、開發者和用戶與平台共創，AR在一個徹底開放的生態下，會更快速的邁向高速發展的第二階段。 **

Rokid系統研發總工程師石文峰表示，“YodaOS-Master操作系統通過服務化的方式，將Rokid語音識別、手勢識別、SLAM等在內的多項核心技術集成為系統服務，並提供多種client SDK供開發者高效開發，比如SDK for Unity，可以讓Unity開發者(開發者申請通道：開放平台網址(ar.rokid.com))能夠快速使用Rokid核心技術進行開發”。

從硬件到軟件，從系統到生態，Rokid的發展路徑，頗有點當年喬布斯時代蘋果的意味。

“AR 行業就在黎明前”，祝銘明說道。