AR技術(shù)已經(jīng)被廣泛應(yīng)用于營(yíng)銷、教育、游戲、展覽等場(chǎng)景。通過(guò)2D圖像跟蹤技術(shù)和3D物體跟蹤技術(shù)，用戶只需使用一臺(tái)手機(jī)進(jìn)行拍攝，即可實(shí)現(xiàn)海報(bào)、卡牌等平面物體以及文物、手辦等立體物體的AR效果。盡管近年來(lái)2D圖像跟蹤和3D物體跟蹤算法已經(jīng)取得了很大的進(jìn)步，但受限于環(huán)境等因素影響，效果仍然有很大提升空間，是目前AR開(kāi)發(fā)者的研發(fā)難點(diǎn)。
HMS Core AR Engine提供了2D圖像和3D物體的端云協(xié)同跟蹤技術(shù)，讓開(kāi)發(fā)者更簡(jiǎn)單便捷地開(kāi)發(fā)AR類應(yīng)用，讓用戶擁有更豐富的AR交互體驗(yàn)。
2D圖像跟蹤技術(shù)
端云協(xié)同2D圖像實(shí)時(shí)跟蹤技術(shù)已率先應(yīng)用于Bilibili會(huì)員購(gòu)，購(gòu)物者在選購(gòu)時(shí)能夠?yàn)g覽商品的AR特效，多角度、近距離地與IP衍生商品實(shí)現(xiàn)互動(dòng)，從而獲得全新的AR購(gòu)物體驗(yàn)。據(jù)會(huì)員購(gòu)后臺(tái)數(shù)據(jù)統(tǒng)計(jì)，具備AR特效的商品銷量更好，AR活動(dòng)參與率是普通游戲參與率的2倍左右，助力會(huì)員購(gòu)平臺(tái)收入提升。
傳統(tǒng)的純端側(cè)2D圖像跟蹤方案，如果開(kāi)發(fā)者要讓新的圖片支持AR特效就必須更新應(yīng)用版本，有較高的版本維護(hù)成本，而且隨著支持AR特性圖片的增加，應(yīng)用的體積也會(huì)不斷增大。為此，AR Engine采用端云協(xié)同的架構(gòu)解決該問(wèn)題，開(kāi)發(fā)者僅需將圖片上傳到云端即可快速發(fā)布新圖片的AR特效，端側(cè)應(yīng)用版本無(wú)需更新，應(yīng)用體積也不會(huì)因此而增加。
端云協(xié)同2D圖像跟蹤技術(shù)原理圖
端云協(xié)同2D圖像跟蹤技術(shù)主要涵蓋了：
1. 云側(cè)圖像特征提取模塊
2. 云側(cè)向量檢索引擎
3. 端側(cè)視覺(jué)跟蹤模塊
在提升云端服務(wù)的響應(yīng)速度方面，端云協(xié)同2D圖像跟蹤技術(shù)利用硬件平臺(tái)加速，開(kāi)發(fā)了軟硬協(xié)同的高性能向量檢索引擎，實(shí)現(xiàn)海量特征下的毫秒級(jí)檢索響應(yīng)。
3D物體跟蹤技術(shù)
在文物介紹、商品展示、AR教育等場(chǎng)景，AR Engine還提供了端云協(xié)同3D物體實(shí)時(shí)跟蹤技術(shù)。該技術(shù)能夠?qū)崿F(xiàn)3D物體全息式信息展示效果
端云協(xié)同3D物體實(shí)時(shí)跟蹤技術(shù)效果圖
現(xiàn)實(shí)生活中，會(huì)存在不同紋理材質(zhì)的3D物體，例如雕塑類的純色弱紋理材質(zhì)，或者金屬器皿類的反光現(xiàn)象，3D物體也會(huì)受光線變化導(dǎo)致表面出現(xiàn)陰影，這些場(chǎng)景都對(duì)3D物體跟蹤帶來(lái)很大的挑戰(zhàn)。為了實(shí)現(xiàn)在各種場(chǎng)景下均能快速準(zhǔn)確的進(jìn)行識(shí)別跟蹤，AR Engine使用多個(gè)AI網(wǎng)絡(luò)組合完成3D識(shí)別定位功能，分別完成對(duì)象檢測(cè)、位姿粗定位、位姿優(yōu)化。
端云協(xié)同3D物體跟蹤技術(shù)原理圖
端云協(xié)同3D物體實(shí)時(shí)跟蹤技術(shù)主要涵蓋了：
1. 云側(cè)訓(xùn)練樣本AI合成模塊
2. 云側(cè)AI網(wǎng)絡(luò)自動(dòng)訓(xùn)練模塊
3. 云側(cè)AI網(wǎng)絡(luò)推理模塊
4. 端側(cè)視覺(jué)跟蹤模塊
在對(duì)AI網(wǎng)絡(luò)進(jìn)行算法訓(xùn)練時(shí)，傳統(tǒng)的訓(xùn)練樣本人工標(biāo)注方式，往往存在工作量大、開(kāi)發(fā)周期長(zhǎng)等問(wèn)題。為此，AR Engine結(jié)合海量的離線數(shù)據(jù)和對(duì)抗生成策略，設(shè)計(jì)了訓(xùn)練樣本的AI合成算法，能夠免人工標(biāo)注，僅依賴合成樣本就可以實(shí)現(xiàn)復(fù)雜場(chǎng)景下3D物體的精準(zhǔn)識(shí)別。
端云協(xié)同3D物體跟蹤技術(shù)在文物介紹場(chǎng)景，已助力華為河圖為莫高窟實(shí)現(xiàn)全息式文旅導(dǎo)游體驗(yàn)，幫助游客隨時(shí)探究洞窟的內(nèi)部細(xì)節(jié)。
華為河圖的莫高窟全息式文旅導(dǎo)游效果圖
以上技術(shù)來(lái)自華為2012中央媒體技術(shù)院，通過(guò)AR Engine面向開(kāi)發(fā)者開(kāi)放，在廣告營(yíng)銷、教育、文旅等場(chǎng)景為用戶帶來(lái)差異化的AR體驗(yàn)。
更多AR技術(shù)的信息，歡迎收看5月27日19:00-20:00 HMS Core Discovery第15期直播，讓我們一起探索HMS Core AR Engine是如何幫助開(kāi)發(fā)者們構(gòu)筑立體世界，打造沉浸式營(yíng)銷的服務(wù)體驗(yàn) 。
歡迎訪問(wèn)華為開(kāi)發(fā)者聯(lián)盟官網(wǎng)-HMS Core AR Engine
