來源：映維網(wǎng) 作者 夢秋
自2019年11月發(fā)售以來，微軟HoloLens 2一直在為制造業(yè)、建筑業(yè)、醫(yī)療業(yè)和零售業(yè)的企業(yè)員工提供支持，幫助其更快地完成任務(wù)，并大大減少了錯誤和浪費情況。它利用了大量的傳感器和專用ASIC，并允許多個實時計算機視覺工作負載連續(xù)運行。利用研究模式，HoloLens 2同時成為了一款強有力的計算機視覺研究設(shè)備。（注：研究模式現(xiàn)在只對Windows Insider用戶開放，但很快就會登陸Windows 10 for HoloLens）。
延伸閱讀：HoloLens 2 Research Mode as a Tool for Computer Vision Research
與上一版相比，HoloLens 2的研究模式主要擁有以下優(yōu)勢：
除了HoloLens 1研究模式提供的傳感器外，微軟現(xiàn)在納入了IMU傳感器權(quán)限，包括加速度計、陀螺儀和磁強計。HoloLens2提供了可結(jié)合研究模式的新功能。具體而言，你在使用研究模式時可通過API訪問手部追蹤和眼動追蹤，從而進行更為廣泛的實驗。
在研究模式下，應(yīng)用程序代碼不僅可以訪問視頻和音頻流，同時可以利用諸如SLAM等內(nèi)置的計算機視覺算法來獲取設(shè)備運動數(shù)據(jù)，以及通過空間映射算法來獲得環(huán)境的三維網(wǎng)格。所述功能是由多個作為彩色視頻攝像頭補充的內(nèi)置圖像傳感器實現(xiàn)。
HoloLens 2包含四個灰度頭部追蹤攝像頭，以及一個深度攝像頭來感知環(huán)境并執(zhí)行手部追蹤。它同時搭載了兩個用于眼動追蹤和虹膜識別的額外紅外攝像頭及配套LED。如圖1所示，其中兩個灰度攝像頭配置為捕捉設(shè)備前端的區(qū)域，并通過三角測量確定視覺特征的絕對深度。同時，兩個附加的灰度攝像頭有助于提供更廣闊的視場來追蹤特征。這種同步式全局快門攝像頭的光敏程度要高于彩色攝像頭，能夠以每秒30幀的速率捕捉圖像。
深度攝像頭使用有源紅外照明并通過基于相位的飛行時間來確定深度。攝像頭可以以兩種模式工作。第一種模式可以實現(xiàn)高幀速率（45 FPS）的近深度感測，并且通常用于手部追蹤；而另一種模式則用于較低幀速率（1-5 FPS）的遠深度感測，并且通常用于空間測繪。由于只需在離設(shè)備1米之內(nèi)支持雙手，HoloLens 2通過減少照明的數(shù)量來節(jié)省電力。除了深度之外，這種攝像頭同時提供主動照明的紅外圖像（兩種模式）。這種圖像本身就非常具有價值，因為它們是由HoloLens照明，不受環(huán)境光的影響。Azure Kinect采用相同的傳感器包，但深度模式略有不同。
利用Windows 10 for HoloLens的最新Insider版本，研究人員現(xiàn)在可以啟用研究模式并訪問所述的原始圖像傳感器流。HoloLens 2的研究模式同時為研究人員提供了獲取加速度計、陀螺儀和磁強計讀數(shù)的途徑。為了保護用戶的隱私，原始的眼動追蹤攝像頭圖像不可通過研究模式獲取。另外，研究人員可以通過現(xiàn)有的API訪問眼睛注視方向。
對于其他傳感器流，研究人員可以利用內(nèi)置的計算機視覺算法的結(jié)果，并選擇將原始傳感器數(shù)據(jù)用于自己的算法。
傳感器的數(shù)據(jù)流可以由設(shè)備進行本地處理或存儲，或無線傳輸?shù)絇C或云端，從而完成更高計算要求的任務(wù)。這為HoloLens2開啟了一系列的全新計算機視覺應(yīng)用。HoloLens 2特別適合作為一個第一人稱視角的視覺研究平臺，因為它允許你從用戶角度分析世界。對于所述用例而言，HoloLens能夠在用戶面前可視化三維世界中的算法結(jié)果，而這是一個關(guān)鍵的優(yōu)勢。HoloLens傳感能力對機器人技術(shù)同樣非常有價值，例如，所述功能可以支持機器人在環(huán)境中導(dǎo)航。
微軟將在歐洲計算機視覺會議演示所述的HoloLens功能。另外，首批示例應(yīng)用已經(jīng)托管至GitHub，而更多技術(shù)細節(jié)請參閱研究模式的技術(shù)文檔 HoloLens 2 Research Mode as a Tool for Computer Vision Research。另外，微軟在歐洲計算機視覺會議上的演講PPT如下：
延伸閱讀：HoloLens 2 Research Mode:API Overview
延伸閱讀：Microsoft HoloLens 2 and Azure Kinect as tools for computer vision research
延伸閱讀：The HoloLens2ForCVRepository
原文鏈接：https://yivian.com/news/77426.html
