Hololens2 初入——獲取彩色和深度影像資料流，并傳遞到程式中（不是網頁瀏覽）

前言

HoloLen2 設備內集成了多種不同型別的傳感器，軟體上也提供了研究者模式，便于開發者們訪問傳感器的原始資料，進行科研開發，
但是由于設備較新，其官方檔案并沒有過多的介紹這部分的內容.舊的Hololens1代碼又不能直接用在新的Hololens2 上，官方的github工程也較少，大都只停留在真機上可以獲取資料而已，
本文的配置將實作把設備上的影像資料通過wifi實時地傳遞到電腦端，方便用深度學習演算法對影像進行處理，
PS 這個工程是github上的，目前仍然達不到實時傳輸的效果，延遲很高，尚未解決，但是可以在線獲得影像資料便是，

基礎環境

WIN10 專業版
VS2019社區版
Unity2019.3.4版本
WIN SDK 最新
參考出處

配置程序

下載github上的工程

地址傳送門

編譯 HoloLens2-Unity-ResearchModeStreamer

用VS打開該專案中插件工程
設定專案屬性為release 和arm64
生成解決方案

配置Unity專案

新建一個Unity的3D專案
將專案切換到Universal windows patform
新建如下路徑"Assets/Plugins/"
將前面編譯好的檔案拷貝到新建的檔案夾下
檔案位置
拷貝過去后
新建一個StreamerHL2.cs（名稱注意一致，或者自己在代碼中對應修改類名稱），復制下面代碼到腳本里面（清空原本的代碼）

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using System;
using System.Runtime.InteropServices;

public class StreamerHL2 : MonoBehaviour
{
    // Start is called before the first frame update
    // [DllImport("HL2RmStreamUnityPlugin", EntryPoint = "StartStreaming", CallingConvention = CallingConvention.StdCall)];
    [DllImport("HL2RmStreamUnityPlugin", EntryPoint = "StartStreaming", CallingConvention = CallingConvention.StdCall)]
    private static extern void StartDll();
    void Start()
    {

        StartDll();
    }

    // Update is called once per frame
    void Update()
    {
        
    }
}

6.將腳本隨便掛在在一個物件上，我掛載的是主相機
7.設定Unity 專案的兼容性，根據下圖指引，勾選
InternetClient, InternetClientServer, PrivateNetworkClientServer, WebCam, SpatialPerception. 5個位置
8. 編譯unity工程，注意架構選擇的是ARM64.
ps. 不需要在unity中運行工程，因為我們添加的是ARM64的元件，在PC端運行的話會報加載不了的錯誤，

配置package檔案中的兼容性

用記事本的方式打開編譯好的Unity工程檔案夾中的“Package.appxmanifest”檔案
將如下代碼添加到 Package 中，注意前后各有一個空格

xmlns:rescap="http://schemas.microsoft.com/appx/manifest/foundation/windows10/restrictedcapabilities"

3.仍然在Package這一行中,找到"IgnorableNamespaces"的屬性，添加“rescap”欄位，如下圖

4. 在 Capabilityes添加如下代碼

<rescap:Capability Name="perceptionSensorsExperimental" />

5.保存檔案退出

在VS中編譯與部署

見我博客中的另外文章Unity專案部署到HL2上

修改PC端接收檔案

打開前面下載好的github工程中的hololens2_simpleclient.py檔案，路徑如下
修改檔案中的HOST引數，（電腦和HoloLens 2同在一個局域網的時候,查看HL中的IP地址，這個HOST引數就是IP地址）

程式運行

將電腦和HL連接到同一個局域網中
在HL中運行部署好的APP應用，然后運行hololens2_simpleclient.py檔案
3.

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/271878.html

標籤：其他

上一篇：Arm 十年重磅發布 v9 架構，不受 EAR 約束，未來將覆寫 3000 億顆芯片

下一篇：數控系統刀補傳輸解決方案