使用點云資料在Unity中渲染場景-有解無憂

　　最近接觸了一個用點云資料渲染的方案, 非常給力, 幾乎就是毫秒級的加載速度, 特別是在顯示一些城市大尺度場景的時候, 簡直快的沒法形容, 之前的城市場景用了很多重復模型, 并且大量優化之后加載一個城市不僅時間很久, 10分鐘級的, 而且記憶體消耗巨大, 10G級別的, 運行時CPU裁剪都能耗掉40ms, 幾乎沒有任何意義了...

　　這個方案好的地方在于它的SDK提供的回傳是 ColorBuffer + DepthBuffer, 在任何引擎上都能很快實作它的渲染, 這就是所謂的"云場景"方案了吧.

　　因為它提供的Demo跑起來效率不高, 也就在30幀左右, 所以做了一些優化, 發現優化之后能上1000幀, 記錄一下.

　　未優化的幀數:

　　優化后的幀數:

　　其實方向很簡單, 第一個是SDK提供的方法并不需要在主執行緒中去呼叫, 可以通過多執行緒進行請求, 雖然會造成丟幀之類的, 可是本來點云資料就是遠程資料, 不可能有本地資料回傳的實效性, 所以可以直接放執行緒里, 然后跟主執行緒就像是執行緒排隊的例子一樣, 主執行緒提供相機資訊, 然后作業執行緒獲取回傳buffer, 通知主相機渲染, 大概跟下圖一樣:

　　這樣1,2,3,4.....是本地渲染幀, 請求回傳的是遠程渲染幀, 可以看到比如第一幀的請求, 在第四幀回傳, 那么如果相機一直在動的話, 渲染疊加在一起是偏移的, 非常明顯的就是地平線相對天空的偏移, 很難看.

　　解決的方法也簡單, 把本地和遠程同步起來就行了, 也就是延后本地的渲染, 先記錄發送遠程請求時的相機資訊, 在請求未回傳時, 本地的相機修改先做記錄, 不進行修改, 等到遠程回傳后, 把記錄的相機資訊同步給主相機, 然后同步渲染遠程資料, 這樣本地就和遠程渲染同步了, 然后再把記錄下來的操作作為下次遠程渲染的資訊發送請求, 這樣本地渲染就被遠程同步了, 并且本地邏輯不受渲染的影響, 這樣就把邏輯跟渲染分離出來了.

　　大概如下 :

　　這樣就可以同步渲染了, 原Demo直接在相機渲染中等待遠程回傳, 所以幀數受到很大影響.

　　順便記錄一下中間一些程序...

一. 通過深度圖獲取世界坐標.

　　這次用的 Unity2019, 相機有個獲取視錐頂點的函式 Camera.CalculateFrustumCorners , 不知道是什么時候開始有的, 這樣獲取相機視錐射線就簡單了:

    var nearInv = 1.0f / cam.nearClipPlane;
    cam.CalculateFrustumCorners(new Rect(0, 0, 1, 1), cam.nearClipPlane, Camera.MonoOrStereoscopicEye.Mono, _frustumCorners);
    for(int i = 0; i < _frustumCorners.Length; i++)
    {
        var worldSpaceRay_interpolation = cam.transform.TransformVector(_frustumCorners[i]) * nearInv;
    }

　　CalculateFrustumCorners 獲得的是相機的本地坐標系中的位置, 將它轉換為世界坐標系(TransformVector), 就如下圖所示:

　　它是近裁面上的視錐點, 除以近裁面之后就是單位長度的向量了(基于深度的單位長度, 不是向量的單位長度), 或者把cam.nearClipPlane換成1.0的深度.

　　然后是怎樣對視錐向量插值來獲得每個像素對應的視錐向量, Shader的頂點程序可以獲取頂點Index的資訊, 然后測驗看看螢屏后處理的頂點跟相機視錐頂點的關系:

    struct appdata
    {
        float4 vertex : POSITION;
        float2 uv : TEXCOORD0;
        uint index : SV_VertexID;
    };
    struct v2f
    {
        float2 uv : TEXCOORD0;
        float4 vertex : SV_POSITION;
        float4 ray : TEXCOORD1;
    };

......

    v2f vert (appdata v)
    {
        v2f o;
        o.vertex = UnityObjectToClipPos(v.vertex);
        o.uv = v.uv;
        o.ray.w = v.index;
        return o;
    }
    fixed4 frag (v2f i) : SV_Target
    {
        if (i.ray.w < 0.5) 
        {
            return float4(1, 0, 0, 1);
        }
        else if (i.ray.w < 1.5) 
        { 
            return float4(0, 1, 0, 1); 
        }
        else if (i.ray.w < 2.5)
        {
            return float4(0, 0, 1, 1);
        }
        else if (i.ray.w < 3.5)
        {
            return float4(1, 1, 1, 1);
        }
    }

　　根據顏色來看頂點:

　　可以看到順序跟編輯器下相機的頂點順序是一樣的, 左下紅, 左上綠色, 右上藍, 右下白, 因為平臺時PC所以就沒問題了. 所以核心代碼簡化如下:

    Vector3[] _frustumCorners = new Vector3[4];
    Matrix4x4 _frustumCornerVecs = Matrix4x4.identity;
    cam.CalculateFrustumCorners(new Rect(0, 0, 1, 1), 1.0f, Camera.MonoOrStereoscopicEye.Mono, _frustumCorners);
    for(int i = 0; i < _frustumCorners.Length; i++)
    {
        _frustumCornerVecs.SetRow(i, cam.transform.TransformVector(_frustumCorners[i]));
    }
    _material.SetMatrix("_FrustumCornerVecs", _frustumCornerVecs);

    struct appdata
    {
        float4 vertex : POSITION;
        float2 uv : TEXCOORD0;
        uint index : SV_VertexID;
    };
    struct v2f
    {
        float2 uv : TEXCOORD0;
        float4 vertex : SV_POSITION;
        float4 ray : TEXCOORD1;
    };

    uniform float4x4 _FrustumCornerVecs;    
    sampler2D _CameraDepthTexture;
    
    v2f vert (appdata v)
    {
        v2f o;
        o.vertex = UnityObjectToClipPos(v.vertex);
        o.uv = v.uv;
        o.ray.xyz = _FrustumCornerVecs[v.index].xyz;
        o.ray.w = v.index;
        return o;
    }
    fixed4 frag (v2f i) : SV_Target
    {
        float depthCam = tex2D(_CameraDepthTexture, i.uv).r;
        float depthEye = LinearEyeDepth(depthCam);
        float3 worldPos = _WorldSpaceCameraPos.xyz + (i.ray.xyz * depthEye);
        ......
    }

　　視錐計算應該在Vert階段也是能計算的才對, 只要有相機的Fov以及螢屏的寬高比就行了, 找了一下應該從內置變數中都能找到:

_ProjectionParams

　　float4 x is 1.0 (or –1.0 if currently rendering with a flipped projection matrix), y is the camera’s near plane, z is the camera’s far plane and w is 1/FarPlane.
_ScreenParams

　　float4 x is the width of the camera’s target texture in pixels, y is the height of the camera’s target texture in pixels, z is 1.0 + 1.0/width and w is 1.0 + 1.0/height.

還差一個FOV不知道在哪, 可能從變換矩陣中可以弄出來吧. 這樣就可以擺脫C#代碼了.

二. 在不同生命周期中的特殊處理

　　現在主要的兩個渲染路徑 Forward 和 Deferred 生命周期有很大不同, 并且資料都不同, 比如我想在繪制遠程資料的時候(ColorBuffer+DepthBuffer), 如果在 Forward 路徑中的話, 可以選擇在 BeforeForwardOpaque 中繪制, 然后寫入顏色和深度, 因為它屬于地形這種大面積的東西, 所以很多在它之后繪制的Unity物體可以被遮擋(并且可以不渲染深度貼圖), 這在有 Early-Z 的情況下能提升性能呢, 可是在 Deferred 路徑就沒有什么用, 它直接渲染GBuffer了, 并且在渲染前會清空一次(Color+Z+Stencil), 在它之前沒有什么意義, 在它之后也沒有什么意義(性能上), 所以為了簡便, 直接使用后處理了, 這樣在兩種路徑中都有同樣的生命周期...

三. CommandBuffer.Blit的問題

　　已經不知道怎么描述了, 沒有檔案, 只能看運行結果了:

　　1. 使用一個簡單Shader材質進行Blit, 在天空盒之前獲取螢屏截圖

    public RawImage raw;
    void Start()
    {
        CreateCommandBuffer();
    }
    private void CreateCommandBuffer()
    {
        var rt = new RenderTexture(Screen.width, Screen.height, 24, RenderTextureFormat.Default, RenderTextureReadWrite.Linear);
        raw.texture = rt;
        var cmd = new CommandBuffer();
        cmd.name = "TestBlit";
        var drawMaterial = new Material(Shader.Find("Test/RuntimeTest"));    // 簡單Shader
        cmd.Blit(BuiltinRenderTextureType.CameraTarget, rt, drawMaterial);
        cmd.SetRenderTarget(BuiltinRenderTextureType.CurrentActive);
        Camera.main.AddCommandBuffer(CameraEvent.BeforeSkybox, cmd);        // 天空盒之前
    }

　　Shader就是最簡單的自帶Image Effect

......
fixed4 frag (v2f i) : SV_Target
{
    fixed4 col = tex2D(_MainTex, i.uv);
    return col;
}

　　向前渲染, 不使用DHR/MSAA時得到空白貼圖...

　　當打開HDR 或 MSAA之后能獲取到貼圖:

　　??????????????????????

　　當我不使用材質進行Blit時, 更奇怪的事情來了:

    private void CreateCommandBuffer()
    {
        var rt = new RenderTexture(Screen.width, Screen.height, 24, RenderTextureFormat.Default, RenderTextureReadWrite.Linear);
        raw.texture = rt;
        var cmd = new CommandBuffer();
        cmd.name = "TestBlit";
        cmd.Blit(BuiltinRenderTextureType.CameraTarget, rt);　　// 不用材質了還不行嗎
        cmd.SetRenderTarget(BuiltinRenderTextureType.CurrentActive);
        Camera.main.AddCommandBuffer(CameraEvent.BeforeSkybox, cmd);
    }

　　它為什么形成了套娃??? 這時候它的相機渲染包含了UI的渲染??? 為什么上下顛倒了???

　　然后把相機的HDR或MSAA打開, 又正常了:

　　然后回到套娃的設定下, 把UI關了, 看看圖片它不套娃了...

　　好吧............

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/17557.html

標籤：其他

上一篇：在家辦公我差點變成廢柴，多虧了這張圖

下一篇：「K8s 學習日記」Kubeadm 部署 kubernetes 集群