主頁 > .NET開發 > Unity 生成自定義影片格式并播放

Unity 生成自定義影片格式并播放

2022-09-08 06:22:11 .NET開發

原文鏈接:https://www.cnblogs.com/jingjiangtao/p/16666514.html

目的

Unity的AnimationClip.SetCurve()只在Editor中運行時有用,打包后運行時只對legacy的AnimationClip有用,對其它型別的影片Generic和Humanoid都不起作用,https://docs.unity3d.com/ScriptReference/AnimationClip.SetCurve.html,

所以如果想在運行時加載和播放影片,只能用自定義格式,

注意:此自定義格式的生成、加載和播放,都不涉及重定向,通過特定的模型生成的影片,只能在這個模型上播放,

注意:本文只實作了人體模型的自定義影片,其它模型的實作思路相同,

思路

自定義影片格式的生成和播放有三個步驟:

  • 生成:把已經存在的影片片段轉換成自定義影片格式
  • 序列化:保存和加載自定義影片格式
  • 播放:播放自定義影片格式

大致程序就是,以一定的幀率記錄模型每個物體的position和rotation值,保存在自定義格式中,這種格式要能序列化,之后加載自定義格式,并以一定的幀率每幀設定物體的position和rotation,達到播放的效果,

第三方庫

MessagePack

https://github.com/neuecc/MessagePack-CSharp

MessagePack是一種資料交換格式,可以生成體積更小的序列化檔案,而且序列化和反序列化的速度更快,影片檔案資料量比較大,生成的檔案也比較大,所以最好選擇生成檔案體積更小的序列化方案,

實作

物體類

首先要定義物體類來保存影片資料,物體類的嵌套結構如下:

AnimDataSequence
{
    id: int,
    length: float,
    frameRate: float,
    name: string,

    animPathSequences: List<AnimPathSequence>
    [
        {
            path: string,
            localPosition: CurveVector3
            {
                x: AnimationCurve,
                y: AnimationCurve,
                z: AnimationCurve
            },
            localRotation: CurveQuaternion
            {
                x: AnimationCurve,
                y: AnimationCurve,
                z: AnimationCurve,
                w: AnimationCurve
            }
        },
        ...
    ]
}

最外層是AnimDataSequence類,id欄位保存影片id;length保存影片時長,單位秒;frameRate保存影片幀率;name保存影片名稱,animPathSequences是一個陣列,陣列的元素型別是AnimPathSequence,保存著模型中單個子物體位置和旋轉值的影片曲線,path表示這個子物體相對模型根節點的路徑,所以List<AnimationPathSequence>保存了模型的所有物體位置和旋轉值的影片曲線,

圖示:

 

 

每個物體類的代碼如下:

AnimDataSequence.cs

[MessagePackObject]
public class AnimDataSequence
{
    [Key(0)]
    public int id;

    [Key(1)]
    public float length;

    [Key(2)]
    public float frameRate = 30f;

    [Key(3)]
    public string name;

    [Key(4)]
    public List<AnimPathSequence> animPathSequences = new List<AnimPathSequence>();

    public List<AnimSequenceFrame> GetFrame(float time)
    {
        List<AnimSequenceFrame> sequenceFrames = new List<AnimSequenceFrame>(animPathSequences.Count);
        foreach (AnimPathSequence sequence in animPathSequences)
        {
            AnimSequenceFrame frame = new AnimSequenceFrame();
            frame.path = sequence.path;
            frame.localPosition =
                new Vector3(
                    sequence.localPosition.x.Evaluate(time),
                    sequence.localPosition.y.Evaluate(time),
                    sequence.localPosition.z.Evaluate(time));

            frame.localRotation =
                new Quaternion(
                    sequence.localRotation.x.Evaluate(time),
                    sequence.localRotation.y.Evaluate(time),
                    sequence.localRotation.z.Evaluate(time),
                    sequence.localRotation.w.Evaluate(time));

            sequenceFrames.Add(frame);
        }

        return sequenceFrames;
    }
}

GetFrame()函式獲取給定時間位置的一幀資料,回傳一個元素型別是AnimSequenceFrame的陣列,

[Serializable]
public class AnimSequenceFrame
{
    public string path;
    public Vector3 localPosition;
    public Quaternion localRotation;
}

 

AnimSequenceFrame中,path表示這個子物體相對于模型根節點的路徑,localPosition和localRotation表示這個物體在這一幀的位置和旋轉值,

AnimPathSequence.cs

[MessagePackObject]
public class AnimPathSequence
{
    [Key(0)]
    public string path;

    [Key(1)]
    public CurveVector3 localPosition = new CurveVector3();

    [Key(2)]
    public CurveQuaternion localRotation = new CurveQuaternion();
}

CurveQuaternion.cs

[MessagePackObject]
public class CurveQuaternion
{
    [Key(0)]
    public AnimationCurve x;

    [Key(1)]
    public AnimationCurve y;

    [Key(2)]
    public AnimationCurve z;

    [Key(3)]
    public AnimationCurve w;
}

CurveVector3.cs

[MessagePackObject]
public class CurveVector3
{
    [Key(0)]
    public AnimationCurve x;

    [Key(1)]
    public AnimationCurve y;

    [Key(2)]
    public AnimationCurve z;
}

AnimationCurve是Unity自有的型別,表示影片曲線,可以被MessagePack序列化和反序列化,其實,自定義的影片資料,最終都是保存在AnimationCurve中的,

生成

用Unity的Playable API獲取影片指定時間的骨骼資料,保存到物體類物件中,最后保存成檔案,

public void SaveAnimSequence(AnimationClip clip, Animator animator, string filePath, float frameRate = 0)
{
    // 創建PlayableGraph,用于播放影片
    PlayableGraph playableGraph = PlayableGraph.Create("ConvertHumanoidAnimation");
    playableGraph.SetTimeUpdateMode(DirectorUpdateMode.Manual);
    // 把影片片段連接到PlayableGraph中
    AnimationPlayableOutput animPlayableOutput = AnimationPlayableOutput.Create(playableGraph, "AnimationOutput", animator);
    AnimationClipPlayable animClipPlayable = AnimationClipPlayable.Create(playableGraph, clip);
    animPlayableOutput.SetSourcePlayable(animClipPlayable);

    // 創建自定義影片物件,設定必要的引數
    AnimDataSequence animSequence = new AnimDataSequence();
    animSequence.length = clip.length;
    animSequence.name = clip.name;
    // 如果沒有傳幀率,就用原始影片片段的引數
    animSequence.frameRate = frameRate == 0 ? clip.frameRate : frameRate;
    // 計算每幀的持續時間
    float frameDuration = 1f / animSequence.frameRate;

    Transform root = animator.transform;
    List<Transform> bones = new List<Transform>();

    // 獲取人體骨骼對應的物體Transform陣列
    for (int i = 0; i < (int)HumanBodyBones.LastBone; i++)
    {
        Transform boneTransform = animator.GetBoneTransform((HumanBodyBones)i);
        if (boneTransform != null)
        {
            bones.Add(boneTransform);

            AnimPathSequence pathSequence = new AnimPathSequence();
            animSequence.animPathSequences.Add(pathSequence);

            // 獲取相對路徑
            pathSequence.path = Utils.RelativePath(root, boneTransform);

            pathSequence.localPosition.x = new AnimationCurve();
            pathSequence.localPosition.y = new AnimationCurve();
            pathSequence.localPosition.z = new AnimationCurve();

            pathSequence.localRotation.x = new AnimationCurve();
            pathSequence.localRotation.y = new AnimationCurve();
            pathSequence.localRotation.z = new AnimationCurve();
            pathSequence.localRotation.w = new AnimationCurve();
        }
    }

    // 開始獲取影片對應的人體骨骼資料
    float time = 0f;
    while (time <= clip.length)
    {
        // 根據時間點定位影片
        animClipPlayable.SetTime(time);
        playableGraph.Evaluate();

        for (int i = 0; i < bones.Count; i++)
        {
            Transform bone = bones[i];
            AnimPathSequence pathSequence = animSequence.animPathSequences[i];

            pathSequence.localPosition.x.AddKey(time, bone.localPosition.x);
            pathSequence.localPosition.y.AddKey(time, bone.localPosition.y);
            pathSequence.localPosition.z.AddKey(time, bone.localPosition.z);

            pathSequence.localRotation.x.AddKey(time, bone.localRotation.x);
            pathSequence.localRotation.y.AddKey(time, bone.localRotation.y);
            pathSequence.localRotation.z.AddKey(time, bone.localRotation.z);
            pathSequence.localRotation.w.AddKey(time, bone.localRotation.w);
        }

        // 下一幀的時間
        time += frameDuration;
    }

    playableGraph.Destroy();

    // 用MessagePack序列化并保存到檔案
    byte[] bytes = MessagePackSerializer.Serialize(animSequence);
    File.WriteAllBytes(filePath, bytes);
}

簡單起見,代碼最后直接把自定義影片資料保存到了檔案,實際使用可以不保存檔案,序列化后用于網路傳輸,

frameRate引數表示采樣的幀率,值越大,檔案體積越大,影片也越精確,需要取舍,

加載和播放

加載就是用MessagePack庫把MessagePack資料反序列化;播放就是每幀播放指定時間點的影片曲線;

public class PoseSequencePlay : MonoBehaviour
{
    public bool IsPlaying => _isPlaying;

    public float CurrentTime
    {
        get
        {
            return _time;
        }

        set
        {
            if (value > _animDataSequence.length) return;

            _time = value;
            SetPose();
        }
    }

    public bool Loop { get; set; } = false;
    public AnimDataSequence AnimDataSequence => _animDataSequence;

    protected Transform _character;
    protected AnimDataSequence _animDataSequence;
    protected float _time = 0f;
    protected bool _isPlaying = false;

    protected virtual void Update()
    {
        if (!_isPlaying)
        {
            return;
        }

        if (_time > _animDataSequence.length)
        {
            if (Loop)
            {
                Stop();
                Play();
            }
            else
            {
                _isPlaying = false;
            }

            return;
        }

        SetPose();

        // 增加時間
        _time += Time.deltaTime;
    }

    protected void SetPose()
    {
        if (_animDataSequence == null || _character == null) return;
        if (_time > _animDataSequence.length) return;

        // 獲取指定時間的序列資料
        List<AnimSequenceFrame> frame = _animDataSequence.GetFrame(_time);
        // 將獲取到的資料賦值給對應的骨骼
        foreach (AnimSequenceFrame frameOnePath in frame)
        {
            Transform boneTransform = _character.Find(frameOnePath.path);
            if (boneTransform != null)
            {
                boneTransform.localPosition = frameOnePath.localPosition;
                boneTransform.localRotation = frameOnePath.localRotation;
            }
            else
            {
                Debug.LogWarning($"[GestureGenerator] {frameOnePath.path} is Null");
            }
        }
    }

    public virtual void PrepareData(string animDataSequenceFilePath, Transform character)
    {
        byte[] bytes = File.ReadAllBytes(animDataSequenceFilePath);
        AnimDataSequence sequence = MessagePackSerializer.Deserialize<AnimDataSequence>(bytes);
        PrepareData(sequence, character);
    }

    public virtual void PrepareData(byte[] sequenceBytes, Transform character)
    {
        AnimDataSequence sequence = MessagePackSerializer.Deserialize<AnimDataSequence>(sequenceBytes);
        PrepareData(sequence, character);
    }

    public virtual async Task PrepareDataAsync(string animDataSequenceFilePath, Transform character)
    {
        AnimDataSequence sequence = null;
        using (FileStream fileStream = File.OpenRead(animDataSequenceFilePath))
        {
            sequence = await MessagePackSerializer.DeserializeAsync<AnimDataSequence>(fileStream);
        }

        PrepareData(sequence, character);
    }

    public virtual void PrepareData(AnimDataSequence sequence, Transform character)
    {
        _isPlaying = false;
        _time = 0f;
        _animDataSequence = sequence;
        _character = character;
    }

    public virtual void Play()
    {
        _isPlaying = true;
    }

    public virtual void Pause()
    {
        _isPlaying = false;
    }

    public virtual void Stop()
    {
        _isPlaying = false;
        _time = 0f;
        SetPose();
    }

    public virtual void Clear()
    {
        Stop();
        _animDataSequence = null;
        _character = null;
    }
}

PoseSequencePlay是一個繼承了MonoBehaviour的類,需要掛載到Unity場景中運行,

加載的核心函式是PrepareData(),通過MessagePackSerializer.Deserialize()反序列化自定義影片資料,

播放的核心函式有兩個:Update()和SetPose(),SetPose()函式根據當前時間將人物模型設定為自定義影片序列中的姿勢,Update()函式每幀設定影片姿勢,并遞增時間,

如有錯誤,歡迎指正,謝謝!

轉載請註明出處,本文鏈接:https://www.uj5u.com/net/505448.html

標籤:.NET技术

上一篇:Tkinter-在for回圈中將“row=”添加到標簽時,串列中的專案彼此重疊顯示

下一篇:C# 中針對 System.Runtime.InteropServices.ExternalException:“GDI+ 中發生一般性錯誤。”另一種圖片保存方案

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • WebAPI簡介

    Web體系結構: 有三個核心:資源(resource),URL(統一資源識別符號)和表示 他們的關系是這樣的:一個資源由一個URL進行標識,HTTP客戶端使用URL定位資源,表示是從資源回傳資料,媒體型別是資源回傳的資料格式。 接下來我們說下HTTP. HTTP協議的系統是一種無狀態的方式,使用請求/ ......

    uj5u.com 2020-09-09 22:07:47 more
  • asp.net core 3.1 入口:Program.cs中的Main函式

    本文分析Program.cs 中Main()函式中代碼的運行順序分析asp.net core程式的啟動,重點不是剖析原始碼,而是理清程式開始時執行的順序。到呼叫了哪些實體,哪些法方。asp.net core 3.1 的程式入口在專案Program.cs檔案里,如下。ususing System; us ......

    uj5u.com 2020-09-09 22:07:49 more
  • asp.net網站作為websocket服務端的應用該如何寫

    最近被websocket的一個問題困擾了很久,有一個需求是在web網站中搭建websocket服務。客戶端通過網頁與服務器建立連接,然后服務器根據ip給客戶端網頁發送資訊。 其實,這個需求并不難,只是剛開始對websocket的內容不太了解。上網搜索了一下,有通過asp.net core 實作的、有 ......

    uj5u.com 2020-09-09 22:08:02 more
  • ASP.NET 開源匯入匯出庫Magicodes.IE Docker中使用

    Magicodes.IE在Docker中使用 更新歷史 2019.02.13 【Nuget】版本更新到2.0.2 【匯入】修復單列匯入的Bug,單元測驗“OneColumnImporter_Test”。問題見(https://github.com/dotnetcore/Magicodes.IE/is ......

    uj5u.com 2020-09-09 22:08:05 more
  • 在webform中使用ajax

    如果你用過Asp.net webform, 說明你也算是.NET 開發的老兵了。WEBform應該是2011 2013左右,當時還用visual studio 2005、 visual studio 2008。后來基本都用的是MVC。 如果是新開發的專案,估計沒人會用webform技術。但是有些舊版 ......

    uj5u.com 2020-09-09 22:08:50 more
  • iis添加asp.net網站,訪問提示:由于擴展配置問題而無法提供您請求的

    今天在iis服務器配置asp.net網站,遇到一個問題,記錄一下: 問題:由于擴展配置問題而無法提供您請求的頁面。如果該頁面是腳本,請添加處理程式。如果應下載檔案,請添加 MIME 映射。 WindowServer2012服務器,添加角色安裝完.netframework和iis之后,運行aspx頁面 ......

    uj5u.com 2020-09-09 22:10:00 more
  • WebAPI-處理架構

    帶著問題去思考,大家好! 問題1:HTTP請求和回傳相應的HTTP回應資訊之間發生了什么? 1:首先是最底層,托管層,位于WebAPI和底層HTTP堆疊之間 2:其次是 訊息處理程式管道層,這里比如日志和快取。OWIN的參考是將訊息處理程式管道的一些功能下移到堆疊下端的OWIN中間件了。 3:控制器處理 ......

    uj5u.com 2020-09-09 22:11:13 more
  • 微信門戶開發框架-使用指導說明書

    微信門戶應用管理系統,采用基于 MVC + Bootstrap + Ajax + Enterprise Library的技術路線,界面層采用Boostrap + Metronic組合的前端框架,資料訪問層支持Oracle、SQLServer、MySQL、PostgreSQL等資料庫。框架以MVC5,... ......

    uj5u.com 2020-09-09 22:15:18 more
  • WebAPI-HTTP編程模型

    帶著問題去思考,大家好!它是什么?它包含什么?它能干什么? 訊息 HTTP編程模型的核心就是訊息抽象,表示為:HttPRequestMessage,HttpResponseMessage.用于客戶端和服務端之間交換請求和回應訊息。 HttpMethod類包含了一組靜態屬性: private stat ......

    uj5u.com 2020-09-09 22:15:23 more
  • 部署WebApi隨筆

    一、跨域 NuGet參考Microsoft.AspNet.WebApi.Cors WebApiConfig.cs中配置: // Web API 配置和服務 config.EnableCors(new EnableCorsAttribute("*", "*", "*")); 二、清除默認回傳XML格式 ......

    uj5u.com 2020-09-09 22:15:48 more
最新发布
  • C#多執行緒學習(二) 如何操縱一個執行緒

    <a href="https://www.cnblogs.com/x-zhi/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/2943582/20220801082530.png" alt="" /></...

    uj5u.com 2023-04-19 09:17:20 more
  • C#多執行緒學習(二) 如何操縱一個執行緒

    C#多執行緒學習(二) 如何操縱一個執行緒 執行緒學習第一篇:C#多執行緒學習(一) 多執行緒的相關概念 下面我們就動手來創建一個執行緒,使用Thread類創建執行緒時,只需提供執行緒入口即可。(執行緒入口使程式知道該讓這個執行緒干什么事) 在C#中,執行緒入口是通過ThreadStart代理(delegate)來提供的 ......

    uj5u.com 2023-04-19 09:16:49 more
  • 記一次 .NET某醫療器械清洗系統 卡死分析

    <a href="https://www.cnblogs.com/huangxincheng/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/214741/20200614104537.png" alt="" /&g...

    uj5u.com 2023-04-18 08:39:04 more
  • 記一次 .NET某醫療器械清洗系統 卡死分析

    一:背景 1. 講故事 前段時間協助訓練營里的一位朋友分析了一個程式卡死的問題,回過頭來看這個案例比較經典,這篇稍微整理一下供后來者少踩坑吧。 二:WinDbg 分析 1. 為什么會卡死 因為是表單程式,理所當然就是看主執行緒此時正在做什么? 可以用 ~0s ; k 看一下便知。 0:000> k # ......

    uj5u.com 2023-04-18 08:33:10 more
  • SignalR, No Connection with that ID,IIS

    <a href="https://www.cnblogs.com/smartstar/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/u36196.jpg" alt="" /></a>...

    uj5u.com 2023-03-30 17:21:52 more
  • 一次對pool的誤用導致的.net頻繁gc的診斷分析

    <a href="https://www.cnblogs.com/dotnet-diagnostic/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/3115652/20230225090434.png" alt=""...

    uj5u.com 2023-03-28 10:15:33 more
  • 一次對pool的誤用導致的.net頻繁gc的診斷分析

    <a href="https://www.cnblogs.com/dotnet-diagnostic/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/3115652/20230225090434.png" alt=""...

    uj5u.com 2023-03-28 10:13:31 more
  • C#遍歷指定檔案夾中所有檔案的3種方法

    <a href="https://www.cnblogs.com/xbhp/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/957602/20230310105611.png" alt="" /></a&...

    uj5u.com 2023-03-27 14:46:55 more
  • C#/VB.NET:如何將PDF轉為PDF/A

    <a href="https://www.cnblogs.com/Carina-baby/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/2859233/20220427162558.png" alt="" />...

    uj5u.com 2023-03-27 14:46:35 more
  • 武裝你的WEBAPI-OData聚合查詢

    <a href="https://www.cnblogs.com/podolski/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/616093/20140323000327.png" alt="" /><...

    uj5u.com 2023-03-27 14:46:16 more