3D建模服務（3D Modeling Kit）是HMS Core在圖形影像領域又一技術開放，3D建模產品的定位就是要做快速、簡潔、低成本的3D制作能力，并陸續開放給有3D模型、影片游戲制作等能力訴求的開發者，開發者無需特殊硬體（RGBD\LiDAR等）也可以利用拍攝影像之間共視資訊匹配，估算出深度資訊并完成采集，
3D建模服務已經開放了物體建模的能力，還有平面的材質生成和動作捕捉三大核心能力，接下來還會對人體的建模以及面部捕捉做進一步的能力開放，下面就來為開發者們分享介紹一下，
一、3D物體建模能力
（1）3D物體建模能力介紹
3D物體建模的能力，不同于傳統的建模師用3D軟體制作模型的方式，或是通過掃描儀進行建模的方式，我們的定位是要做移動端快速的、低成本UDC的生產，只需普通RGB相機，通過拍攝物體不同角度的多張影像，上傳到云端，即可實作物體3D幾何模型和紋理的自動化生成，硬體要求上，當前我們支持安卓和iOS，WEB APR，形成全終端的支持形態，
對于支持的類別，因為這是通過拍照攝影的方法，所以就要求這個物體的紋理需要盡量豐富、不反光、尺寸中等、剛體，典型物體包括：商品類的毛絨玩具、包、鞋子等，家具類的比如沙發、抱枕，文物類可以是青銅器、石器、木器等，
支持物體尺寸大概是在10立方厘米和2立方米之間，當然物理尺寸更大也是能建模的，只是建模的時間會更長一點，如果建模的圖片在1080P的解析度，整個建模時長大概在5分鐘以內，最后輸出的格式也是標準的3D模型的格式，包括obj和gltf的格式，最后比較重要的一點，就是支撐這個能力的SDK包只有83K的大小，對于我們APP開發者們來說是非常友好的，
（2）3D物體建模采集方法建議
如果開發者想建一個比較完整的模型，對采集條件還是有一定要求的，
第一，環境，建議將單一的采集物體靜置于純色的平面上，
第二，光照，光照需柔和，避免燈光過暗，或某一面有強烈的陰影，
第三，拍攝，要對焦，覆寫均勻而足夠的多視角，含仰視、平視、俯視角度共50張以上，相機移動盡可能緩慢，
第四，采集程序，相鄰照片至少有70%-80%的重疊，展示盡量大且完整，要求盡量保證拍攝無虛焦、運動模糊、抖動模糊，
最后一點，物體的底部可以通過翻轉續拍去建立，實作物體完整模型的呈現，
（3）應用場景
對于物體建模，比較典型就是電商的場景，下圖是我們做的關于鞋子的建模和文物的建模，我們放置了一個小型的轉盤，再放了一個小型的燈箱，然后按照以上方式就可以實作建模，相較2D的商品展示，3D的展示可以給用戶帶來更好的體驗，在電商行業，3D商品展示可以提供差異化體驗，通過“看、試、穿、戴”等模擬方式提升用戶轉化，在文博行業，文物經三維數字化建模后，可應用于文物數字保存及多媒體展示，
二、平面材質的生成
（1）三維材質定義
第二個能力是平面材質的生成，圖形學中的表觀(Appearance)又稱材質，是描述光線如何在物體表面和內部進行互動的一種性質，由材質模型和一組控制引數來定義表面外觀，從下組圖可以看出，左邊的圖，如果不仔細看，對整個場景的感受非常弱，但如果把墻面、地面、油桶、桌面，這些材料加上去以后，真實感立刻顯示出來了，
在材質制作程序中，開發者和用戶有哪些痛點呢？
第一，從現實世界采集的紋理通常需要經過美術用專業軟體處理，才能用于渲染中取得真實感效果，比如去除光照影響、調整凸凹、尺度等處理，程序耗時、費力且難以標準化；第二，傳統紋理貼圖處理效果嚴重依賴美術經驗和特定渲染器，紋理素材在不同專案和渲染器間復用困難，專案積累少、制作成本居高不下，
為了解決這些痛點，我們提供兩種思路：
第一種，利用深度學習推理網路，一鍵生成符合PBR標準的紋理要素，提升紋理制作效率和質量；第二種，將技術美術的經驗和制作規范固化為遵循PBR標準的資料，通過資料在不同專案和渲染器間復用素材，傳承美術制作經驗，
（2）材質生成能力介紹
材質生成能力提供將RGB影像轉換為PBR材質的能力，僅需要拍攝一張或多張RGB圖片，便可一鍵生成五種材質貼圖，
使用該能力只需要普通RGB手機，不要求ToF或LiDAR，支持安卓所有機型；支持的材質型別，主要包括混凝土、大理石、巖石、碎石、磚、石膏、黏土、金屬、木材、樹皮、皮革、織物、漆面、塑料、合成材料等材質；支持diffuse map, normal map, specular map, roughness map，height map貼圖型別；對于輸入影像的解析度，當前已經能支持1k~8k貼圖的輸出，輸入影像中需無接縫、無亮斑、陰影、倒影；對于最終制作效果，通過SSIM的評價指標評價，約大于0.9，效果是非常好的，
（3）材質庫
開發者可以根據需要使用種類豐富的材質庫，可以根據需求篩選場景和種類并提供1k-8k解析度的的PBR材質貼圖，同時，支持查詢、預覽和下載等功能，
三、動作捕捉能力
剛剛發布的動作捕捉能力是通過普通單目攝像頭輸入連續視頻幀或RGB影像，精準快速估計24個人體骨骼關鍵點的三維資訊，開發者集成也只需要用到普通的手機，輸入視頻流或影像，就可以估計出人體骨骼，可以支持站立、行走、舞蹈、蹲、側身、彎腰等常見動作，
視頻流、RGB影像的輸入格式，建議視頻中圖片解析度不小于320320 px，解析度過低影響檢測精度，同時解析度不高于19201080 px，解析度過高會影響檢測幀率，輸出的格式也比較重要，動作捕捉能力可以同時輸出24個人體骨骼關鍵點的四元數和3D坐標，在一些引擎里面，直接可以驅動匹配，
了解更多詳情>>
訪問華為開發者聯盟官網
獲取開發指導檔案
華為移動服務開源倉庫地址：GitHub、Gitee
關注我們，第一時間了解 HMS Core 最新技術資訊~
轉載請註明出處，本文鏈接：https://www.uj5u.com/yidong/421878.html
標籤：Android