導讀：阿里巴巴淘系技術研發了全新 3D AI 演算法，可基于 2D 圖片精準搜索出相應的 3D 模型，準確率大幅提升10%，可降低 3D 列印、VR 看房、場景導購等領域的門檻，該研究成果已被 AI 頂會 NeurIPS 2020 收錄，
3D研究是目前業界最熱門的課題之一，是打造3D智能世界的核心基礎，在探索3D數字化家居建設的程序中，阿里巴巴淘系技術部最新提出的2D圖搜3D模型（IBSR）方案受到學界認可，相關論文已被國際人工智能頂會NeurIPS 2020錄用發表，
IBSR旨在根據2D圖片從給定3D池子里搜索出圖片里物體對應的CAD模型，隨著3D CAD模型數量迅速增長，研究設計高精度IBSR系統意義重大， 其有利于快速還原真實三維場景，也在資料庫驅動的3D模型重建問題中扮演著至關重要的角色，解決IBSR問題的通用思路是將2D圖與3D模型映射到同一空間，并學習相似度度量函式，過去幾年，包括卡耐基梅隆大學，麻省理工，斯坦福大學等頂級學府都紛紛建立IBSR基準資料集，并投入相關研究，
動機
IBSR最大的難點在于如何克服2D圖與3D模型的appearance gap，并解耦出無紋理資訊干擾的統一幾何表面特征表達，我們發現IBSR問題有一些特別的性質，包括（1）3D模型通常都是獨立的個體（類別）；（2）同一個3D模型現實中可能會對應不同紋理表面，這些特性在過去都未被很好的建模學習，使得傳統方法在精細3D模型推薦上表現不盡如人意，
方法概述
針對這些特性，阿里巴巴淘系技術提出了紋理合成驅動的多視角度量學習架構，具體來說，我們設計紋理生成的條件對抗生成網路 (cGAN) 來為度量學習創造困難三元組 (Hard Triplets)，使網路在訓練程序中能有效抑制2D圖豐富紋理的不利干擾，從而更關注于物體的幾何細節特點，同時，為了使網路學習幾何表面特征更容易，我們利用顯著性與視角注意力機制來盡可能消除2D圖片雜亂背景與無約束的投影視角干擾，
實驗結果
我們的方案在多個開源資料集，包括Pix3D，Stanford Cars，Comp Cars，和3D-FUTURE，都取得了SOTA的結果，并且3D模型搜索準確率超過傳統方法約10%以上，其中，3D-FUTURE為阿里巴巴淘系技術部主導開源的業界首個飽含紋理細節的大型3D家具模型資料集，歡迎大家使用并提取建議，
3D-FUTURE資料集鏈接：https://tianchi.aliyun.com/specials/promotion/alibaba-3d-future
? 相關閱讀
作者|淘系技術
編輯|橙子君
出品|阿里巴巴新零售淘系技術
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/234825.html
標籤：AI
上一篇：2020-12-14