淺析AIGC for MMKG

摘要：AIGC和多模態知識圖譜（MMKG）中的知識獲取又是怎么實作的呢？他們之間有什么關聯呢？

本文分享自華為云社區《GPT-4發布，AIGC時代的多模態還能走多遠？系列之四 AIGC for MMKG》，作者：碼上開花_Lancer，

與傳統知識圖譜不同，MMKG以多模態資料作為源頭，從多方面描述物體和關系，構建出一個可以跨越多模態的知識體系，在MMKG中，多模態資料不僅僅作為文字符號物體的關聯屬性存在，還可以作為圖譜中的物體存在，可與現有物體發生廣泛關聯， MMKG的優勢在于它能夠消除多模態資料的異構性，將它們有機地結合在一起，使得系統能夠實作對多模態資料的更加全面和深入的理解，AIGC(生成式AI)可以利用多模態知識圖譜中的資訊來生成新的內容，例如AIGC（生成式AI）可以根據MMKG的文本和影像資訊，生成描述某個物體或者概念的新文本、影像或視頻，這種結合可以提高生成內容的質量和準確性，所以多模態知識圖譜提供了豐富的背景關系資訊，有助于生成式AI更好的理解和描述目標內容，那么，AIGC和多模態知識圖譜（MMKG）中的知識獲取又是怎么實作的呢？他們之間有什么關聯呢？

01 大模型知識抽取：利用Prompt機制來獲得多模態大模型中富含的知識

大型預訓練模型的興起，知識知識獲取已經成為當前自然語言處理領域的熱門話題，利用大模型的知識抽取方法可以幫助我們更好地探索和利用多模態大模型中豐富的知識資源， 在知識抽取的程序中，Prompt機制被廣泛應用，它通過給模型提供一些輸入提示，來引導模型生成對應的輸出序列，這種方法不僅可以在文本方面得到很好的應用，也可以在多模態知識獲取方面產生卓越的效果，例如，在影像描述生成領域，我們可以將關鍵詞或者句子作為prompt輸入，用以指導模型生成適當的影像描述，

與此類似的，利用Prompt機制可以讓模型以更優秀的方式使用多模態知識，通過針對特定場景和任務設計的Prompt，模型能夠更精準地理解和應用多模態知識，從而提高知識的知識獲取效率，這種方法的優點在于它可以幫助模型理解多模態資料之間的相互關系，并引導模型實作跨模態知識表示和推理， 利用Prompt機制進行多模態抽取是一種非常有效的方法，可以顯著提高多模態大模型的知識利用效率，同時，這種方法還可以幫助我們更好地理解和應用不同型別的知識，從而推動自然語言處理技術的發展，未來，我們可以進一步優化Prompt機制的設計，以適應更多樣化的知識抽取需求，實作更高效、準確和全面的多模態知識獲取，

（以上圖片來自網路）

02 AIGC為知識獲取降本增效：零樣本、少樣本、開放知識獲取

隨著自然語言處理技術的不斷發展和完善，知識獲取的效率和成本問題逐漸受到人們的關注，在這個背景下，AIGC作為知識獲取方面的重要研究方向，受到了越來越多的關注和重視， 在實際應用中，難免會遇到資料量不足的情況，這時候零樣本或者少樣本學習就顯得尤為重要，通過使用大模型進行輔助，可以有效提升模型對于零樣本或少樣本的學習能力，從而降低對于資料量的依賴性，大幅提升知識抽取的效率，同時，在多模態知識的獲取程序中，大模型也表現出了非常出色的表現，它可以將不同模態的資料進行關聯推理，從而幫助我們更好地獲取跨模態知識，提高知識抽取的全域性和準確性， 此外，開放知識獲取也是目前研究的熱點之一，傳統的知識獲取方法需要大量的人工參與，成本高昂且效率低下，而通過利用大模型進行知識獲取，則可以極大地減少人工成本，提高知識獲取的效率和準確度，這使得開放知識獲取變得更加容易，為知識抽取的自動化、高效化奠定了基礎 ，

(以上圖片來自網路)

03 AIGC為知識獲取降本增效：顯著增強垂域多模態知識獲取能力

如何更加高效地獲取和利用知識已經成為了自然語言處理領域中的一個非常重要的問題，在這個程序中，AIGC(增強智能領域)技術正發揮著重要的作用，通過降低知識獲取的成本、提高獲取效率等方面的優化，使得多模態知識獲取能力顯著增強，

其中，GPT-4和ChatPDF等大型預訓練模型已經表現出了非常強大的領域知識抽取能力，特別是在基于多模態檔案抽取方面有著出色的表現，這些模型能夠通過深度學習等技術，從海量的文本和影像中快速篩選和抽取有用的資訊，并進行分類、歸納等操作，為用戶提供精準、有效的知識支持，

(以上圖片來自網路)

04 AIGC助圖譜設計一臂之力：輔助Schema半自動化設計

大模型在部分領域上擁有領域常識知識，可以輔助完成Schema的半自動化設計，AIGC為知識推理保駕護航：輔助知識圖譜（KG）表示學習與知識圖譜（KG）補全，AIGC為知識融合掃清障礙：輔助Scheme融合與物體對齊，

（以上圖文來自網路）

05利用大模型的泛化能力和海量知識，可以輔助完成多模態知識圖譜融合

在知識推理方面，AIGC技術可以輔助KG表示學習和KG補全，基于大模型的強大自然語言處理能力和海量知識的支持，AIGC技術可以從各個檔案、影像和視頻中快速抽取有用資訊，并自動填充到知識圖譜中，從而提高知識圖譜的完備性和準確性，并支持更加深層次的知識推理，

（以上圖文參考來自http://arxiv.org/abs/2206.14268 和http://arxiv.org/abs/2212.05767）

其次，在知識融合方面，AIGC技術也可以幫助我們進行Scheme融合和物體對齊，通過大模型的泛化能力和領域常識知識，AIGC技術可以自動進行Schema匹配和物體對齊，并解決知識圖譜中的冗余、不一致等問題，從而實作知識融合的自動化和高效化，

最后，利用大模型的泛化能力和海量知識，我們還可以輔助完成多模態知識圖譜的融合，在這一程序中，AIGC技術可以利用多種資料源和多種表達形式，如文本、影像和聲音等，來構建更加全面和豐富的多模態知識圖譜，并支持多模態知識的推理和應用， 除了上述提到的應用場景，AIGC技識訓可以在其他領域中發揮重要作用，例如，在醫療、金融和物聯網等領域，AIGC技術可以幫助企業和機構更好地了解和管理自己的業務和流程，從而提高生產效率和服務質量， 在醫療領域，AIGC技術可以協助醫生進行病例診斷和治療方案設計，通過分析大量的臨床資料和病例資訊，AIGC技術可以自動生成病例分類、藥品推薦、治療方案等智能化輸出，從而幫助醫生更加準確地診斷疾病和制定治療計劃，并提高治療效果， 在金融領域，AIGC技術可以輔助企業進行風險評估和投資決策，通過分析市場資料、企業財報和行業趨勢等資訊，AIGC技術可以提供智能化的投資建議和風險預警，從而幫助企業和投資者做出更加準確的投資決策，并降低投資風險， 在物聯網領域，AIGC技術可以幫助企業更好地管理和監測設備狀態和資料流，通過連接各種傳感器和智能設備，AIGC技術可以實作資料采集、處理和分析，并通過自動化控制和預測性維護等手段，提高設備利用率和效率，降低生產成本和機器故障率，

總之，AIGC技術的應用使得知識推理和融合變得更加高效、精準和自動化，從而大大提高了多模態知識圖譜（MMKG）的實用性和應用價值，通過生成式AI技術，也可以自動化地從大量的資料中提取和整合多模態知識圖譜（MMKG）資訊，形成結構化的知識表示，提高多模態知識圖譜（MMKG）的構建效率，豐富多模態知識圖譜（MMKG）的內容，進一步推動知識表示和處理領域的發展，未來，我們可以進一步探索多模態知識圖譜（MMKG）和拓展AIGC技術的應用場景，開發更加豐富和智能的知識服務和應用，為人類知識創造和創新提供更加強有力的支持，

參考：

部分內容參考來自復旦大學教授李直旭《AIGC時代的多模態知識工程思考與展望》

論文：《Google’s PaLM-E is a generalist robot brain that takes commands》

《X. Zhu, Z. Li et. al. Multi-Modal Knowledge Graph Construction and Application: A Survey, Accepted by TKDE in Dec. 2022

http://arxiv.org/abs/2206.14268 和http://arxiv.org/abs/2212.05767

點擊關注，第一時間了解華為云新鮮技術~

標籤：其他

上一篇：統計學習方法筆記-感知機學習方法

下一篇：返回列表