清華大學王曉智：大規模通用域事件檢測資料集MAVEN

點擊藍字

關注我們

AI TIME歡迎每一位AI愛好者的加入！

事件檢測任務是事件抽取的第一步，對事件語意建模有重要意義，然而現有事件檢測資料集存在兩個嚴重的問題：

（1）資料稀缺，現有小規模資料集不足以充分訓練和穩定評測復雜的神經網路模型；

（2）覆寫率低，現有資料集關心的有限資料型別不足以覆寫通用域中的廣泛事件語意，也限制了事件檢測模型的應用范圍，

為了緩解這些問題帶來的影響，本文構建了一個大規模通用域事件檢測資料集MAVEN，它包含4480篇文章和118732個事件實體，覆寫了168種事件型別，同時也在MAVEN資料集上復現了一系列當前最佳的模型并進行了全面的實驗，實驗結果顯示在傳統資料集上表現極好的模型并不能在MAVEN上也取得理想的表現，這表明事件檢測仍是一個具有挑戰性的方向，本文也通過一些實證分析討論了事件檢測任務后續的發展方向，

本期AI TIME PhD直播間，我們有幸邀請到了清華大學計算機系的博士一年級研究生王曉智，為大家分享這項研究作業！

王曉智：清華大學計算機系博士一年級研究生，導師李涓子教授，主要研究方向為事件抽取和預訓練語言模型，已在EMNLP、NAACL、COLING等會議發表多篇文章，

一、背景

一、 事件檢測的定義

事件檢測任務旨在從文本中識別事件觸發詞并正確分類事件型別，觸發詞指的是最能清晰明顯表達事件出現的核心詞語或短語，事件型別則需要在資料集中預先定義，

比如，在圖1中，born是一個觸發詞，觸發了birth這一事件，同時baptized也是一個觸發詞，觸發了baptism這一事件，簡單地說，事件檢測任務的目的是從文本中檢測出所關心的事件，

圖1：事件檢測舉例

二、現有事件檢測資料集的嚴重缺陷

事件檢測在事件語意建模中具有基礎性的作用，近些年來中外學者在事件檢測的任務上做了很多的研究作業，提出了很多先進的模型，也取得了越來越好的事件檢測的表現，然而值得注意的是，盡管整個事件抽取領域的模型更新非常快速，標準資料集的更新換代卻非常的緩慢，不僅如此，標準資料集通常存在資料稀缺和覆寫率低這兩個嚴重問題，

以目前最廣泛使用的事件檢測資料集ACE 2005為例，它只有不到600篇檔案和5000多個標注出來的事件實體，僅僅覆寫了33個事件型別，這樣的事件規模在現在看來是非常小而且難以充分訓練模型的，同時由于難以避免的資料不平衡性，在這33個類別中，有20個事件類別只有不到100個標注實體，資料本身就非常小，再加上這么長尾的分布，很難去訓練和穩定評測對資料量需求比較大的神經網路模型，

圖2：ACE 2005統計資料

圖3：事件檢測資料集統計細節

二、解決方案

一、MAVEN資料集的構建

從資料稀缺和覆寫率低這兩個問題出發，作者構造了MAVEN，一個大規模通用域的事件檢測資料集，

首先看一下MAVEN的統計資訊：針對資料稀缺這一問題，標注的Event Mentions的數量超過了10萬，比起之前的資料集具備數量級級別的提升；針對覆寫率低的問題，MAVEN定義的Event Type達到了168個，可以看到，MAVEN比所有的現有資料檢測資料集規模都要大很多，可以顯著緩解資料稀缺和覆寫率低這兩個問題，

圖4：MAVEN的統計資訊

構建的第一步，需要做Document Selection，選擇一些合適的語料來用于標注，具體來說，選擇的是4480篇英文維基的文章作為標注的基礎語料，

選擇英文維基的原因：

首先，被使用范圍比較廣泛，語言的形式也相對流暢，比較好理解；

第二，雖然事件抽取目前與知識圖譜的結合作業不算特別多，但是長遠來看，它也是一個資訊抽取任務，它的目的是為了豐富知識庫中的資源，因此選用英文維基這么一個比較容易與其它的資訊抽取任務和知識圖譜相結合的一個語料，對于將來的資料構建和模型開發都是有一定幫助的，

具體來說，這4480篇文章的主題描述的是大事件，因為描述大事件的文章要比描述客觀的物體，比如說香蕉、蘋果，的文章含有更多的需要標注的基礎事件，原子級別的事件，

第二步，做Candidate Selection（選擇一些詞作為用于標注的candidate）和Automatic Labeling（自動標注，比如預先用一些模型來做一個預置的推薦的標注結果），從而節省標注員的一些時間和精力，對整體的標注質量也是有幫助的，

最后一步是一個兩階段的人工標注，這一步與之前的ACE2005等資料集的構建思路非常類似：第一階段中，對于每篇檔案，邀請了2位獨立的標注員來做獨立的互相不知道結果的標注，從而能夠比較好的提升標注的召回；第二階段，邀請一位受過嚴格訓練的標注員在第一階段標注結果的基礎上進行最終的標注，這個標注程序是實踐證明會比較可靠的，

圖5：MAVEN的構建

在做資料標注之外，要保證資料集有一個好的覆寫率，因此從FrameNet中推導派生出了一個Event Type Schema，它的特點是不僅覆寫率比較高，而且具備層次化，有比較明確的父子繼承關系，會比較方便后面的模型做一些作業，這里展示的僅僅是一小部分的例子，如果對整個的168個事件的schema感興趣，可以參閱論文的附錄，

圖6：層次化的Event Type Schema

二、MAVEN標注出的資料分布

整體來講，MAVEN的資料分布還是非常長尾的，雖然資料分布本身的長尾不可避免，但是因為整體的資料規模做得非常大，其中41%的事件型別是超過500個標注實體的，82%的事件型別是超過100個標注實體的，對模型的訓練會有很好的幫助，

另外一個比較關鍵的觀察是，在MAVEN中會有多個事件在同一個句子中出現，模型可以考慮到一句話中不同事件型別之間的聯系，更好地做事件型別的分類，這必定對模型是會有幫助的，然而，由于之前的一些小規模的資料集覆寫率比較低，一個句子中出現多個事件的現象是比較少見的，這也鼓勵了模型設計針對這一現象做更多的考慮，

二、實驗結果

一、模型表現

實驗中實作了6個神經網路模型，同時在ACE 2005和MAVEN上比較了模型的表現，可以看出，模型在MAVEN上的表現顯著差于在ACE 2005上的表現，這說明通用域的事件檢測難度是非常大的，需要更多的研究精力來解決這個任務，同時，MAVEN上的模型表現標準差常常是比ACE 2005上的標準差低非常多的，這也證明小資料規模的資料集是不能穩定評測神經網路模型的，

進一步來看，以BiLSTM和BiLSTM+CRF作為模型，DMBERT和BERT+CRF作為模型，兩對模型對比可以看出，加入CRF的模型表現在MAVEN上是要比基礎模型要好的，而在ACE 2005上，它的提升不會很明顯，考慮到CRF的主要作用是考慮一句話中多個事件之間的聯系，可以證明之前所說的觀察，啟發之后的模型設計更多的往這一點上考慮，

另一個發現是，BiLSTM模型的表現在ACE 2005上是非常高的，甚至比BERT還要高，這可能也是證明了在ACE 2005這個小資料集上有一些不穩定性，而在MAVEN上并沒有這個問題，

圖7：ACE 2005和MAVEN的模型表現

二、對比實驗

MAVEN資料集的一個顯著優勢是做了更多的資料和事件型別，為了觀察資料量和事件型別是否足夠，做了兩個對比實驗，

首先隨機選擇了一定比例MAVEN的訓練資料，看這些比例下的訓練資料的表現結果，從資料規模上來看，隨著資料規模的上升，模型表現也在上升，現有資料集的規模無法使得模型得到充分訓練，不足以得到穩定的比較結果，而在整個MAVEN的大小上，表現結果是再增加資料也不會帶來很大的模型表現的提升；從事件型別的數量上來看，隨著數量的上升，模型的表現在下降，這也證明了高覆寫率會帶來一些新的挑戰，

圖8：對比實驗的結果

三、Transferability實驗

另一個要研究的問題是，在MAVEN上學習到了一些通用的事件檢測的知識，然而通用域的知識能不能遷移到其它的檢測作業上，在這里做了一個簡單的實驗來探索這個方向，實驗采用了兩種knowledge transfer的方式，一種是Direct Data Augmentation，一種是Intermediate Pretrain，可以看到，直接做資料增強的結果呈現比起原始結果的表現是要低一些的，這可能是由于MAVEN的語料與ACE語料之間domain的差異，把資料直接加進去的話表現會受到一定的影響，另一方面，Intermediate Pretrain的表現是要高一些的，證明將來可以探索怎樣開發更好的knowledge transfer的方式，

圖9：knowledge transfer的實驗表現

四、錯誤分析

除了之前的實驗，我們還對實作的模型做了錯誤分析，以期得到一些將來可以改進的方向，

第一種型別的錯誤，即假陽性和假陰性，可以看到這個型別的錯誤占錯誤比例是最高的，表明真正從文本中檢測事件語意這一步驟是非常困難的，這也是將來模型要首先攻克的方向，

而第二種型別的錯誤Event Type Mistakes，即將資料錯誤分類到另一個Event Type中,可以看到在層次化的Event Type Schema下面，父子兄弟這種比較接近的型別之間互相分錯的比例顯著高于分錯到別的型別的比例，

最后一種情況指的是，把一個資料錯誤的分類到資料量位于前50%的event type中去，可以看到這個比例非常的高，證明資料不平衡帶來了很大的影響，

圖10：錯誤分析

這些錯誤分析希望可以對大家做的模型開發有一些幫助，

總結及未來展望

首先，MAVEN是大規模的，人工標注的，具有高覆寫率的一個資料集，

其次，作者通過實證研究指出了開發新的通用域的事件檢測模型的方向，比如，可以更高的建模一句話中多個事件的聯系，可以對長尾型別做更好的理解，可以用knowledge transfer幫助一些資料量比較小的作業，在這些方向中，層次化的Event Type Schema會比較有幫助，

未來作者也計劃在MAVEN上繼續Event Argument Extraction和Event Relation Extraction的資料，從而能夠使得MAVEN變成事件語意理解的一個大平臺，

相關代碼和資料集可以從https://github.com/THU-KEG/MAVEN-dataset獲取，模型的預測結果可以在CodaLab上提交，歡迎大家多多使用，

論文原文和鏈接：

Xiaozhi Wang, et al. "MAVEN: A Massive General Domain Event Detection Dataset."

https://arxiv.org/pdf/2004.13590.pdf

e m t

往期精彩

AI i

整理：san

排版：岳白雪

審稿：王曉智

AI TIME歡迎AI領域學者投稿，期待大家剖析學科歷史發展和前沿技術，針對熱門話題，我們將邀請專家一起論道，同時，我們也長期招募優質的撰稿人，頂級的平臺需要頂級的你！

請將簡歷等資訊發至yun.he@aminer.cn！

微信聯系:AITIME_HY

AI TIME是清華大學計算機系一群關注人工智能發展，并有思想情懷的青年學者們創辦的圈子,旨在發揚科學思辨精神，邀請各界人士對人工智能理論、演算法、場景、應用的本質問題進行探索，加強思想碰撞，打造一個知識分享的聚集地，

更多資訊請掃碼關注

（直播回放：https://b23.tv/GoTxPR）

（點擊“閱讀原文”下載本次報告ppt）