最近接了老師一個專案，在做一個在線教育平臺，在線考試模塊要實作一個主觀題自動評分的功能，這個功能說簡單也簡單，就是關鍵字匹配，說難確實很難，文本相似度匹配這種東西，往深了挖就是人工智能，自然語言處理的范疇了，搞得很難受。我分析了，主觀題評分的大致步驟，在人工評分的時候，會先找關鍵字，找到采分點，然后根據采分點，分析句子語意是否通順，然后給出分數。我在網上找了一些文本相似度匹配的演算法，大概有這么幾種，余弦相似性演算法，杰卡德系數演算法，編輯距離演算法，目前能看懂并實作的就這三個。
我的思路是，教師在使用系統中出卷時，預先設計好標準答案，并設定好關鍵字。然后就是關鍵字匹配了。先進行關鍵字匹配，如果一個關鍵字都匹配不到就直接0分。匹配到關鍵字就進行下一步，文本相似度匹配，相似度達95%以上，接著進行下一步，句子語意分析，看語法是否通順。三步都滿足的話就，滿分。如果相似度95%以下，也進行句子語意分析，不過最后得分按照總分乘以文本相似度的百分比得出最后分數。
最后得出的分數標記為原始成績，學生可以查看到原始成績，原始成績存在一天，在此期間，教師可以對試卷進行復評，查看自動評分是否合理，如果不滿意可以修改評分，最終以教師復評的分數為準得出有效成績。如果教師未對試卷進行復評，原始成績自動轉換成有效成績。 同時讓系統自動記錄試題滿分的答案，存盤在資料庫中，在下次進行匹配的時候也將改答案納入標準答案進行匹配。讓系統具備學習能力。
這是我的想法，想看看大家還有沒有更好的想法。而且我的這種設計還存在一個問題，如果讓系統具備學習能力，那么隨著時間的推進，標準答案記錄的增多，每次匹配的時間也是一個巨大消耗，不知道大家有沒有好的辦法。
uj5u.com熱心網友回復：
這個可以，有搞頭。。不過任何主觀題的規則都有可能被聰明的考生破解。。
uj5u.com熱心網友回復：
沒辦法啊
畢竟計算機不是人，對自然語言的理解沒有人那么靈活
uj5u.com熱心網友回復：
這個需求就是NLP啊，可以嘗試一下最新的深度學習演算法，lstm之類的，會有意外驚喜。uj5u.com熱心網友回復：
那玩意研究不來??，現在能力還達不到那個地步，雖然感覺很高端，但是太難了，腦子不夠用
uj5u.com熱心網友回復：
對回答進行分段，分句，然后分詞后計算（段。句）的向量，比較和標準答案的距離
uj5u.com熱心網友回復：
我用了HanLP分詞工具對答案進行分詞，然后用余弦演算法，編輯距離和杰卡德演算法計算相似度，但是三種演算法計算的相似度差異很大，很頭疼，不知道比例怎么控制。這玩意好麻煩uj5u.com熱心網友回復：
余弦這種傳統方法結果差，運算量會隨著詞匯量指數級增長，所以大家都放棄了。新的方法實際上沒有想象那么難，而且你搞NLP的是僥不過LSTM這道坎的，除非你后面不做這行了。
uj5u.com熱心網友回復：
這個...有難度, 如果是寫作文就基本評不出來了...閱讀理解之類的也不好說.uj5u.com熱心網友回復：
bert+attentionuj5u.com熱心網友回復：
uj5u.com熱心網友回復：
這個可以的
uj5u.com熱心網友回復：
圍觀，最近也在搞nlp，學習一下。覺得這個很有難度很有意義uj5u.com熱心網友回復：
https://img.uj5u.com/2020/09/18/95368172357153.gifuj5u.com熱心網友回復：
圍觀中，字數還要15字？？？uj5u.com熱心網友回復：
太難了，我一個搞java的，實作這玩意是真的難uj5u.com熱心網友回復：
謝謝uj5u.com熱心網友回復：
歡迎加入pythonuj5u.com熱心網友回復：
冒泡
uj5u.com熱心網友回復：
開發階段 用python快一些，但是運行效率低。最終運行時候 ，可以再重構到java上跑uj5u.com熱心網友回復：
/*In information theory and computer science, the Damerau–Levenshtein distance
(named after Frederick J. Damerau and Vladimir I. Levenshtein) is a "distance"
(string metric) between two strings, i.e., finite sequence of symbols, given by
counting the minimum number of operations needed to transform one string into the other,
where an operation is defined as an insertion, deletion, or substitution of a single character,
or a transposition of two adjacent characters.
兩個字符序列的DL距離，就是從一個變換到另一個的最小操作次數。這個變換包括插入一個字符、洗掉一個字符、
替換一個字符、或互換兩個相鄰字符。
而所謂“編輯距離(edit distance，或叫Levenshtein distance)”，并不包含互換兩個相鄰字符。
還有計算字串相似度的函式 StringSimilarityRatio(Str1, Str2, IgnoreCase): Double;
回傳值在0到1之間，0表示不相似，1表示完全相似。
*/
float DamerauLevenshteinDistance(CString source, CString target)
{
float similarity=0;
int **H,m,n;
CString From, To;
int i,j;
if (source.IsEmpty())
{
if (target.IsEmpty())
{
similarity = 1;
return 0;
}
else
{
similarity = 0;
return (float)target.GetLength();
}
}
else if (target.IsEmpty())
{
similarity = 0;
return (float)source.GetLength();
}
//
From = source;
To = target;
// 初始化
m = From.GetLength();
n = To.GetLength();
//
H = new int* [m+1];
for(i=0;i <= m;i++)//not n
H[i]=new int[n+1];
for(i = 0; i <= m; i++)
H[i][0] = i;
for(j = 1; j <= n; j++)
H[0][j] = j;
// 迭代
for (i = 1; i <= m; i++)
{
char SI=From.GetAt(i-1);
for (j = 1; j <= n; j++)
{ // 洗掉 插入 替換
char DJ=To.GetAt(j-1);
if (SI == DJ)
{
H[i][ j] = H[i - 1][ j - 1];
}
else
{
H[i] [j] = min(H[i - 1][j - 1], min(H[i - 1][j], H[i][j - 1]))+ 1;
}
if (i > 1 && j > 1)
{
int ii = From.Mid (i - 2, i - 1).Find(DJ);
if (ii != -1)
{
int jj=To.Mid (j - 2, j - 1).Find(SI);
if (jj != -1)
{ //將源串i1到i-1內的字符洗掉，然后交換i1和i-1的字符，再加上目標串j1到j-1內的字符
H[i][ j] =min(H[i][ j], H[ii][ jj] + (i - ii - 2) + 1 + (j - jj - 2));
}
}
}
}
}
// 計算相似度
int MaxLength = max(m, n); // 兩字串的最大長度
similarity = float((MaxLength - H[m][n]))/ float(MaxLength);
//
for(i=0;i <= m; i++)// not n
{
// afxDump << *H[i] << "\r\n";//0->7
delete[] H[i];
}
delete[] H;
//
// afxDump << similarity << "\r\n";
return similarity ; // 編輯距離
}
uj5u.com熱心網友回復：
可以可以
哈哈啊哈你弄的吧
uj5u.com熱心網友回復：
可以可以，很厲害uj5u.com熱心網友回復：
這個沒有搜索引擎開發經驗還真不好搞uj5u.com熱心網友回復：
bert+attention？uj5u.com熱心網友回復：
這個有點東西啊
uj5u.com熱心網友回復：
這個可以的
uj5u.com熱心網友回復：
這個有難度啊，害怕uj5u.com熱心網友回復：
1.用20樓的編輯距離演算法。2.搜索相似問題：我用Lucene全文索引。
uj5u.com熱心網友回復：
圍觀中。湊滿uj5u.com熱心網友回復：
小白提問，樓主的這個文本處理，如果物件分別是中文、英文，是否難度不一樣？英文作為邏輯型語言，在處理起來是否更迅速，準確率更高？uj5u.com熱心網友回復：
我沒有特別研究個，不過我覺得這個肯定是有區別的，用英文的話進行分詞處理的時候可能會，因為英陳述句子每個單詞有空格隔開，但是咱們漢語不一樣，咱們漢語太靈活了，有時候一個詞可能就有好幾種詞性和意思，甚至幾個詞湊一塊都能成句子，所以我感覺中文處理起來應該比英語速度要慢一點
uj5u.com熱心網友回復：
會不會有誤判抄襲，答案雷同uj5u.com熱心網友回復：
一些文本相似度處理的技術本來就可以用來防作弊，還有就是相似文章推薦的一些應用推薦
uj5u.com熱心網友回復：
我這里只是主觀題打分，沒有做防作弊的設計
uj5u.com熱心網友回復：
用阿里云產品uj5u.com熱心網友回復：
試試BAT幾家的云平臺提供的人工智能服務里的NLP介面吧，這個最簡單，也最好使。uj5u.com熱心網友回復：
研究過，調我肯定是最簡單的方法，主要是想看看不調介面介面怎么實作
uj5u.com熱心網友回復：
百度AI里就有相似度計算介面，你可以試下。uj5u.com熱心網友回復：
6666666666666uj5u.com熱心網友回復：
樓主是什么語言？php可以使用similar_text函式匹配相似度uj5u.com熱心網友回復：
標準答案記錄的增多，每次匹配的時間也是一個巨大消耗==>
這種耗時操作，可以用C語言生成非托管dll，java呼叫dll
uj5u.com熱心網友回復：
這種演算法，用python好點，java的話每匹配一份都是一個巨大的消耗，資料量大的話，一天也配不完uj5u.com熱心網友回復：
好的，謝謝，我研究一下uj5u.com熱心網友回復：
拆分開來，一字一句的搞，，，，
uj5u.com熱心網友回復：
不錯不錯，很厲害uj5u.com熱心網友回復：
既然是主觀，你怎么還設定客觀的標準答案吖uj5u.com熱心網友回復：
這方面研究很難。uj5u.com熱心網友回復：
新手學習Java，多看多想多學習uj5u.com熱心網友回復：
因為不管什么題都要一個答案，主觀題標準答案，只是一個打分的參考，不然沒有一個統一的標準，任何人都可以說自己的答案是標準答案。除了一些極其特別的主觀題，比如就像寫作文那種，那種沒有，像一些簡單題，論述題，都有一個標準答案中作為判斷給分標準，越貼近標準答案，分越高。老師們改卷子不就這樣改的。uj5u.com熱心網友回復：
感覺好難1、語法，語意檢查就非常的困難。因為中文不像編程語言，有嚴格的語法。比如：你吃完飯了嗎？你飯吃完了嗎？飯你吃完了嗎？這三句話應該都算是正常的吧，現在已經有演算法能做到中文的語法檢查了嗎？我沒有接觸過，不太清楚這點。
2、關鍵字檢測，這個怎么處理近義詞？珠峰是世界第一高峰。珠峰是地球最高山峰。這兩個答案應該一樣的，世界第一高峰和地球最高山峰，這里面差了好多字，關鍵字要怎么列？列出所有你能想象出來的嗎？要是還是漏了呢？
uj5u.com熱心網友回復：
所以說主觀是出題人的主觀！
uj5u.com熱心網友回復：
如果能夠依靠機器閱卷，那就不是主觀題了。既然是主觀題就應該沒有標準答案的。uj5u.com熱心網友回復：
這方面研究很難。！！！uj5u.com熱心網友回復：
我是來學習的。uj5u.com熱心網友回復：
所以應試教育你也沒辦法，考試從來就是和出題人的博弈
，而不是自己想怎么寫就怎么寫
uj5u.com熱心網友回復：
只能說盡力了，這方面研究進步還十分緩慢，我也只是簡單實作一下，能考慮多少就考慮多少了
uj5u.com熱心網友回復：
因為涉及到自然語言處理也算是人工智能的一個研究方向了。這段時間看了好多關于自然語言處理的內容，AI領域對這種問題的有好多中處理方法，但是目前都打不到完全模仿人來處理。uj5u.com熱心網友回復：
先關注后學習
uj5u.com熱心網友回復：
雖然我沒有特別研究個， 不過我覺得這個肯定是有區別的，用英文的話進行分詞處理的時候可能會，因為英陳述句子每個單詞有空格隔開，但是咱們漢語不一樣，咱們漢語太靈活了，有時候一個詞可能就有好幾種詞性和意思，甚至幾個詞湊一塊都能成句子，所以我感覺中文處理起來應該比英語速度要慢一點既然有此問題
uj5u.com熱心網友回復：
看起來真的是挺難uj5u.com熱心網友回復：
針對這個專案，不建議搞那么復雜，直接kmp結束。私下研究，推薦用HanLP，需要大量文本訓練。uj5u.com熱心網友回復：
用余弦相似度效果比較好uj5u.com熱心網友回復：
老師給出標準答案，即label，學生寫的就是pred，計算兩者之間的相似度對嘛？可以嘗試Bert embedding，即每句輸出一個對應的embedding向量，接著直接cosine或其它計算兩者的相似度，即學生的得分。
uj5u.com熱心網友回復：
這需求Java難搞啊uj5u.com熱心網友回復：
這個有點厲害。。。看著就不會。。uj5u.com熱心網友回復：
NLP不是一天兩天能搞定的，難搞uj5u.com熱心網友回復：
這方面研究起來還是有點困哪的。uj5u.com熱心網友回復：
分詞來做。。。。uj5u.com熱心網友回復：
圍觀中。湊滿uj5u.com熱心網友回復：
可以利用word2vec轉一下嗎，然后再計算相似度。或者直接使用bert是否不知是否可行。uj5u.com熱心網友回復：
每一篇文章，一個字或者幾個字符全文搜索匹配uj5u.com熱心網友回復：
我的畢業設計就頭大的不行，你加油吧uj5u.com熱心網友回復：
同為20屆畢業，加油
uj5u.com熱心網友回復：
你這個用java不好解決。uj5u.com熱心網友回復：
進行關鍵字匹配可以，但是一定要考慮到陳述句中否定字、否定詞的存在。因為可能學生答案中你要的關鍵詞都存在，但是他的答案中還有不該存在的否定字詞。這個會給整個陳述句的語意帶來翻天覆地的變化，不能因為關鍵詞都在就直接判滿分，這種情況下應當不給分或酌情給分。例如，
問題：地球是什么？
關鍵詞：地球，天體
標準答案：地球是一個天體。
學生答案：
（情況1）地球是太陽系八大行星之一，是非天體的存在。
（情況2）地球是太陽系八大行星之一，地球不是天體。
可以看到，上面兩種情況都是應該不給分的。
而且這只是最簡單的情況，還有很多情況像動詞、形容詞、副詞等的雙重否定或反義詞的否定與原詞的相似性搭配。
uj5u.com熱心網友回復：
禿頭不都是標配嗎？uj5u.com熱心網友回復：
可以參考下這個 https://blog.csdn.net/JavaReact/article/details/82144732uj5u.com熱心網友回復：
說實話，說簡單也難uj5u.com熱心網友回復：
圍觀(←←)uj5u.com熱心網友回復：
123456uj5u.com熱心網友回復：
艱難啊！！！！！uj5u.com熱心網友回復：
挺好的啊，不錯呀轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/69347.html
標籤：Java EE