中文標題相似度檢測

前言

對中文標題使用余弦相似度演算法和編輯距離相似度分析進行相似度分析，

準備資料集part1

本次使用的資料集來源于前幾年的碩士學位論文，可根據實際需要更換，結構如下所示：

學位論文題名
基于卷積神經網路的人臉識別研究
P2P流媒體視頻點播系統設計和研究
校園網安全體系的設計與實作
無線傳感器網路中基于多中繼切換的CARQ方案性能分析
RFID和VLPR技術在酒鋼智能門禁系統中的應用

...

基于MapReduce的Web鏈接結構分析演算法研究
環形交叉口混合交通流元胞自動機模型研究
細菌覓食演算法的優化及其在車間調度中的應用研究
基于多載體影像的通用隱寫分析方法研究
基于加權網路的傳染病免疫策略研究

檔案名：data.csv

編碼格式：UTF-8

import pandas as pd
data = https://www.cnblogs.com/zh-jp/p/pd.read_csv('data.csv')
data = https://www.cnblogs.com/zh-jp/p/data['學位論文題名']

準備資料集part2

分詞是一種常用的文本預處理技術，它可以為后續的文本分析和處理提供便利，例如，對于文本分類任務，可以使用分詞將文本轉換為詞的序列，然后訓練分類器來對詞的序列進行分類，

在進行分詞時，通常會去掉一些無意義的詞，稱為停詞，停詞是指那些對文本分析沒有太多意義的詞，例如，冠詞、連詞、介詞等，去除停詞可以提高分詞的準確性，并使文本分析的結果更加清晰明了，
停詞文本集結構如下所示，停詞庫根據檔案名在網上很容易找到：

$
0
1
2
3
4

...

順
順著
首先
！
，
：
；
？

檔案名：cn_stopwords.txt

編碼格式：UTF-8

with open('cn_stopwords.txt', 'r', encoding='utf-8') as f: 
    stop_words = [word.strip() for word in f.readlines()]

• 執行分詞和去停詞

import jieba
res = []
for i in data:
    ii = i
    wordCut = list(jieba.cut(ii))
    for j in wordCut:
        if j in stop_words:
            wordCut.remove(j)
    res.append(wordCut)

• 保存結果

import pickle
with open('word_cut.dat', mode='wb') as f:
    pickle.dump(res, f)

這里使用pickle保存，是因為如果使用pandas，保存的資料是帶了雙引號的（代表字串），后續處理不便，因此采用序列化存盤，

余弦相似度演算法

余弦相似度演算法是一種計算兩個向量之間相似度的方法，常用于自然語言處理和推薦系統等領域，

余弦相似度演算法的基本思想：計算兩個向量的夾角余弦值，作為它們的相似度，兩個向量的夾角余弦值越接近1，它們的相似度就越高；反之，如果兩個向量的夾角余弦值接近0，它們的相似度就越低，

加載資料

with open('word_cut.dat', mode='rb') as f:
    dwc = pickle.load(f) # dwc 意為 Data of Word Cut

使用Word2Vec模型生成單詞向量

在Word2Vec模型中，單詞被表示為一個向量，并且這些向量是通過學習單詞在背景關系中的出現概率而生成的，skip-gram和CBOW是用于訓練Word2Vec模型的兩種不同的演算法，它們都可以用來生成單詞向量，

在使用Word2Vec模型進行自然語言處理任務時，可以使用余弦相似度演算法來計算單詞向量之間的相似度，例如，可以使用余弦相似度演算法來尋找與給定單詞最相似的其他單詞，或者用來比較兩個文本之間的相似度，

需要注意的是，Word2Vec模型和余弦相似度演算法在不同的級別上操作，Word2Vec模型生成單詞向量，而余弦相似度演算法用于比較單詞向量之間的相似度，因此，它們通常被結合使用來解決自然語言處理任務，

from gensim.models import Word2Vec
model = Word2Vec(dwc, sg=1, vector_size=100, window=5, min_count=1, negative=3, sample=0.001, hs=1,
                         workers=4)

Word2Vec模型有著眾多引數，這里僅介紹用到的一部分，詳情見官方檔案

保存/加載訓練結果

model.save('model.dat')             # 保存模型
model = Word2Vec.load('model.dat')  # 加載模型

計算相似度

limit = 0.99    # 相似度閾值
k = len(dwc)
st = [] # 意為Similar Title
for i in range(k):
    for j in range(i + 1, k):
        sim = model.wv.n_similarity(dwc[i], dwc[j])  # 計算兩個標題間的相似度
        if sim > limit:     # 相似度高于閾值的加入結果
            temp = [dwc[i], dwc[j], sim]
            st.append(temp)
for i in st:
    print(i)

部分結果如下：

['卷積,神經網路,人臉識別,研究', '雙目,測距,機器人,研究', 0.99172336]
['P2P,流媒體,視頻點播,系統,設計,研究', '部隊,數字化,營區,設計,實作', 0.9933342]
['P2P,流媒體,視頻點播,系統,設計,研究', '屬性,環,簽密,NDN,敏感,資訊,保護,方案', 0.99131924]
['P2P,流媒體,視頻點播,系統,設計,研究', '社交,關系,流行病,傳播,免疫,機制,研究', 0.9944775]
['P2P,流媒體,視頻點播,系統,設計,研究', 'WSN,節能型,資料壓縮,方法,研究', 0.99563485]

編輯距離相似度演算法

演算法介紹
編輯距離相似度演算法是一種計算兩個字串之間相似度的方法，常用于自然語言處理和資訊檢索等領域，

編輯距離相似度演算法的基本思想是，計算兩個字串之間的最小編輯次數，作為它們的相似度，兩個字串之間的最小編輯次數越少，它們的相似度就越高；反之，如果兩個字串之間的最小編輯次數越多，它們的相似度就越低，

import Levenshtein
limit2 = 5     # 相似度閾值
k = len(dwc)
st2 = dict()
for i in range(k):
    for j in range(i + 1, k):
        title1 = ''.join(dwc[i])
        title2 = ''.join(dwc[j])
        sim = Levenshtein.distance(title1, title2)
        if sim < limit2:    # 相似度低于閾值的加入結果
            key = title1 + ' ' + title2
            st2[key] = sim
sim_rk = sorted(st2.items(), key=lambda x: x[1])   # 根據相似度增序排序
for i in sim_rk:
    print(i)

結果如下：

('稀疏,表示,目標,跟蹤,演算法,研究 稀疏,表示,目標,跟蹤,演算法,研究', 0)
('稀疏,表示,目標,跟蹤,演算法,研究 稀疏,表示,目標,跟蹤,方法,研究', 1)
('稀疏,表示,目標,跟蹤,方法,研究 稀疏,表示,目標,跟蹤,演算法,研究', 1)
('自,適應,有限元,方法,三維,相場,模型模擬,研究 自,適應,有限元,方法,相場,模型模擬,研究', 3)
('多,特征,融合,粒子,濾波,跟蹤,演算法,研究 特征,適應,融合,粒子,濾波,跟蹤,演算法,研究', 4)
('模糊,軟集,多,屬性,決策,方法,研究 軟集,理論,多,屬性,決策,方法,研究', 4)

總結

在Python中，使用這兩種演算法能夠簡單實作文本分析，

標籤：Python

上一篇：Python多任務教程

下一篇：01-進制之間的轉換