問答系統所需要的資料已經提供，對于每一個問題都可以找得到相應的答案，所以可以理解為每一個樣本資料是 <問題、答案>， 那系統的核心是當用戶輸入一個問題的時候，首先要找到跟這個問題最相近的已經存盤在庫里的問題，然后直接回傳相應的答案即可，
由于作者是學電氣的，這里以電力調度知識文本來構建問答系統
原始表格樣子，我準備了調度相關的205個的問題和答案，
語言：python3.7
第一步：讀取資料
import pandas as pd
import numpy as np
import jieba
import re
csv='電力調度問答.csv'
file_txt=pd.read_csv(csv, header=0,encoding='gbk')#[205 rows x 2 columns]
file_txt=file_txt.dropna()#洗掉空值[[205 rows x 2 columns]
print(file_txt.head())#查看前5行
第二步：過濾停用詞，標點符號，單字詞
中文停用詞鏈接;
nlp 中文停用詞資料集
# 定義洗掉除字母,數字，漢字以外的所有符號的函式
def remove_punctuation(line):
line = str(line)
if line.strip() == '':
return ''
rule = re.compile(u"[^a-zA-Z0-9\u4E00-\u9FA5]")
line = rule.sub('', line)
return line
#停用詞
def stopwordslist(filepath):
stopwords = [line.strip() for line in open(filepath, 'r', encoding='gbk').readlines()]
return stopwords
stopwords = stopwordslist("停用詞.txt")
#去除標點符號
file_txt['clean_review']=file_txt['問題'].apply(remove_punctuation)
#去除停用詞
file_txt['cut_review']=file_txt['clean_review'].apply(lambda x:" ".join([w for w in list(jieba.cut(x)) if w not in stopwords and len(w)>1]))
print(file_txt.head())
得到的cut_review為問題的關鍵詞資訊
查看下cut_review
第三步：文本向量化表示
因為我們是根據輸入一個問題，然后從系統里找到和用戶所題問題相似的問題，輸出答案，需要計算相似度，在這之前需要先文本向量化表示，
我采用tf-idf表示，直接匯入包使用吧，
from sklearn.feature_extraction.text import CountVectorizer#詞袋
from sklearn.feature_extraction.text import TfidfTransformer#tfidf
count_vect = CountVectorizer()
X= count_vect.fit_transform(file_txt['cut_review'])
#tf-idf
tfidf_transformer = TfidfTransformer()
X_fidf = tfidf_transformer.fit_transform(X)
print(X_fidf)
第四步：原始索引
我這里的原始索引為
{‘問題IID’:[關鍵詞1,關鍵詞2…],‘問題2ID’:[關鍵詞2,關鍵詞3…]…}
其中的ID為問題1所以的行數，即問題1為第一個問題，ID為1，
for i in range(len(file_txt)):
left, rights = i,file_txt.iloc[i]['cut_review'].split()
由于數太多，我這里修改下代碼，假設只有5個問題
for i in range(len(file_txt.head())):
left, rights = i,file_txt.iloc[i]['cut_review'].split()
print('left is ',i,'rights is ',rights)
原始索引可以不出現總代碼里，我寫出來，只是為了方便你們閱讀，
第五步：倒排索引實作
因為我們需要將用戶提出的問題和庫的問題進行相似度計算，然后回傳相似度高的問題答案， 如果我們遍歷庫的每一個問題，然后和用戶提出的問題做相似度計算，如果資料量大，則時間成本太大，
于是，這里需要倒排索引，
前文提到的原始索引為
{‘問題IID’:[關鍵詞1,關鍵詞2…],‘問題2ID’:[關鍵詞2,關鍵詞3…]…}
處理后的倒排索引為
{‘關鍵詞1’:[問題1ID],‘關鍵詞2’:[問題1ID，問題2ID…}
然后對用戶提的問題，首先先分詞，找到問題的關鍵詞，然后根據關鍵詞，找到包含該關鍵詞的所有問題ID，再把這些問題和用戶提的問題進行相似度計算，
通過倒排表，我們無需在計算相似度時遍歷庫的所有問題，只需遍歷包含用戶問題關鍵詞的問題即可，
result={}
for i in range(len(file_txt)):
left, rights = i,file_txt.iloc[i]['cut_review'].split()
for right in rights:
if right in result.keys():
result[right].append(left)
else:
result[right] = [left]
同理，由于原始資料量太大，我假設問題只有5個，這時來查看下倒排索引是什么，體驗下什么是倒排索引
result={}
for i in range(len(file_txt.head())):
left, rights = i,file_txt.iloc[i]['cut_review'].split()
for right in rights:
if right in result.keys():
result[right].append(left)
else:
result[right] = [left]
print(result)
如圖所示，在只有5個問題下，包含關鍵詞制定的問題只有1，包含關鍵詞電力企業的有問題1,3…
第六步：對用戶輸入的問題進行分詞，提取關鍵詞，找到匹配到的所有問題ID
假設用戶輸入的問題是：sentence=“中性點接地方式有哪些”
得到的關鍵詞是：[‘中性點’, ‘接地’, ‘方式’]
sentence="中性點接地方式有哪些"
clean_reviewyonghu=remove_punctuation(sentence)#去除標點
cut_reviewyonghu=[w for w in list(jieba.cut(clean_reviewyonghu)) if w not in stopwords and len(w)>1]#去除停用詞，單字詞
#print(cut_reviewyonghu)
# ['中性點', '接地', '方式']
Problem_Id=[]
for j in cut_reviewyonghu:
if j in result.keys():
Problem_Id.extend(result[j])
id=(list(set(Problem_Id)))#去重之后的ID
print(id)
得到的問題ID是
該問題在資料庫里對應的問題有17個問題
第七步：相似度計算
將用戶所提問題 “中性點接地方式有哪些” 和找到的17個問題，一一計算檔案相似度，
相似度計算有很多種方式，我在下面用的相似度計算方法，沒有用上第三步中文本向量化，
相似度計算有多種方式，具體參考我之前的一篇博客
文本相似度幾種計算方法及代碼python實作
#余弦相識度計算方法
def cosine_similarity(sentence1: str, sentence2: str) -> float:
"""
:param sentence1: s
:param sentence2:
:return: 兩句文本的相識度
"""
seg1 = [word for word in jieba.cut(sentence1) if word not in stopwords]
seg2 = [word for word in jieba.cut(sentence2) if word not in stopwords]
word_list = list(set([word for word in seg1 + seg2]))#建立詞庫
word_count_vec_1 = []
word_count_vec_2 = []
for word in word_list:
word_count_vec_1.append(seg1.count(word))#文本1統計在詞典里出現詞的次數
word_count_vec_2.append(seg2.count(word))#文本2統計在詞典里出現詞的次數
vec_1 = np.array(word_count_vec_1)
vec_2 = np.array(word_count_vec_2)
#余弦公式
num = vec_1.dot(vec_2.T)
denom = np.linalg.norm(vec_1) * np.linalg.norm(vec_2)
cos = num / denom
sim = 0.5 + 0.5 * cos
return sim
str1=sentence#用戶所提問題
similarity={}#存盤結果
if len(id)==0:
print('資料庫里沒有該問題，請重新提問')
else:
for i in id:
str2 = file_txt.iloc[i]['問題']
sim1 = cosine_similarity(str1, str2) # 余弦相識度
print('用戶所提問題和問題{0}的相似度是{1}'.format(i, sim1))
similarity[i] = sim1
print(similarity)
第八步：給出答案
將第七步得到的similarity={} 進行排序，輸出相似度最高的2個問題答案
jieguo=sorted(similarity.items(),key=lambda d:d[1],reverse=True)[:2]#降序
print(jieguo)
print('用戶所提的問題是：',sentence)
for i,j in jieguo:
print('資料庫相似的問題是{0} 答案是{1}'.format(i,file_txt.iloc[i]['答案']))
答案如下：可以發問題33的答案是我們要找的答案
完美
整理后的總代碼
import pandas as pd
import numpy as np
import jieba
import re
# 定義洗掉除字母,數字，漢字以外的所有符號的函式
def remove_punctuation(line):
line = str(line)
if line.strip() == '':
return ''
rule = re.compile(u"[^a-zA-Z0-9\u4E00-\u9FA5]")
line = rule.sub('', line)
return line
#停用詞
def stopwordslist(filepath):
stopwords = [line.strip() for line in open(filepath, 'r', encoding='gbk').readlines()]
return stopwords
#余弦相識度計算方法
def cosine_similarity(sentence1: str, sentence2: str,stopwords) -> float:
"""
:param sentence1: s
:param sentence2:
:return: 兩句文本的相識度
"""
seg1 = [word for word in jieba.cut(sentence1) if word not in stopwords ]
seg2 = [word for word in jieba.cut(sentence2) if word not in stopwords ]
word_list = list(set([word for word in seg1 + seg2]))#建立詞庫
word_count_vec_1 = []
word_count_vec_2 = []
for word in word_list:
word_count_vec_1.append(seg1.count(word))#文本1統計在詞典里出現詞的次數
word_count_vec_2.append(seg2.count(word))#文本2統計在詞典里出現詞的次數
vec_1 = np.array(word_count_vec_1)
vec_2 = np.array(word_count_vec_2)
#余弦公式
num = vec_1.dot(vec_2.T)
denom = np.linalg.norm(vec_1) * np.linalg.norm(vec_2)
cos = num / denom
sim = 0.5 + 0.5 * cos
return sim
def main():
#讀取資料
csv = '電力調度問答.csv'
file_txt = pd.read_csv(csv, header=0, encoding='gbk') # [205 rows x 2 columns]
file_txt = file_txt.dropna() # 洗掉空值[[205 rows x 2 columns]
#停用詞加載
stopwords = stopwordslist("停用詞.txt")
# 去除標點符號
file_txt['clean_review'] = file_txt['問題'].apply(remove_punctuation)
# 去除停用詞
file_txt['cut_review'] = file_txt['clean_review'].apply(
lambda x: " ".join([w for w in list(jieba.cut(x)) if w not in stopwords and len(w) > 1]))
#所有問題組合起來的倒排表 result
result = {}
for i in range(len(file_txt)):
left, rights = i, file_txt.iloc[i]['cut_review'].split()
for right in rights:
if right in result.keys():
result[right].append(left)
else:
result[right] = [left]
#用戶問題
sentence=input('請輸入問題：')
clean_reviewyonghu = remove_punctuation(sentence) # 用戶問題去除標點
cut_reviewyonghu = [w for w in list(jieba.cut(clean_reviewyonghu)) if
w not in stopwords and len(w) > 1] # 用戶問題去除停用詞，單字詞 得到關鍵詞
#print(cut_reviewyonghu)
#查找用戶問題關鍵詞在資料庫中對應的問題id
Problem_Id = []
for j in cut_reviewyonghu:
if j in result.keys():
Problem_Id.extend(result[j])
id = (list(set(Problem_Id))) # 去重之后的ID
#計算余弦相似度
str1 = sentence # 用戶所提問題
similarity = {} # 存盤結果
if len(id) == 0:
print('資料庫里沒有該問題，請重新提問')
else:
for i in id:
str2 = file_txt.iloc[i]['問題']
sim1 = cosine_similarity(str1, str2,stopwords) # 余弦相識度
# print('用戶所提問題和問題{0}的相似度是{1}'.format(i, sim1))
similarity[i] = sim1
#輸出和用戶問題相似度最高幾個問題的答案
jieguo = sorted(similarity.items(), key=lambda d: d[1], reverse=True)[:2] # 降序
print(jieguo)
print('用戶所提的問題是：', sentence)
for i, j in jieguo:
print('資料庫相似的問題是{0} 答案是{1}'.format(i, file_txt.iloc[i]['答案']))
if __name__=='__main__':
main()
總結
這是一個簡單的問答系統，現實生活中，該業務應該還包含語音
即先語音轉換為文字， 然后 文本糾錯，最后再進行問答系統，
我們需要的維護的就是資料庫中的問題（即對應本文的問題答案表格）
問題越多，該問題系統效果就越好，
如果需要提升效果和速度，可以再修改停用詞（本文給出的停用詞針對所有文本，不是專門為電力設計的），使最后得到的關鍵詞只包含電力領域的詞，
再者修改結巴分詞，使有的詞不被分成單字，
可以再封裝為軟體，懶得再動手封裝為界面軟體啦，就不演示啦，
如果只做到倒排索引那一步即根據用戶提出的問題，在資料庫里找到啦相似問題，然后把相似問題和答案 一一展現出來就是一個搜索系統（類似于百度，輸入一句話，彈出一大堆相關得東西）
電氣工程的計算機萌新：余登武，寫博文不容易，如果你覺得本文對你有用，請點個贊支持下，謝謝
我一個學電氣的，怎么懂得這些，唉
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/152468.html
標籤：AI