K近鄰演算法（KNN，K-NearestNeighbor）是機器學習或資料分析中最基礎、也是最簡單的演算法之一，這個演算法的思路就如同它字面上的意思“K個最近的鄰居”，想要得到某個樣本的某個特征的值（一個樣本通常有多個特征），就需要找到距離它最近的K個樣本，然后根據這些樣本的該特征的近似值作為它的特征值，
樣本和特征：通常來講，可以理解為一個表格資料中一行資料為一個樣本，一列資料為這個樣本的一個特征，就像資料庫中的記錄和欄位的關系，
距離和K值：這個演算法的關鍵點在于距離的計算方法和K值的選取，距離的計算方式可以根據實際情況自定義，比如使用兩個樣本的某個特征值的差值絕對值作為這兩個樣本之間的距離，也可以使用比較通用的歐式距離計算方式，或者直接使用某些庫自帶的距離計算方式，如scipy庫中就有計算距離的方法“from scipy.spatial import distance”，這幾種距離的計算方式在本文示例中都有講解，可以參考下，關于K值的選取，通常不宜過大，K值太大時，準確率會隨之降低，通常選擇3-10就足夠了，
優點和缺點：優點就是思路簡單，易于實作，理解了這個演算法后，可以不用復雜的公式也能計算出來，缺點是需要計算每個樣本與自身之間的距離，當樣本數量較大時，計算量也隨之增大，而且當樣本之間的特征不平衡時，得出的結果的偏差也會隨之增大，
注：機器學習中會涉及許多數學中的概念，如果有不清楚的地方，可能是學過但忘了，也可能是以前就沒接觸過，可以再去復習一下，或者干脆就重新學習一下，本文就不再詳細講解了，
本文將根據一個示例來實作和講解K近鄰演算法，示例的需求是這樣的：我手中有一套房子需要出租，但是價格不知道定為多少是最合適的，現在需要參考其他房東的出租資訊來制定我的出租價格，示例將分為以下幾部分內容來講解：
- KNN演算法實作
- 模型評估
- 基于多變數KNN模型
KNN演算法實作
- 資料準備
需要準備的資料為其他房東的出租資料，我們將會根據這些資料作為參考得出自己房子的合適出租價格，這里準備的少量資料只是為了演示用，實際上應該多準備一些資料，得出的價格才能更加精確，
import pandas as pd
# 假設這些是我們獲取到的租房資訊
rental_info = {
'url': ['https://www.airbnb.com/rooms/975833', 'https://www.airbnb.com/rooms/295345', 'https://www.airbnb.com/rooms/295346',
'https://www.airbnb.com/rooms/333613', 'https://www.airbnb.com/rooms/805961', 'https://www.airbnb.com/rooms/7087327',
'https://www.airbnb.com/rooms/8249488', 'https://www.airbnb.com/rooms/8409022', 'https://www.airbnb.com/rooms/8411173',
'https://www.airbnb.com/rooms/8634774', 'https://www.airbnb.com/rooms/8498095', 'https://www.airbnb.com/rooms/8513660',
'https://www.airbnb.com/rooms/8298145', 'https://www.airbnb.com/rooms/1745866', 'https://www.airbnb.com/rooms/7678268',
'https://www.airbnb.com/rooms/8457865', 'https://www.airbnb.com/rooms/6757134', 'https://www.airbnb.com/rooms/8479636',
'https://www.airbnb.com/rooms/2310297', 'https://www.airbnb.com/rooms/6556520', 'https://www.airbnb.com/rooms/8519782',
'https://www.airbnb.com/rooms/8606980', 'https://www.airbnb.com/rooms/8485995', 'https://www.airbnb.com/rooms/8607216',
'https://www.airbnb.com/rooms/8568945', 'https://www.airbnb.com/rooms/1026034', 'https://www.airbnb.com/rooms/2486785',
'https://www.airbnb.com/rooms/1822257', 'https://www.airbnb.com/rooms/5220279', 'https://www.airbnb.com/rooms/3419118'],
'name': ['Historic DC Condo-Walk to Capitol!', 'Spacious Capitol Hill Townhouse', 'Spacious/private room for single',
'A wonderful bedroom with library', 'Downtown Silver Spring', 'Exclusive Catamaran Houseboat',
'Cozy DC Condo, Close to Metro!', 'Warm and Cozy 1 Bedroom Apt', 'Private room for rent',
'Elite Room w/private bath Eden Park', 'Takoma Comfort, DC Convenience', 'Great Penthouse View! Metro in 7min',
'Sunny & Conveniently Located!', 'Beautiful Private High-Rise Apt', 'Renaissance Rm shared bath Eden PK',
'Cozy private second floor', 'Cheap room near Fort Totten Metro', 'Near Washington,DC',
'Sweet basement suite apartment', 'Etta Mae Inn B&B - The Kiera room', 'All the comfort you need.',
'Etta Mae Inn B&B - The Phoenix room', 'Sunny Cape Cod minutes from DC', 'CHIC DC URBAN RETREAT',
'Perfect studio in VERY central DC', 'Logan Circle Loft 1bedroom, 1.5bath', 'Updated 2BD Rowhome Steps to Metro',
'Cozy Apt in the Heart of Hipsterdom', 'Beautiful room in amazing location!', 'Clean Studio - Next to Conv Center!'],
'host_id': [15830506, 5338703, 1487418, 16970249, 30369828, 951119, 4628, 3671500, 5159038, 347309, 9188872, 21704152,
44519208, 3736766, 347309, 44659281, 11798122, 34290236, 4218349, 45276150, 44546458, 45276150, 2245859,
966914, 2070536, 12725500, 9540128, 22207701, 12772446, 4240274],
'accommodates': [4, 6, 1, 2, 4, 4, 4, 2, 2, 2, 4, 1, 2, 2, 2, 2, 1, 2, 4, 2, 2, 2, 7, 1, 4, 4, 3, 4, 2, 2],
'bedrooms': [4, 6, 1, 2, 4, 4, 4, 2, 2, 2, 4, 1, 2, 2, 2, 2, 1, 2, 4, 2, 2, 2, 7, 1, 4, 4, 3, 4, 2, 2],
'bathrooms': [1, 3, 2, 1, 1, 1, 2, 1, 1.5, 2, 1.5, 1, 1, 1, 2, 1, 1, 1, 1, 1, 1, 1, 3, 1, 1, 1.5, 1, 1, 1, 1],
'beds': [2, 3, 1, 1, 1, 4, 2, 1, 1, 1, 2, 1, 1, 1, 1, 1, 1, 2, 2, 1, 1, 1, 3, 1, 2, 1, 2, 2, 1, 1],
'price': ['$160.00 ', '$350.00 ', '$50.00 ', '$95.00 ', '$50.00 ', '$99.00 ', '$100.00 ', '$100.00 ', '$38.00 ',
'$71.00 ', '$97.00 ', '$55.00 ', '$50.00 ', '$99.00 ', '$60.00 ', '$52.00 ', '$23.00 ', '$200.00 ',
'$40.00 ', '$135.00 ', '$100.00 ', '$225.00 ', '$129.00 ', '$149.00 ', '$150.00 ', '$175.00 ', '$239.00 ',
'$65.00 ', '$71.00 ', '$80.00 '],
'minimum_nights': [1, 2, 2, 1, 7, 1, 3, 1, 2, 2, 4, 3, 2, 7, 2, 1, 1, 1, 1, 1, 1, 1, 14, 3, 2, 1, 5, 2, 2, 1],
'maximum_nights': [1125, 30, 1125, 1125, 1125, 1125, 1125, 1125, 180, 365, 1125, 1125, 14, 1125, 1125, 1125,
1125, 1125, 1125, 1125, 1125, 1125, 1125, 31, 365, 1125, 1125, 1125, 14, 1125],
'number_of_reviews': [0, 65, 1, 0, 0, 0, 0, 0, 1, 4, 5, 1, 0, 0, 2, 1, 1, 0, 0, 0, 0, 0, 0, 46, 84, 25, 4, 2, 83, 19],
'cleaning_fee': ['$115.00 ', '$100.00 ', '$100.00', '$15.00 ', '$15.00 ', '$50.00 ', '$50.00 ', '$10.00 ',
'$10.00 ', '$10.00 ', '$50.00 ', '$20.00 ', '$20.00 ', '$125.00 ', '$10.00 ', '$5.00', '$5.00 ',
'$99.00 ', '$99.00 ', '$99.00 ', '$99.00 ', '$99.00 ', '$99.00 ', '$30.00 ', '$30.00 ', '$25.00 ',
'$50.00 ', '$12.00 ', '$12.00 ', '$12.00 '],
'zipcode': [20003, 20003, 20782, 20024, 20910, 20024, 20012, 20712, 20743, 20912, 20912, 20910, 20910, 20910,
20912, 20712, 20782, 20910, 20712, 20912, 20712, 20912, 20912, 20008, 20005, 20005, 20001, 20001, 20001, 20001]
}
# 如果資料是存放在類似csv格式的文本檔案中，可以使用pd.read_csv('xxx.csv')來讀取資料
rental_df = pd.DataFrame(rental_info)
# 選取我們需要參考的資訊：accommodates（可以容納的房客數量），bedrooms（臥室數量），bathrooms（衛生間數量），
# beds（床的數量），price（房租價格），minimum_nights（房客最少租了多少天），maximum_nights（房客最多租了多少天），
# number_of_reviews（評論數量）
key_info = ['accommodates', 'bedrooms', 'bathrooms', 'beds', 'price', 'minimum_nights', 'maximum_nights', 'number_of_reviews']
keyinfo_df = rental_df[key_info]
# 查看前五條資料
keyinfo_df.head()
- 距離計算
假設我們以臥室數量作為參考，我們自己的房子有4個臥室，那么我們的房子與其他房東的房子的距離可以使用歐式距離計算方式，由于我們只有臥室數量這個單一變數，所以就可以簡單計算為兩者數量的差的絕對值，歐式距離公式如下：
注：其中q1-qn為一條資料（樣本）的n個特征資訊，p1-pn為另一條資料（樣本）的特征資訊，由此公式便可同時根據多個變數（多個特征）計算出兩個樣本之間的距離，
import numpy as np
my_bedrooms = 4
# 新加一列用以存放其他的房子與我們自己房子的距離
keyinfo_df['distance'] = np.abs(keyinfo_df['accommodates'] - my_bedrooms)
# 統計這些距離值并排序，以便查看
print(keyinfo_df['distance'].value_counts().sort_index())
keyinfo_df.head()
可以看出，與我們房子的臥室數量相同的有9個，
- 選擇K個近鄰算出價格
我們這里指定K=5，即選擇5個與我們距離最近的房子作為參考，并算出近似值作為我們出租房子的參考價格，
# 將價格列的字串去掉$符并轉換為float型別
keyinfo_df['price'] = keyinfo_df['price'].str.replace('$', '').astype(float)
# sample函式具有“洗牌”的功能，先打亂資料的順序，再回傳指定的資料量，frac=1表示回傳100%的資料，random_state為亂數種子
keyinfo_df = keyinfo_df.sample(frac=1, random_state=0)
# 按照distance列排序
keyinfo_df = keyinfo_df.sort_values('distance')
# 這里近似值的演算法我們采用求平均的方式，即選擇與我們距離最近的5個房子的價格計算平均值
my_price = keyinfo_df['price'].iloc[:5].mean()
my_price
輸出結果：105.8
結論：以臥室數量作為參考，我們可以將房子的出租價格定在105.8左右，
模型評估
模型即我們的這個演算法，對于上面這種實作方式，到底可不可靠？在不同的資料中計算得出的結果的誤差有多大？這就是模型評估需要做的事，
為了評估模型（演算法），我們需要將資料打亂之后分為兩組，一組作為訓練集（資料量占比較大），一組作為測驗集（資料量占比較小），訓練集資料用來優化改進我們的演算法模型，測驗集用來驗證我們的演算法模型，
驗證方法為通過計算我們測驗集資料得出的結果與測驗集中原本的實際資料之間的誤差來驗證演算法模型的可靠性，誤差越小，則越可靠，這里我們采用的誤差計算方式為均方根誤差（RMSE，Root Mean Squared Error），計算公式如下：
注：actual表示實際值，predicted表示預測出來的值，1-n表示不同的樣本，最終的值表示通過多個樣本計算出來總體誤差值，
keyinfo_df = keyinfo_df.sample(frac=1, random_state=0) # 再次打亂資料
keyinfo_df.drop('distance', axis=1) # 洗掉distance列
train_df = keyinfo_df.copy().iloc[:20] # 選取前20條資料作為訓練集
test_df = keyinfo_df.copy().iloc[20:] # 選取后10條資料作為測驗集
def predict_price(feature_value, feature_name):
"""
根據特征值feature_value，在訓練集中根據指定特征feature_name得出預測的價格
"""
temp_df = train_df
temp_df['distance'] = np.abs(temp_df[feature_name] - feature_value)
temp_df = temp_df.sort_values('distance')
my_price = temp_df['price'].iloc[:5].mean()
return my_price
# 以測驗集中的每條資料的臥室數量作為“我們自己的房子的臥室數量”，去訓練集中計算得出參考價格
test_df['my_price'] = test_df['accommodates'].apply(predict_price, feature_name='accommodates')
# 根據公式計算均方根誤差
test_df['squared_price'] = (test_df['price'] - test_df['my_price']) ** 2
mean_value = https://www.cnblogs.com/guyuyun/p/test_df['squared_price'].mean()
rmse = mean_value ** (1/2)
rmse
輸出結果：101.82695124572865
單個誤差值看不出什么意義，需要多個特征之間誤差值聯合起來一起看才有意義，誤差值更小的那種計算方式通常更為可靠，
# 根據多個特征分別計算這種演算法模型的均方根誤差
for feature in ['accommodates','bedrooms','bathrooms','number_of_reviews']:
test_df['my_price'] = test_df[feature].apply(predict_price, feature_name=feature)
test_df['squared_price'] = (test_df['price'] - test_df['my_price']) ** 2
mean_value = https://www.cnblogs.com/guyuyun/p/test_df['squared_price'].mean()
rmse = mean_value ** (1/2)
print('{}: {}'.format(feature, rmse))
accommodates: 101.82695124572865
bedrooms: 101.82695124572865
bathrooms: 99.81280478976633
number_of_reviews: 87.14700224333595
基于多變數KNN模型
基于多變數的KNN模型意思是同時參考多個特征來選取距離自己最近的K個樣本，即需要同時參考多個特征來計算與自己的距離，這種情況通常不會再自己寫計算距離的演算法了，而是借助于其他已經實作好的庫，比如scipy庫中的distance模塊“scipy.spatial.distance”或者sklearn庫中的neighbors模塊“sklearn.neighbors”，以下就來介紹一下如何使用這兩個庫來實作KNN演算法，
- 資料準備：標準化和歸一化
# 重新獲取資料
key_info = ['accommodates', 'bedrooms', 'bathrooms', 'beds', 'price', 'minimum_nights', 'maximum_nights', 'number_of_reviews']
keyinfo_df = rental_df[key_info]
keyinfo_df['price'] = keyinfo_df['price'].str.replace('$', '').astype(float)
keyinfo_df.head()
from sklearn.preprocessing import StandardScaler
# 去除資料中的空值，示例中雖然沒有空值，但實際操作中應該有這一步，至少要處理一下空值
keyinfo_df = keyinfo_df.dropna()
# 將資料歸一化和標準化，這里采用的處理方式是StandardScaler中的fit_transform方法，即均值方差歸一化
# 這種歸一化方法會使得資料集的方差為1，均值為0，符合標準正態分布，公式為：X=(x-μ)/σ
# 可以發現處理后的資料它們之間的差值變小了，這樣的話使用歐式距離計算的誤差就會更小了
keyinfo_df[key_info] = StandardScaler().fit_transform(keyinfo_df[key_info])
# 這里只是另外起一個變數名稱，表示它已經是標準化的資料了
normalized_df = keyinfo_df
normalized_df.head()
- 使用scipy.spatial.distance計算距離
scipy庫中的distance模塊有多種計算距離的方法，這里使用cdist()方法進行計算，這個方法默認也是采用歐氏距離的計算方式，當然也可以通過指定metric引數更換距離計算方式，具體支持的距離計算方式可以自行去查閱API檔案，這里就不單獨介紹了，
from scipy.spatial import distance
normal_train_df = normalized_df.copy().iloc[:20]
normal_test_df = normalized_df.copy().iloc[20:]
def predict_price_multi(feature_values, feature_names):
"""
根據多個特征值feature_values，在訓練集中根據指定的多個特征feature_names得出預測的價格
"""
temp_df = normal_train_df
# distance.cdist用于計算兩組資料之間的距離，可使用metric引數指定距離的計算方式，默認為euclidean（歐幾里得距離，即歐式距離）
temp_df['distance'] = distance.cdist(temp_df[features], [feature_values[feature_names]])
temp_df = temp_df.sort_values('distance')
my_price = temp_df['price'].iloc[:5].mean()
return my_price
# 同時使用多個特征參與距離的計算
features = ['accommodates', 'bedrooms', 'bathrooms']
normal_test_df['my_price'] = normal_test_df[features].apply(predict_price_multi, feature_names=features, axis=1)
# 根據公式計算均方根誤差
normal_test_df['squared_price'] = (normal_test_df['price'] - normal_test_df['my_price']) ** 2
mean_value = https://www.cnblogs.com/guyuyun/p/normal_test_df['squared_price'].mean()
rmse = mean_value ** (1/2)
rmse
輸出結果：0.925497918931224
注：可以看到，通過資料的標準化和歸一化，最后計算出來的均方根誤差值完全不一樣了，小了很多，這樣也能更符合我們對于誤差的比較和判斷方式了，
- 使用sklearn.neighbors實作KNN
sklearn庫是Python中機器學習的庫，大多機器學習的操作和演算法在sklearn中都能找到，當然也包括KNN演算法，而且都已經封裝好了，我們只需要拿來用就行了，
from sklearn.neighbors import KNeighborsRegressor
from sklearn.metrics import mean_squared_error
features = ['accommodates', 'bedrooms', 'bathrooms']
# 創建一個KNN回歸器，默認k=5，即引數n_neighbors=5
knr = KNeighborsRegressor()
# 傳入訓練集和目標值
knr.fit(normal_train_df[features], normal_train_df['price'])
# 根據提供的測驗集算出目標值
feature_predict = knr.predict(normal_test_df[features])
# 計算均方根誤差
mse = mean_squared_error(normal_test_df['price'], feature_predict)
rmse = mse ** (1/2)
rmse
輸出結果：1.139347164704861
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/79383.html
標籤：Python
上一篇：發送郵件
下一篇：介面測驗怎么做