2.特征工程

2.1 資料集

2.1.1 可用資料集

Kaggle網址：https://www.kaggle.com/datasets

UCI資料集網址： http://archive.ics.uci.edu/ml/

scikit-learn網址：http://scikit-learn.org/stable/datasets/index.html#datasets

2.1.2 安裝scikit-learn工具

pip3 install Scikit-learn==0.19.1

安裝好之后可以通過以下命令查看是否安裝成功

import sklearn

注：安裝scikit-learn需要Numpy, Scipy等庫

• 分類、聚類、回歸
• 特征工程
• 模型選擇、調優

2.1.3 sklearn資料集

1 scikit-learn資料集API介紹

• sklearn.datasets
  • 加載獲取流行資料集
  • datasets.load_*()
    • 獲取小規模資料集，資料包含在datasets里
  • datasets.fetch_*(data_home=None)
    • 獲取大規模資料集，需要從網路上下載，函式的第一個引數是data_home，表示資料集下載的目錄,默認是 ~/scikit_learn_data/

2 sklearn小資料集

• sklearn.datasets.load_iris()

  加載并回傳鳶尾花資料集

• sklearn.datasets.load_boston()

  加載并回傳波士頓房價資料集

3 sklearn大資料集

• sklearn.datasets.fetch_20newsgroups(data_home=None,subset=‘train’)
  • subset：'train'或者'test'，'all'，可選，選擇要加載的資料集，
  • 訓練集的“訓練”，測驗集的“測驗”，兩者的“全部”，

4 sklearn資料集回傳值介紹

• load和fetch

  回傳的資料型別datasets.base.Bunch(字典格式)

  • data：特征資料陣列，是 [n_samples * n_features] 的二維 numpy.ndarray 陣列
  • target：標簽陣列，是 n_samples 的一維 numpy.ndarray 陣列
  • DESCR：資料描述
  • feature_names：特征名,新聞資料，手寫數字、回歸資料集沒有
  • target_names：標簽名

2.1.4 資料集劃分

機器學習一般的資料集會劃分為兩個部分：

• 訓練資料：用于訓練，構建模型
• 測驗資料：在模型檢驗時使用，用于評估模型是否有效

劃分比例：

• 訓練集：70% 80% 75%
• 測驗集：30% 20% 25%

資料集劃分api

• sklearn.model_selection.train_test_split(arrays, *options)
  • x 資料集的特征值
  • y 資料集的標簽值
  • test_size 測驗集的大小，一般為float
  • random_state 亂數種子,不同的種子會造成不同的隨機采樣結果，相同的種子采樣結果相同，
  • return 測驗集特征訓練集特征值值，訓練標簽，測驗標簽(默認隨機取)

使用這個方法的時候要注意回傳值的接收順序：

x_train, x_test, y_train, y_test 分別表示 ：訓練集的特征值、測驗集的特征值；訓練集的目標值、測驗集的目標值，

def datasets_demo():
    """
    sklearn資料集使用（劃分）
    :return:
    """
    # 獲取資料集
    iris = load_iris()
    print("鳶尾花資料集：\n", iris)
    print("查看資料集描述：\n", iris["DESCR"])
    print("查看特征值的名字：\n", iris.feature_names)
    print("查看特征值：\n", iris.data, iris.data.shape)

    # 訓練集的特征值x_train 測驗集的特征值x_test 訓練集的目標值y_train 測驗集的目標值y_test（x是特征，y是目標）
    x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.5, random_state=22)
    print("訓練集的特征值：\n", x_train, x_train.shape)

    return None

2.2 特征工程之特征抽取

2.2.1 什么是特征抽取

1 將任意資料（如文本或影像）轉換為可用于機器學習的數字特征

注：特征值化是為了計算機更好的去理解資料

• 字典特征提取(特征離散化)
• 文本特征提取
• 影像特征提取（深度學習將介紹）

2 特征提取API

sklearn.feature_extraction

2.2.2 字典特征提取

作用：對字典資料進行特征值化

• sklearn.feature_extraction.DictVectorizer(sparse=True,…)
  • DictVectorizer.fit_transform(X) X:字典或者包含字典的迭代器回傳值：回傳sparse矩陣
  • DictVectorizer.inverse_transform(X) X:array陣列或者sparse矩陣 回傳值:轉換之前資料格式
  • DictVectorizer.get_feature_names() 回傳類別名稱

1 應用

我們對以下資料進行特征提取

[{'city': '北京','temperature':100}
{'city': '上海','temperature':60}
{'city': '深圳','temperature':30}]

2 流程分析

• 實體化類DictVectorizer
• 呼叫fit_transform方法輸入資料并轉換（注意回傳格式）

def dict_demo():
    """
    字典特征抽取
    :return:
    """
    data = https://www.cnblogs.com/rainbow-1/archive/2022/04/04/[{'city': '北京','temperature':100}, {'city': '上海','temperature':60}, {'city': '深圳','temperature':30}]
    # 1、實體化一個轉換器類(One-Hot編碼)
    """
    sparse=True 稀疏矩陣：用位置編號+資料表示（不包括資料0）
    (0, 1) 1.0
    (0, 3) 100.0
    (1, 0) 1.0
    (1, 3) 60.0
    (2, 2) 1.0
    (2, 3) 30.0
    sparse=False 
    """
    transfer = DictVectorizer(sparse=True)

    # 2、呼叫fit_transform()
    data_new = transfer.fit_transform(data)
    print("字典特征抽取：\n",data_new)
    # print("data_new:\n", data_new.toarray(), type(data_new))
    print("特征名字：\n", transfer.get_feature_names())
    return None

• 我的理解是：用0,1的方式來表示非數值化資料的位置，如果在那個位置有這個資料，那么置為1，如果沒有置為0，

• 這里有一個小知識點就是稀疏矩陣，如果sparse=True，那么輸出結果將變成【非0位置，非0值】這樣來表示，如果資料的特征值很多，那么就會出現很多個0，這樣表示會更省記憶體，如果使用sparse=False，那么就是我們最常見的矩陣形式，

sparse=True

  (0, 1)	1.0
  (0, 3)	100.0
  (1, 0)	1.0
  (1, 3)	60.0
  (2, 2)	1.0
  (2, 3)	30.0

sparse=False

[[  0.   1.   0. 100.]
 [  1.   0.   0.  60.]
 [  0.   0.   1.  30.]]
特征名字：
 ['city=上海', 'city=北京', 'city=深圳', 'temperature']

3 小結

當資料中存在類別資訊（比如這個例子中不同的地點）的時候，我們會選擇用字典特征提取，

2.3.3 文本特征提取

作用：對文本資料進行特征值化

• sklearn.feature_extraction.text.CountVectorizer(stop_words=[])

  • 回傳詞頻矩陣

• CountVectorizer.fit_transform(X) X:文本或者包含文本字串的可迭代物件 回傳值：回傳sparse矩陣

• CountVectorizer.inverse_transform(X) X:array陣列或者sparse矩陣 回傳值:轉換之前資料格

• CountVectorizer.get_feature_names() 回傳值:單詞串列

• sklearn.feature_extraction.text.TfidfVectorizer

1 英文

def count_demo():
    """
    文本特征抽取：CountVecotrizer
    :return:
    """
    data = https://www.cnblogs.com/rainbow-1/archive/2022/04/04/["life is short,i like like python", "life is too long,i dislike python"]
    # 1、實體化一個轉換器類（把出現過的單詞都放進來回傳，回傳陣列，表示這些出現過的單詞在特征句子中出現的次數）
    transfer = CountVectorizer(stop_words=["is", "too"])

    # 2、呼叫fit_transform
    data_new = transfer.fit_transform(data)
    print("data_new:\n", data_new.toarray())
    print("特征名字：\n", transfer.get_feature_names())

    return None

輸出結果：

data_new:
 [[0 1 2 0 1 1]
 [1 1 0 1 1 0]]
特征名字：
 ['dislike', 'life', 'like', 'long', 'python', 'short']

2 中文（結巴分詞）

pip3 install jieba

def cut_word(text):
    """
    進行中文分詞："我愛北京天安門" --> "我 愛 北京 天安門"
    :param text:
    :return:
    """
    return " ".join(list(jieba.cut(text)))


def count_chinese_demo2():
    """
    中文文本特征抽取，自動分詞
    :return:
    """
    # 將中文文本進行分詞
    data = https://www.cnblogs.com/rainbow-1/archive/2022/04/04/["一種還是一種今天很殘酷，明天更殘酷，后天很美好，但絕對大部分是死在明天晚上，所以每個人不要放棄今天，",
            "我們看到的從很遠星系來的光是在幾百萬年之前發出的，這樣當我們看到宇宙時，我們是在看它的過去，",
            "如果只用一種方式了解某樣事物，你就不會真正了解它，了解事物真正含義的秘密取決于如何將其與我們所了解的事物相聯系，"]

    data_new = []
    for sent in data:
        data_new.append(cut_word(sent))
    # print(data_new)
    # 1、實體化一個轉換器類
    transfer = CountVectorizer(stop_words=["一種", "所以"])

    # 2、呼叫fit_transform
    data_final = transfer.fit_transform(data_new)
    print("data_new:\n", data_final.toarray())
    print("特征名字：\n", transfer.get_feature_names())

    return None

輸出結果：

data_new:
 [[0 1 0 0 0 2 0 0 0 0 0 1 0 1 0 0 0 0 1 0 2 0 1 0 2 1 0 0 0 1 1 0 0 1 0]
 [0 0 1 0 0 0 1 1 1 0 0 0 0 0 0 0 1 3 0 0 0 1 0 0 0 0 2 0 0 0 0 0 1 0 1]
 [1 0 0 4 3 0 0 0 0 1 1 0 1 0 1 1 0 1 0 1 0 0 0 1 0 0 0 2 1 0 0 1 0 0 0]]
特征名字：
 ['不會', '不要', '之前', '了解', '事物', '今天', '光是在', '幾百萬年', '發出', '取決于', '只用', '后天', '含義', '大部分', '如何', '如果', '宇宙', '我們', '放棄', '方式', '明天', '星系', '晚上', '某樣', '殘酷', '每個', '看到', '真正', '秘密', '絕對', '美好', '聯系', '過去', '還是', '這樣']

注：這里面的數值表示分析出來的特征名字在不同的樣本中出現的次數，比如第一行 [0 1 0 0 0 2 0 0 0 0 0 1 0 1 0 0 0 0 1 0 2 0 1 0 2 1 0 0 0 1 1 0 0 1 0] 第六個數字2表示在第一行文字中，“今天” 這個詞出現了兩次，

2.3.4 Tf-Idf 文本特征提取

• TF-IDF的主要思想是：如果某個詞或短語在一篇文章中出現的概率高，并且在其他文章中很少出現，則認為此詞或者短語具有很好的類別區分能力，適合用來分類，
• TF-IDF作用：用以評估一字詞對于一個檔案集或一個語料庫中的其中一份檔案的重要程度，

1 公式

• 詞頻（term frequency，tf）指的是某一個給定的詞語在該檔案中出現的頻率
• 逆向檔案頻率（inverse document frequency，idf）是一個詞語普遍重要性的度量，某一特定詞語的idf，可以由總檔案數目除以包含該詞語之檔案的數目，再將得到的商取以10為底的對數得到

注：假如一篇檔案的總詞語數是100個，而詞語"非常"出現了5次，那么"非常"一詞在該檔案中的詞頻就是5/100=0.05，而計算檔案頻率（IDF）的方法是以檔案集的檔案總數，除以出現"非常"一詞的檔案數，所以，如果"非常"一詞在1,000份檔案出現過，而檔案總數是10,000,000份的話，其逆向檔案頻率就是lg（10,000,000 / 1,0000）=3，最后"非常"對于這篇檔案的tf-idf的分數為0.05 * 3=0.15

2 案例

這里面可以把總檔案數理解為總樣本數，比如這個案例總樣本數是3

ef tfidf_demo():
    """
    用TF-IDF的方法進行文本特征抽取
    詞頻（term frequency，tf）指的是某一個給定的詞語在該檔案中出現的頻率
    逆向檔案頻率（inverse document frequency，idf）是一個詞語普遍重要性的度量，
    某一特定詞語的idf，可以由總檔案數目除以包含該詞語之檔案的數目，再將得到的商取以10為底的對數得到
    :return:
    """
    # 將中文文本進行分詞
    data = https://www.cnblogs.com/rainbow-1/archive/2022/04/04/["一種還是一種今天很殘酷，明天更殘酷，后天很美好，但絕對大部分是死在明天晚上，所以每個人不要放棄今天，",
            "我們看到的從很遠星系來的光是在幾百萬年之前發出的，這樣當我們看到宇宙時，我們是在看它的過去，",
            "如果只用一種方式了解某樣事物，你就不會真正了解它，了解事物真正含義的秘密取決于如何將其與我們所了解的事物相聯系，"]

    data_new = []
    for sent in data:
        data_new.append(cut_word(sent))
    # print(data_new)
    # 1、實體化一個轉換器類
    transfer = TfidfVectorizer(stop_words=["一種", "所以"])

    # 2、呼叫fit_transform
    data_final = transfer.fit_transform(data_new)
    print("data_new:\n", data_final.toarray())
    print("特征名字：\n", transfer.get_feature_names())

    return None

輸出結果：

data_new:
 [[0.         0.21821789 0.         0.         0.         0.43643578
  0.         0.         0.         0.         0.         0.21821789
  0.         0.21821789 0.         0.         0.         0.
  0.21821789 0.         0.43643578 0.         0.21821789 0.
  0.43643578 0.21821789 0.         0.         0.         0.21821789
  0.21821789 0.         0.         0.21821789 0.        ]
 [0.         0.         0.2410822  0.         0.         0.
  0.2410822  0.2410822  0.2410822  0.         0.         0.
  0.         0.         0.         0.         0.2410822  0.55004769
  0.         0.         0.         0.2410822  0.         0.
  0.         0.         0.48216441 0.         0.         0.
  0.         0.         0.2410822  0.         0.2410822 ]
 [0.15895379 0.         0.         0.63581516 0.47686137 0.
  0.         0.         0.         0.15895379 0.15895379 0.
  0.15895379 0.         0.15895379 0.15895379 0.         0.12088845
  0.         0.15895379 0.         0.         0.         0.15895379
  0.         0.         0.         0.31790758 0.15895379 0.
  0.         0.15895379 0.         0.         0.        ]]
特征名字：
 ['不會', '不要', '之前', '了解', '事物', '今天', '光是在', '幾百萬年', '發出', '取決于', '只用', '后天', '含義', '大部分', '如何', '如果', '宇宙', '我們', '放棄', '方式', '明天', '星系', '晚上', '某樣', '殘酷', '每個', '看到', '真正', '秘密', '絕對', '美好', '聯系', '過去', '還是', '這樣']

2.3 特征工程之特征預處理

2.3.1 什么是特征預處理

# scikit-learn的解釋
provides several common utility functions and transformer classes to change raw feature vectors into a representation that is more suitable for the downstream estimators.

通過一些轉換函式將特征資料轉換成更加適合演算法模型的特征資料程序

1 包含內容

• 數值型資料的無量綱化：
  • 歸一化
  • 標準化

2 特征預處理API

sklearn.preprocessing

為什么我們要進行歸一化/標準化？

• 特征的單位或者大小相差較大，或者某特征的方差相比其他的特征要大出幾個數量級，容易影響（支配）目標結果，使得一些演算法無法學習到其它的特征

我們需要用到一些方法進行無量綱化，使不同規格的資料轉換到同一規格

2.3.2 歸一化

1 定義

通過對原始資料進行變換把資料映射到(默認為[0,1])之間

2 公式

作用于每一列，max為一列的最大值，min為一列的最小值,那么X’’為最終結果，mx，mi分別為指定區間值默認mx為1,mi為0

3 API

• sklearn.preprocessing.MinMaxScaler (feature_range=(0,1)… )
  • MinMaxScalar.fit_transform(X)
    • X:numpy array格式的資料[n_samples,n_features]
  • 回傳值：轉換后的形狀相同的array

1、實體化MinMaxScalar

2、通過fit_transform轉換

def minmax_demo():
    """
    歸一化
    :return:
    """
    # 1、獲取資料
    data = https://www.cnblogs.com/rainbow-1/archive/2022/04/04/pd.read_csv("dating.txt")
    data = https://www.cnblogs.com/rainbow-1/archive/2022/04/04/data.iloc[:, :3]
    print("data:\n", data)

    # 2、實體化一個轉換器類
    transfer = MinMaxScaler(feature_range=[2, 3])

    # 3、呼叫fit_transform
    data_new = transfer.fit_transform(data)
    print("data_new:\n", data_new)

    return None
    

輸出結果：

data:
      milage     Liters  Consumtime
0     40920   8.326976    0.953952
1     14488   7.153469    1.673904
2     26052   1.441871    0.805124
3     75136  13.147394    0.428964
4     38344   1.669788    0.134296
..      ...        ...         ...
995   11145   3.410627    0.631838
996   68846   9.974715    0.669787
997   26575  10.650102    0.866627
998   48111   9.134528    0.728045
999   43757   7.882601    1.332446

[1000 rows x 3 columns]
data_new:
 [[2.44832535 2.39805139 2.56233353]
 [2.15873259 2.34195467 2.98724416]
 [2.28542943 2.06892523 2.47449629]
 ...
 [2.29115949 2.50910294 2.51079493]
 [2.52711097 2.43665451 2.4290048 ]
 [2.47940793 2.3768091  2.78571804]]

4 小結

注意最大值最小值是變化的，另外最大值與最小值非常容易受例外點影響，所以這種方法魯棒性較差，只適合傳統精確小資料場景，

2.3.3 標準化

1 定義

通過對原始資料進行變換把資料變換到均值為0,標準差為1范圍內

2 公式

• 對于歸一化來說：如果出現例外點，影響了最大值和最小值，那么結果顯然會發生改變
• 對于標準化來說：如果出現例外點，由于具有一定資料量，少量的例外點對于平均值的影響并不大，從而方差改變較小，

3 案例

#標準化
def stand_demo():
    """
    標準化
    :return:
    """
    # 1、獲取資料
    data = https://www.cnblogs.com/rainbow-1/archive/2022/04/04/pd.read_csv("dating.txt")
    data = https://www.cnblogs.com/rainbow-1/archive/2022/04/04/data.iloc[:, :3]
    print("data:\n", data)

    # 2、實體化一個轉換器類
    transfer = StandardScaler()

    # 3、呼叫fit_transform
    data_new = transfer.fit_transform(data)
    print("標準化結果 data_new:\n", data_new)
    print("每一列特征的平均值：\n", transfer.mean_)
    print("每一列特征的方差：\n", transfer.var_)
    return None

輸出結果：

data:
      milage     Liters  Consumtime
0     40920   8.326976    0.953952
1     14488   7.153469    1.673904
2     26052   1.441871    0.805124
3     75136  13.147394    0.428964
4     38344   1.669788    0.134296
..      ...        ...         ...
995   11145   3.410627    0.631838
996   68846   9.974715    0.669787
997   26575  10.650102    0.866627
998   48111   9.134528    0.728045
999   43757   7.882601    1.332446

[1000 rows x 3 columns]
標準化結果 data_new:
 [[ 0.33193158  0.41660188  0.24523407]
 [-0.87247784  0.13992897  1.69385734]
 [-0.34554872 -1.20667094 -0.05422437]
 ...
 [-0.32171752  0.96431572  0.06952649]
 [ 0.65959911  0.60699509 -0.20931587]
 [ 0.46120328  0.31183342  1.00680598]]
每一列特征的平均值：
 [3.36354210e+04 6.55996083e+00 8.32072997e-01]
每一列特征的方差：
 [4.81628039e+08 1.79902874e+01 2.46999554e-01]

2.4 特征降維

2.4.1 降維

降維是指在某些限定條件下，降低隨機變數(特征)個數，得到一組“不相關”主變數的程序

• 降低隨機變數的個數
• 相關特征(correlated feature)
  • 相對濕度與降雨量之間的相關等

因為在進行訓練的時候，我們都是使用特征進行學習，如果特征本身存在問題或者特征之間相關性較強，對于演算法學習預測會影響較大

2.4.2 降維的方式

• 特征選擇（資料中包含冗余或無關變數（或稱特征、屬性、指標等），旨在從原有特征中找出主要特征，）
• 主成分分析（可以理解一種特征提取的方式）

1 低方差特征過濾

洗掉低方差的一些特征，前面講過方差的意義，再結合方差的大小來考慮這個方式的角度，

• 特征方差小：某個特征大多樣本的值比較相近（比如說有一個樣本是鳥有沒有爪子，那么這行資料正常情況下方差的0，以為鳥都有爪子，資料幾乎沒什么波動，這對我們研究幾乎沒有價值）

• 特征方差大：某個特征很多樣本的值都有差別

• sklearn.feature_selection.VarianceThreshold(threshold = 0.0)

  • 洗掉所有低方差特征
  • Variance.fit_transform(X)
    • X:numpy array格式的資料[n_samples,n_features]
    • 回傳值：訓練集差異低于threshold的特征將被洗掉，默認值是保留所有非零方差特征，即洗掉所有樣本中具有相同值的特征，

def variance_demo():
    """
    洗掉低方差特征——特征選擇
    :return: None
    """
    data = https://www.cnblogs.com/rainbow-1/archive/2022/04/04/pd.read_csv("factor_returns.csv")
    print(data)
    # 1、實體化一個轉換器類
    transfer = VarianceThreshold(threshold=1)
    # 2、呼叫fit_transform
    data = https://www.cnblogs.com/rainbow-1/archive/2022/04/04/transfer.fit_transform(data.iloc[:, 1:10])
    print("洗掉低方差特征的結果：\n", data)
    print("形狀：\n", data.shape)

    return None

輸出結果：剛開始是有12列資料，低方差過濾（<1）之后剩余8列

            index  pe_ratio  pb_ratio    market_cap  \
0     000001.XSHE    5.9572    1.1818  8.525255e+10   
1     000002.XSHE    7.0289    1.5880  8.411336e+10    
...           ...       ...       ...           ...   
2316  601958.XSHG   52.5408    2.4646  3.287910e+10   
2317  601989.XSHG   14.2203    1.4103  5.911086e+10   

      return_on_asset_net_profit  du_return_on_equity            ev  \
0                         0.8008              14.9403  1.211445e+12   
1                         1.6463               7.8656  3.002521e+11    
...                          ...                  ...           ...   
2316                      2.7444               2.9202  3.883803e+10   
2317                      2.0383               8.6179  2.020661e+11   

      earnings_per_share       revenue  total_expense        date    return  
0                 2.0100  2.070140e+10   1.088254e+10  2012-01-31  0.027657  
1                 0.3260  2.930837e+10   2.378348e+10  2012-01-31  0.082352  
2                -0.0060  1.167983e+07   1.203008e+07  2012-01-31  0.099789   
...                  ...           ...            ...         ...       ...  
2315              0.2200  1.789082e+10   1.749295e+10  2012-11-30  0.137134  
2316              0.1210  6.465392e+09   6.009007e+09  2012-11-30  0.149167  
2317              0.2470  4.509872e+10   4.132842e+10  2012-11-30  0.183629  

[2318 rows x 12 columns]
洗掉低方差特征的結果：
 [[  5.95720000e+00   1.18180000e+00   8.52525509e+10 ...,   1.21144486e+12
    2.07014010e+10   1.08825400e+10]
 [  7.02890000e+00   1.58800000e+00   8.41133582e+10 ...,   3.00252062e+11
    2.93083692e+10   2.37834769e+10]
 [ -2.62746100e+02   7.00030000e+00   5.17045520e+08 ...,   7.70517753e+08
    1.16798290e+07   1.20300800e+07]
 ..., 
 [  3.95523000e+01   4.00520000e+00   1.70243430e+10 ...,   2.42081699e+10
    1.78908166e+10   1.74929478e+10]
 [  5.25408000e+01   2.46460000e+00   3.28790988e+10 ...,   3.88380258e+10
    6.46539204e+09   6.00900728e+09]
 [  1.42203000e+01   1.41030000e+00   5.91108572e+10 ...,   2.02066110e+11
    4.50987171e+10   4.13284212e+10]]
形狀：
 (2318, 8)

2 相關系數

• 皮爾遜相關系數(Pearson Correlation Coefficient)
  • 反映變數之間相關關系密切程度的統計指標

相關系數的值介于–1與+1之間，即–1≤ r ≤+1，其性質如下：

• 當r>0時，表示兩變數正相關，r<0時，兩變數為負相關
• 當|r|=1時，表示兩變數為完全相關，當r=0時，表示兩變數間無相關關系
• 當0<|r|<1時，表示兩變數存在一定程度的相關，且|r|越接近1，兩變數間線性關系越密切；|r|越接近于0，表示兩變數的線性相關越弱
• 一般可按三級劃分：|r|<0.4為低度相關；0.4≤|r|<0.7為顯著性相關；0.7≤|r|<1為高度線性相關

API

• from scipy.stats import pearsonr

  • x : (N,) array_like

  • y : (N,) array_like Returns: (Pearson’s correlation coefficient, p-value)

    1）輸入：x為特征，y為目標變數.
    2）輸出：r： 相關系數 [-1，1]之間，p-value: p值，
    注： p值越小，表示相關系數越顯著，一般p值在500個樣本以上時有較高的可靠性，

    計算出變數A和變數B的皮爾遜相關系數為0，不代表A和B之間沒有相關性，只能說明A和B之間不存在線性相關關系，

相關系數為(0,1]的正數，表明x和y之間呈線性正相關；相關系數為0，表明二者不存在 線性相關 關系，但不排除存在其他非線性相關關系；相關系數為[-1,0)的負數，表明x和y之間存在線性負相關關系，

p值是拒絕零假設的需要的最小顯著性水平，p值較小越容易拒絕原假設，我是這樣理解的，p值就是零假設成立的時候，出現抽取出來的這個樣本統計值的概率是多少，但是對于連續性總體，某一個點的的概率為0，所以加上了一段出現更離譜的概率也就是不利于零假設的概率，總之，簡單理解就是p值就是零假設成立時，出現該樣本統計值的概率，概率越小，說明零假設越不合理，越拒絕，

作者：我是這里的
鏈接：https://www.zhihu.com/question/405665370/answer/1325982899
來源：知乎
著作權歸作者所有，商業轉載請聯系作者獲得授權，非商業轉載請注明出處，

#低方差特征過濾
def variance_demo():
    """
    過濾(某一列)低方差特征
    :return:
    """
    # 1、獲取資料
    data = https://www.cnblogs.com/rainbow-1/archive/2022/04/04/pd.read_csv("factor_returns.csv")
    data = https://www.cnblogs.com/rainbow-1/archive/2022/04/04/data.iloc[:, 1:-2]
    print("data:\n", data)

    # 2、實體化一個轉換器類 小于等于threshold的會被去掉
    transfer = VarianceThreshold(threshold=10)

    # 3、呼叫fit_transform
    data_new = transfer.fit_transform(data)
    print("data_new:\n", data_new, data_new.shape)

    # 計算某兩個變數之間的相關系數
    """
    相關系數的值介于–1與+1之間，即–1≤ r ≤+1，其性質如下：
    當r>0時，表示兩變數正相關，r<0時，兩變數為負相關
    當|r|=1時，表示兩變數為完全相關，當r=0時，表示兩變數間無相關關系
    當0<|r|<1時，表示兩變數存在一定程度的相關，且|r|越接近1，兩變數間線性關系越密切；|r|越接近于0，表示兩變數的線性相關越弱
    一般可按三級劃分：|r|<0.4為低度相關；0.4≤|r|<0.7為顯著性相關；0.7≤|r|<1為高度線性相關
    """
    r1 = pearsonr(data["pe_ratio"], data["pb_ratio"])
    print("pe_ratio 和 pb_ratio 的相關系數：\n", r1)
    r2 = pearsonr(data['revenue'], data['total_expense'])
    print("revenue與total_expense之間的相關性：\n", r2)

    return None

輸出結果：

pe_ratio 和 pb_ratio 的相關系數：
 (-0.004389322779936271, 0.8327205496564927)
revenue與total_expense之間的相關性：
 (0.9958450413136115, 0.0)

3 PCA主成分分析

• 定義：高維資料轉化為低維資料的程序，在此程序中可能會舍棄原有資料、創造新的變數
• 作用：是資料維數壓縮，盡可能降低原資料的維數（復雜度），損失少量資訊，
• 應用：回歸分析或者聚類分析當中

API：

• sklearn.decomposition.PCA(n_components=None)
  • 將資料分解為較低維數空間
  • n_components:
    • 小數：表示保留百分之多少的資訊
    • 整數：減少到多少特征
  • PCA.fit_transform(X) X:numpy array格式的資料[n_samples,n_features]
  • 回傳值：轉換后指定維度的array

def pca_demo():
    """
    PCA降維
    :return:
    """
    data = https://www.cnblogs.com/rainbow-1/archive/2022/04/04/[[2,8,4,5], [6,3,0,8], [5,4,9,1]]

    # 1、實體化一個轉換器類
    transfer = PCA(n_components=0.95)

    # 2、呼叫fit_transform
    data_new = transfer.fit_transform(data)
    print("data_new:\n", data_new)
    return None

輸出結果：

data_new:
 [[ 1.28620952e-15  3.82970843e+00]
 [ 5.74456265e+00 -1.91485422e+00]
 [-5.74456265e+00 -1.91485422e+00]]

幾個問題：

1、資料集的結構是什么?

答案: 特征值+ 目標值

2、機器學習演算法分成哪些類別? 如何分類

答案: 根據是否有目標值分為 監督學習和非監督學習監督學習

根據目標值的資料型別:目標值為離散值就是分類問題

目標值為連續值就是回歸問題

3、什么是標準化? 和歸一化相比有什么優點?

答案: 標準化是通過對原始資料進行變換把資料變換到均值為0,方差為1范圍內

優點: 少量例外點, 不影響平均值和方差, 對轉換影響小

注：參考了黑馬程式員相關資料，

標籤：其他

上一篇：云原生時代如何用 Prometheus 實作性能壓測可觀測-Metrics 篇

下一篇：二進制數的運算原理與門電路實作