機器學習訓練集、測驗集、預測集資料扁平化（包括相對、絕對目錄；os、pandas、opencv庫的部分函式使用）

0 引言

機器學習涵蓋了很多庫與函式，博主也剛剛開始學習，本文主要講一講如何將影像資料扁平化，使其變為一維陣列，便于后續機器學習的處理，（完整函式附于文末哦~）

1 確定我們讀取影像檔案的目錄

1.1 絕對目錄與相對目錄
絕對目錄是指從根目錄（C、D、E盤等等）開始一直寫到需讀取檔案的目錄，如：

path_train = 'D:/python learning&training/pythonProject/Project/Project/DataCSV1'   

不過需注意直接從電腦中復制過來的目錄是使用‘ \ ’分隔，但在Python中‘ \ ’為轉義字符，有其他功能，可能出現占用而報錯的情況，所以我們在電腦中將目錄復制過來后，手動將‘ \ ’改為’ / ‘、’ // ‘或’ \ ‘，即可解決上述問題，
相對目錄主要使用兩個符號：’ ./ ‘、’ …/ '，分別表示當前目錄與父目錄（即上一級目錄），所以對于同樣的檔案DataCSV1而言，我們可以從當前代碼的目錄出發，打開DataCSV1的相對目錄：

path_train = '../DataCSV1'  

（注：博主的電腦中運行的代碼是處于D:\python learning&training\pythonProject\Project\Project中，所以相對目錄如圖，如果大家的檔案位置不一樣，可以多次使用’ …/ '來找到檔案）

2 定義影像預處理函式

在進行資料扁平化之前，我們要先將各類影像轉化為統一的尺寸并進行濾波處理，因此定義以下函式:

def ImgPrcessing(path):

該函式需完成影像讀取、尺寸統一化、濾波等操作，我們通過呼叫opencv庫來實作：

    img = cv2.imread(path)           # 圖片讀取
    img = cv2.resize(img,(64,64))    #改變大小尺寸
    img = cv2.medianBlur(img, 3)        # 濾波

回傳值則為img：

return img

3 定義訓練集、測驗集處理函式

為了使盡量少寫重復的代碼，因此我們再定義一個處理訓練集和測驗集的函式def train_val_process(path)，只給其一個引數path（需處理影像的路徑地址）、回傳值為處理后的影像：

def train_val_process(path):

首先，我們先定義兩個串列用于存放資料集的資料及標號：

datas = []
labels = []

其次，我們逐一讀取目標檔案夾中的影像，并將他們的目錄地址與影像名連接起來，得到一個指向單張圖片的地址，此處我們使用了一組for回圈嵌套陳述句：

    for dir in os.listdir(path):        # 讀取路徑處理 (檔案夾的名稱)
        dir_ = os.path.join(path, dir)  #將檔案夾與對應前綴路徑逐一連接
        for file in os.listdir(dir_):   # 讀取路徑處理 (圖片的名稱)
            imgpath = os.path.join(dir_, file) #將圖片與對應前綴路徑逐一連接

然后，我們將得到的影像檔案進行一維提取，用到a.flatten()函式：

imgflatten = ImgPrcessing(imgpath).flatten()   #提取一維陣列

a.flatten()函式，其中物件必須為array（陣列）或mat（矩陣），a.flatten() ——默認按行的方向降維、 a.flatten(‘F’) ——按列降維、a.flatten(‘A’) ——按行降維，

最后，再將資料寫入datas與labels中：

 datas.append(imgflatten)                        # 資料集      在串列detas的末尾添加新物件，imgflatten為新物件
 labels.append(dir)                              # 標簽集      同上

回傳值則為datas與labels：

 return datas, labels

4 定義資料處理函式

我們的資料主要分為三種：訓練集、測驗集、預測集，因為我們想要用一個函式將三個資料集的影像一起輸入，因此我們為函式定義三個輸入引數：train, test, pre，

def DataProcessing(train,test,pre)

函式內我們首先使用if條件陳述句將三種不同的輸入集影像分開處理：

if train：
...
if test:
...
if pre:
...

train、test、pre中為0的即運行該資料集（在程式開始自己定義），
下面開始資料集訓練，程式如下：

 train_data,train_label = train_val_process(path_train)
 train_data_  =  pd.DataFrame(train_data).to_csv(train_data_save,  index=0, header=0)    # 訓練集保存
 train_label_ =  pd.DataFrame(train_label).to_csv(train_label_save, index=0, header=0)

其中的train_val_process（）為前面定義的訓練集、測驗集處理函式，在輸入對應圖片的路徑后，會回傳兩個值，分別是train_data,train_label，
得到處理后的資料集后，使用pd.DataFrame()函式創建一個二維表，再使用函式pd.to_csv將這兩個資料寫入二維表，

至此，資料扁平化已完成，

5 完整代碼

import os
import cv2
import pandas as pd
#本程式旨在讓圖片生成的陣列扁平，生成一維陣列
########################################
path_train = '../../../../sklearn math/PCB/sample/'                         # 訓練集路徑  7：3   6：2：2
path_test = '../../../../sklearn math/PCB/test/'                          # 驗證集路徑
path_pre = '../../../../sklearn math/PCB/test/'                         # 測驗集路徑
#----------------------------------------#

train = 0
test = 1
pre = 0

#----------------------------------------#
train_data_save     = '../DataCSV2/train_data.csv'           # 存盤路徑
train_label_save    = '../DataCSV2/train_label.csv'

test_data_save      = '../DataCSV2/test_data.csv'
test_label_save     = '../DataCSV2/test_label.csv'

pre_data_save       = '../DataCSV2/pre_data.csv'
pre_sign_save       = '../DataCSV2/pre_sign.csv'
########################################

# *圖片預處理函式
def ImgPrcessing(path):
    img = cv2.imread(path)           # 圖片讀取
    
    img = cv2.resize(img,(64,64))    #改變大小尺寸

    img = cv2.medianBlur(img, 3)        # 濾波


    return img

# *訓練集、測驗集---處理函式
def train_val_process(path):
    datas = []
    labels = []
    for dir in os.listdir(path):        # 讀取路徑處理 (檔案夾的名稱)
        dir_ = os.path.join(path, dir)  #將檔案夾與對應前綴路徑逐一連接
        for file in os.listdir(dir_):   # 讀取路徑處理 (圖片的名稱)
            imgpath = os.path.join(dir_, file) #將圖片與對應前綴路徑逐一連接

            imgflatten = ImgPrcessing(imgpath).flatten()   #提取一維陣列，其中物件必須為array（陣列）或mat（矩陣），a.flatten() #默認按行的方向降維、 a.flatten('F') #按列降維、a.flatten('A') #按行降維

            datas.append(imgflatten)                        # 資料集      在串列detas的末尾添加新物件，imgflatten為新物件
            labels.append(dir)                              # 標簽集      同上

    return datas, labels

# 1-資料集處理
def DataProcessing(train,test,pre):
    if train:               # 1.1 訓練集處理
        train_data,train_label = train_val_process(path_train)
        train_data_  =  pd.DataFrame(train_data).to_csv(train_data_save,  index=0, header=0)    # 訓練集保存
        train_label_ =  pd.DataFrame(train_label).to_csv(train_label_save, index=0, header=0)

    if test:                # 1.2 測驗集處理
        test_data, test_label = train_val_process(path_test)
        val_data_  = pd.DataFrame(test_data)        .to_csv(test_data_save,  index=0, header=0)     # 測驗集保存
        val_label_ = pd.DataFrame(test_label)       .to_csv(test_label_save, index=0, header=0)      #pd.DataFrame 創建一個二維表、to_csv保存指定格式資料到二維表中

    if pre:                 # 1.3 預測集處理
        pre_datas =  []                                             # 預測集資料存盤串列
        pre_labels = []                                             # 預測集標簽存盤串列
        imglabels = []
        count = 0

        for file in os.listdir(path_pre):                           # 預測集路徑
            imglabels.append(path_pre + str(count) + '.png')
            count += 1

        for path in imglabels:
            imgflatten = ImgPrcessing(path).flatten()
            pre_datas.append(imgflatten)                            # 預測集資料
            pre_labels.append(os.path.basename(path))               # 預測集標簽    os.path.basename=>回傳path最后的檔案名

        pre_data_  = pd.DataFrame(pre_datas)       .to_csv(pre_data_save,   index=0,header=0)       # 預測集保存
        pre_label_ = pd.DataFrame(pre_labels)      .to_csv(pre_sign_save,   index=0,header=0)

# 2-保存CSV檔案
DataProcessing(train = train,test = test,pre = pre)

博主也在學習中，可能有很多地方不懂，期待各位對本文內容的批評指正，