深度學習Pytorch（五）——資料加載和處理

一、下載安裝包

packages:

• scikit-image:用于影像測IO和變換
• pandas:方便進行csv決議

二、下載資料集

資料集說明：該資料集（我在這）是imagenet資料集標注為face的圖片當中在dlib面部檢測表現良好的圖片——處理的是一個面部姿態的資料集，也就是按照入戲方式標注人臉

資料集展示

三、讀取資料集

#%%讀取資料集
landmarks_frame=pd.read_csv('D:/Python/Pytorch/data/faces/face_landmarks.csv')
n=65
img_name=landmarks_frame.iloc[n,0]
landmarks=landmarks_frame.iloc[n,1:].values
landmarks=landmarks.astype('float').reshape(-1,2)
print('Image name :{}'.format(img_name))
print('Landmarks shape :{}'.format(landmarks.shape))
print('First 4 Landmarks:{}'.format(landmarks[:4]))

運行結果

四、撰寫一個函式看看影像和landmark

#%%撰寫顯示人臉函式
def show_landmarks(image,landmarks):
    plt.imshow(image)
    plt.scatter(landmarks[:,0],landmarks[:,1],s=10,marker=".",c='r')
    plt.pause(0.001)

plt.figure()
show_landmarks(io.imread(os.path.join('D:/Python/Pytorch/data/faces/',img_name)),landmarks)
plt.show()

運行結果

五、資料集類

torch.utils.data.Dataset是表示資料集的抽象類，自定義資料類應繼承Dataset并覆寫__len__實作len（dataset）返還資料集的尺寸，__getitem__用來獲取一些索引資料：

#%%資料集類——將資料集封裝成一個類
class FaceLandmarksDataset(Dataset):
    def __init__(self,csv_file,root_dir,transform=None):
        # csv_file(string):待注釋的csv檔案的路徑
        # root_dir(string):包含所有影像的目錄
        # transform（callabele,optional）:一個樣本上的可用的可選變換
        self.landmarks_frame=pd.read_csv(csv_file)
        self.root_dir=root_dir
        self.transform=transform
        
    def __len__(self):
        return len(self.landmarks_frame)
    
    def __getitem__(self, idx):
        img_name=os.path.join(self.root_dir,self.landmarks_frame.iloc[idx,0])
        image=io.imread(img_name)
        landmarks=self.landmarks_frame.iloc[idx,1:]
        landmarks=np.array([landmarks])
        landmarks=landmarks.astype('float').reshape(-1,2)
        sample={'image':image,'landmarks':landmarks}
        
        if self.transform:
            sample=self.transform(sample)
        return sample    

六、資料可視化

#%%資料可視化
# 將上面定義的類進行實體化并便利整個資料集
face_dataset=FaceLandmarksDataset(csv_file='D:/Python/Pytorch/data/faces/face_landmarks.csv', 
                                  root_dir='D:/Python/Pytorch/data/faces/')
fig=plt.figure()
for i in range(len(face_dataset)) :
    sample=face_dataset[i]
    print(i,sample['image'].shape,sample['landmarks'].shape)
    
    ax=plt.subplot(1,4,i+1)
    plt.tight_layout()
    ax.set_title('Sample #{}'.format(i))
    ax.axis('off')
    show_landmarks(**sample)
    if i==3:
        plt.show()
        break

運行結果

七、資料變換

由上圖可以發現每張影像的尺寸大小是不同的，絕大多數神經網路都嘉定影像的尺寸相同，所以需要對影像先進行預處理，創建三個轉換：

• Rescale：縮放圖片
• RandomCrop:對圖片進行隨機裁剪
• ToTensor:把numpy格式圖片轉成torch格式圖片（交換坐標軸）
  和上面同樣的方式，將其寫成一個類，這樣就不需要在每次呼叫的時候川第一此引數，只需要實作__call__的方法，必要的時候使用__init__方法

1、Function_Rescale

# 將樣本中的影像重新縮放到給定的大小
class Rescale(object):    
    def __init__(self,output_size):
        assert isinstance(output_size,(int,tuple))
        self.output_size=output_size
    #output_size 為int或tuple，如果是元組輸出與output_size匹配，
    #如果是int，匹配較小的影像邊緣到output_size保持縱橫比相同
    def __call__(self,sample):
        image,landmarks=sample['image'],sample['landmarks']
        
        h,w=image.shape[:2]
        if isinstance(self.output_size, int):#輸入引數是int
            if h>w:
                new_h,new_w=self.output_size*h/w,self.output_size
            else:
                new_h,new_w=self.output_size,self.output_size*w/h
        else:#輸入引數是元組
            new_h,new_w=self.output_size
        new_h,new_w=int(new_h),int(new_w)
        img=transform.resize(image, (new_h,new_w))
        landmarks=landmarks*[new_w/w,new_h/h]
        return {'image':img,'landmarks':landmarks}

2、Function_RandomCrop

# 隨機裁剪樣本中的影像
class RandomCrop(object):
    def __init__(self,output_size):
        assert isinstance(output_size, (int,tuple))
        if isinstance(output_size, int):
            self.output_size=(output_size,output_size)
        else:
            assert len(output_size)==2
            self.output_size=output_size
    # 輸入引數依舊表示想要裁剪后影像的尺寸，如果是元組其而包含兩個元素直接復制長寬，如果是int，則裁剪為方形
                
    def __call__(self,sample):
        image,landmarks=sample['image'],sample['landmarks']
        h,w=image.shape[:2]
        new_h,new_w=self.output_size
        #確定圖片裁剪位置
        top=np.random.randint(0,h-new_h)
        left=np.random.randint(0,w-new_w)
        image=image[top:top+new_h,left:left+new_w]
        landmarks=landmarks-[left,top]
        return {'image':image,'landmarks':landmarks}

3、Function_ToTensor

#%%
# 將樣本中的npdarray轉換為Tensor
class ToTensor(object):
    def __call__(self,sample):
        image,landmarks=sample['image'],sample['landmarks']
        image=image.transpose((2,0,1))#交換顏色軸
        #numpy的圖片是：Height*Width*Color
        #torch的圖片是：Color*Height*Width
        return {'image':torch.from_numpy(image),
                'landmarks':torch.from_numpy(landmarks)}

八、組合轉換

將上面撰寫的類應用到實體中
Req: 把影像的短邊調整為256，隨機裁剪（randomcrop）為224大小的正方形，即：組合一個Rescale和RandomCrop的變換，

#%%
scale=Rescale(256)
crop=RandomCrop(128)
composed=transforms.Compose([Rescale(256),RandomCrop(224)])    
# 在樣本上應用上述變換
fig=plt.figure() 
sample=face_dataset[65]
for i,tsfrm in enumerate([scale,crop,composed]):
    transformed_sample=tsfrm(sample)
    ax=plt.subplot(1,3,i+1)
    plt.tight_layout()
    ax.set_title(type(tsfrm).__name__)
    show_landmarks(**transformed_sample)

plt.show()

運行結果

九、迭代資料集

把這些整合起來以創建一個帶有組合轉換的資料集，總結一下沒每次這個資料集被采樣的時候：及時的從檔案中讀取圖片，對讀取的圖片應用轉換，由于其中一部是隨機的randomcrop,資料被增強了，可以使用回圈對創建的資料集執行同樣的操作

transformed_dataset=FaceLandmarksDataset(csv_file='D:/Python/Pytorch/data/faces/face_landmarks.csv',
                                          root_dir='D:/Python/Pytorch/data/faces/',
                                          transform=transforms.Compose([
                                              Rescale(256),
                                              RandomCrop(224),
                                              ToTensor()
                                              ]))
for i in range(len(transformed_dataset)):
    sample=transformed_dataset[i]
    print(i,sample['image'].size(),sample['landmarks'].size())
    if i==3:
        break    

運行結果

對所有資料集簡單使用for回圈會犧牲很多功能——>麻煩，效率低！！改用多執行緒并行進行
torch.utils.data.DataLoader可以提供上述功能的迭代器，collate_fn引數可以決定如何對資料進行批處理，絕大多數情況下默認值就OK
靚仔落淚
不知道是因為我的電腦沒裝驅動，沒有辦法用cuda的原因，我猜是，我每次多執行緒計算都不成功，哭唧唧，具體原因探索中，找到其中的瓜葛再來分享給

#%%靚仔落淚，我的電腦沒辦
dataloader=DataLoader(transformed_dataset,batch_size=0,shuffle=True,num_workers=0)
# helper:顯示批次
def show_landmarks_batch(sample_batched):
    images_batch,landmarks_batch=sample_batched['image'],sample_batched['landmarks']
    batch_size=len(images_batch)
    im_size=images_batch.size(2)
    grid_border_size=2
    grid=utils.make_grid(images_batch)
    plt.imshow(grid.numpy().transpose((1,2,0))) 
    
    for i in range(batch_size):
        plt.scatter(landmarks_batch[i,:,0].numpy()+i*im_size+(i+1)*grid_border_size,
                    landmarks_batch[i,:,1].numpy()+grid_border_size,
                    s=10,marker='.',c='r')
        plt.title('Batch from dataloader')
        
for i_batch,sample_batched in enumerate(dataloader):
        print(i_batch,sample_batched['image'].size(),
              sample_batched['landmarks'].size())
        
        if i_batch==3:
            plt.figure()
            show_landmarks_batch(sample_batched)
            plt.axis('off')
            plt.ioff()
            plt.show()
            break

告一段落，明天見~（明天開組會，具體應該還能見，哈哈哈哈哈哈哈！）