Pytorch創建自己的資料集(一)

mnist_train = torchvision.datasets.MNIST(root='~/Datasets/MNIST', train=True, download=True, transform=transforms.ToTensor())

1、Dataset+DataLoader實作自定義資料集讀取方法

創建自己的資料集需要繼承父類torch.utils.data.Dataset，同時需要多載兩個私有成員函式：def __len__(self)和def __getitem__(self, index) ， def __len__(self)應該回傳資料集的大小；def __getitem__(self, index)接收一個index，然后回傳圖片資料和標簽，這個index通常指的是一個list的index，這個list的每個元素就包含了圖片資料的路徑和標簽資訊，如何制作這個list呢，通常的方法是將圖片的路徑和標簽資訊存盤在一個txt中，然后從該txt中讀取，

整個流程如下：

1.1、整體框架

class MyDataset(torch.utils.data.Dataset):#需要繼承torch.utils.data.Dataset
    def __init__(self):
        #對繼承自父類的屬性進行初始化(好像沒有這句也可以？？)
        super(MyDataset,self).__init__()
        # TODO
        #1、初始化一些引數和函式，方便在__getitem__函式中呼叫，
        #2、制作__getitem__函式所要用到的圖片和對應標簽的list，
        #也就是在這個模塊里，我們所做的作業就是初始化該類的一些基本引數，
        pass
    def __getitem__(self, index):
        # TODO
        #1、根據list從檔案中讀取一個資料（例如，使用numpy.fromfile，PIL.Image.open），
        #2、預處理資料（例如torchvision.Transform），
        #3、回傳資料對（例如影像和標簽），
        #這里需要注意的是，這步所處理的是index所對應的一個樣本，
        pass
    def __len__(self):
        #回傳資料集大小
        return len()

1.2、例子講解

給出一個最簡單的例子，來理解整個程序，

第一步：先收集幾張圖片作為自己的資料集，然后自己手動創建一個txt檔案(關于txt檔案，通過python和matlab可以很容易的創建)儲存圖片對應的label，

圖片檔案如下

相應的txt檔案如下

第二步：創建自己的資料集類，

import torch
import torchvision
from torchvision import transforms
from PIL import Image
from torch.utils.data import Dataset
from torch.utils.data import DataLoader

#路徑是自己電腦里所對應的路徑
datapath = r'E:\Python\DeepLearning\Datasets\testdata'
txtpath = r'E:\Python\DeepLearning\Datasets\testdata\label.txt'

class MyDataset(Dataset):
    def __init__(self,txtpath):
        #創建一個list用來儲存圖片和標簽資訊
        imgs = []
        #打開第一步創建的txt檔案，按行讀取，將結果以元組方式保存在imgs里
        datainfo = open(txtpath,'r')
        for line in datainfo:
            line = line.strip('\n')
            words = line.split()
            imgs.append((words[0],words[1]))

        self.imgs = imgs
	#回傳資料集大小
    def __len__(self):
        return len(self.imgs)
	#打開index對應圖片進行預處理后return回處理后的圖片和標簽
    def __getitem__(self, index):
        pic,label = self.imgs[index]
        pic = Image.open(datapath+'\\'+pic)
        pic = transforms.ToTensor()(pic)
        return pic,label
#實體化物件
data = MyDataset(txtpath)
#將資料集匯入DataLoader，進行shuffle以及選取batch_size
data_loader = DataLoader(data,batch_size=2,shuffle=True,num_workers=0)
#Windows里num_works只能為0，其他值會報錯

經過以上兩步處理，就獲得了可以輸入到神經網路里的自己的資料集了，我們可以查看一下我們所獲得的data_loader:

for pics,label in data_loader:
    print(pics,label)

輸出如下：

tensor([[[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]]]) ('4', '2')
tensor([[[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]]]) ('2', '1')
tensor([[[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]]]) ('0', '1')
tensor([[[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]]]) ('4', '0')
tensor([[[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]]]) ('3', '3')

以上結果顯示，data_loader這個迭代器里存盤的是每2個一組(batch_size)的圖片像素資訊以及對應的標簽資訊，也就是我們后續要匯入到神經網路里的資料，

以上操作只是一個最簡單的用來加深理解的例子，實際應用時會比這復雜很多，比如影像的渲染、變換等，但是基本流程都是一樣的，

1.3、txt檔案的生成

這部分留到以后再添加進來
pass

2、ImageFolder+DataLoader實作本地資料匯入

在pytorch中提供了torchvision.datasets.ImageFolder讓我們訓練自己的影像，ImageFolder假設所有的檔案按檔案夾保存，每個檔案夾下存盤同一個類別的圖片，檔案夾名為類名，其建構式如下：

ImageFolder(root, transform=None, target_transform=None, loader=default_loader)

它主要有四個引數：
root：在root指定的路徑下尋找圖片
transform：對loader讀取圖片的回傳物件進行轉換操作(ToTensor等)
target_transform：對label的轉換
loader：給定路徑后如何讀取圖片，默認讀取為RGB格式的PIL Image物件

檔案夾嚴格按照如下方式保存：

    .
    ├──train
    |   ├──類別1
    |   |   ├──*.jpg
    |   |   ├──*.jpg
    |   |   └──...
    |   ├──類別2
    |   |   ├──*.jpg
    |   |   ├──*.jpg
    |   |   └──...
    |   └──...
    └──test  
        ├──類別1
        |   ├──*.jpg
        |   ├──*.jpg
        |   └──...
        ├──類別2
        |   ├──*.jpg
        |   ├──*.jpg
        |   └──...
        └──...

實作代碼如下

transform = transforms.ToTensor()
root = r'E:\Python\DeepLearning\Datasets\mymnist\train'
# 使用torchvision.datasets.ImageFolder讀取資料集 指定train 和 test檔案夾
train_data = torchvision.datasets.ImageFolder(root, transform=transform)
train_iter = torch.utils.data.DataLoader(train_data, batch_size=256, shuffle=True, num_workers=0)

test_data = torchvision.datasets.ImageFolder(root, transform=transform)
test_iter = torch.utils.data.DataLoader(test_data, batch_size=256, shuffle=True, num_workers=0)

參考資料
https://blog.csdn.net/sinat_42239797/article/details/90641659