必做題：

（1） 把模型改為 resnet18，加載相應的模型權重（Lesson2 的物料包中有），跑一下 0.jpg和 1.jpg，看一下輸出結果，官方 torchvision 訓練 mobilenet 和訓練 resnet 的方式是一樣的，所以資料預處理和資料后處理部分完全相同，

('umbrella', 0.2279825508594513)
('peacock', 0.9976727366447449)

（2） 自己找 2 張其他圖，用 resnet18 做下推理，

翻車了

('kite', 0.3684402108192444) # bald-eagle.jpg
('quill', 0.013711282052099705) # hen.jpg

思考題：

（1） 以 ResNet18 為例，用 time 模塊和 for 回圈，對”./images/0.jpg”連續推理 100次，統計時間開銷，比如：

# 有 CUDA 的，改下代碼：self.device=torch.device('cuda')，用上述相同方法測驗時間開銷，
model_classify=ModelPipline()
import time
image=cv2.imread("./images/0.jpg")
t_all=0
for i in range(100):
	t_start=time.time()
	result=model_classify.predict(image)
	t_end=time.time()
	t_all+=t_end-t_start
print(t_all)

測驗結果

('kite', 0.3684402108192444)
4.733127117156982

（2） 在資料預處理和資料后處理的代碼實作中，到處在用 numpy, opencv, torch 對陣列做相應變換，大家至少要把課程中出現的函式們給理解，

作業原始碼

import torch
import torchvision.models as models
import numpy as np
import cv2
import time


class ModelPipline(object):
    def __init__(self):
        # 進入模型的圖片大小：為資料預處理和后處理做準備
        self.inputs_size = (224, 224)
        # CPU or CUDA：為資料預處理和模型加載做準備
        self.device = torch.device('cuda')
        # 載入模型結構和模型權重
        self.model = self.get_model()
        # 載入標簽，為資料后處理做準備
        label_names = open('./labels/imagenet_label.txt', 'r').readlines()
        self.label_names = [line.strip('\n') for line in label_names]

    def predict(self, image):
        # 資料預處理
        inputs = self.preprocess(image)
        # 資料進網路
        outputs = self.model(inputs)
        # 資料后處理
        results = self.postprocess(outputs)
        return results

    def get_model(self):
        # 上一節課的內容
        model = models.resnet18()
        pretrained_state_dict = torch.load('./weights/resnet18-5c106cde.pth',
                                           map_location=lambda storage, loc: storage)
        model.load_state_dict(pretrained_state_dict, strict=True)
        model.to(self.device)
        model.eval()
        return model

    def preprocess(self, image):
        # opencv默認讀入是BGR，需要轉為RGB，和訓練時保持一致
        image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
        # resize成模型輸入的大小，和訓練時保持一致        image = cv2.resize(image, dsize=self.inputs_size)
        # 歸一化和標準化，和訓練時保持一致
        inputs = image / 255
        inputs = (inputs - np.array([0.485, 0.456, 0.406])) / np.array([0.229, 0.224, 0.225])
        ##以下是影像任務的通用處理
        # (H,W,C) ——> (C,H,W)
        inputs = inputs.transpose(2, 0, 1)
        # (C,H,W) ——> (1,C,H,W)
        inputs = inputs[np.newaxis, :, :, :]
        # NumpyArray ——> Tensor
        inputs = torch.from_numpy(inputs)
        # dtype float32
        inputs = inputs.type(torch.float32)
        # 與self.model放在相同硬體上
        inputs = inputs.to(self.device)
        return inputs

    def postprocess(self, outputs):
        # 取softmax得到每個類別的置信度
        outputs = torch.softmax(outputs, dim=1)
        # 取最高置信度的類別和分數
        score, label_id = torch.max(outputs, dim=1)
        # Tensor ——> float
        score, label_id = score.item(), label_id.item()
        # 查找標簽名稱
        label_name = self.label_names[label_id]
        return label_name, score


if __name__ == '__main__':
    model_classify = ModelPipline()

    t_all = 0
    image = cv2.imread('./images/bald-eagle.jpg')
    for i in range(100):
        t_start = time.time()
        result = model_classify.predict(image)
        t_end = time.time()
        t_all += (t_end - t_start)
    print(result)
    print(t_all)

    # image = cv2.imread('./images/hen.jpg')
    # result = model_classify.predict(image)
    # print(result)

打卡說明

答題格式：
必做題：
題（1）提交下推理的輸出結果（標簽和置信度），
題（2）提交下找的 2 張圖片，以及推理的輸出結果，
思考題：
題（1）CPU 推理和 CUDA 推理，各自的時間開銷，
題（2）無