主頁 > 軟體工程 > 如何用三維訓練資料建立一個二元分類器

如何用三維訓練資料建立一個二元分類器

2021-10-21 08:23:11 軟體工程

我有一些資料,我必須將其分類為0或1。該資料從一個.npz檔案中加載。它給了我訓練、驗證和測驗資料。它們看起來是這樣的:

x_train = [[[ 0 0 0 ... 0 1 4] [0 0 0 ... 4 25 2] [6 33 15 ... 33 0 0] ... [0 23 4 ... 9 31 0] [4 0 0 ... 0 0 12] [5 0 0 ... 3 0 0 ]] [[ 88 71 59 ... 61 62 62] [74 88 73 ... 59 70 60] [69 61 85 ... 60 58 82] ... [68 85 58 ... 55 75 72] [69 69 70 ... 81 76 83] [74 68 76 ... 60 74 72 ]] [[ 87 134 146 ... 108 116 157] [108 117 144 ... 102 58 122] [124 148 106 ... 97 135 146] ... [96 153 111 ... 104 129 154] [129 140 100 ... 74 114 97] [119 115 160 ... 172 84 148 ]] ... [[ 92 96 64 ... 69 83 83] [85 44 89 ... 115 94 76] [93 103 91 ... 92 81 75] ... [16 109 81 ... 84 95 20] [100 27 89 ... 66 107 48] [24 67 144 ... 104 115 123 ]] [[ 69 70 74 ... 72 73 75] [72 72 76 ... 73 75 76] [74 75 72 ... 72 69 73] ... [72 72 69 ... 72 76 72] [70 72 73 ... 72 76 67] [69 72 72 ... 72 71 71 ]] [[ 65 137 26 ... 134 57 174] [91 76 123 ... 39 63 124] [81 203 134 ... 192 63 143] ... [1 102 96 ... 33 63 169] [82 32 108 ... 151 75 151] [12 97 164 ... 101 125 60 ]] 。]

y_train:
[0 0 0 ... 0 0 0]

這些是我的輸入形狀:

x_train.shape = (5000, 128, 128) y_train.shape = (5000,)

如你所見,y只是標簽,x只是3D資料。因為它是一個二進制分類器,我想建立一個有3個密集層的簡單NN。這就是我所擁有的:

model = Sequential() model.add(Dense(12, input_dim = 8, activation='relu') model.add(Dense(8, activation='relu') model.add(Dense(1, activation='sigmoid') model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'] ) model.fit(x_train, y_train, epochs=150, batch_size=8)

但是由于我的輸入,我得到了這個錯誤:

ValueError: 輸入0的層sequential_4 不兼容的層。預期軸-1輸入形狀的值8但收到input with shape(8, 128, 128)

我怎樣才能解決這個問題?對于這種型別的問題,我的NN是不是太簡單了?

uj5u.com熱心網友回復:

你的代碼存在多個問題。我已經嘗試添加單獨的章節來解釋它們。請仔細閱讀所有這些問題,并嘗試我在下面顯示的代碼示例。

1. 將樣本/批次通道作為輸入維度傳遞

你正在傳遞批處理通道作為密集層的輸入形狀。這是不正確的。相反,你需要做的是傳遞模型應該期望的每個樣本的形狀,在這個例子中是(128,128)。模型會自動在前面添加一個通道,讓批次在計算圖中流動,如(None, 128, 128),如下圖model.summary()所示

2.密集層的2D輸入

你的每一個樣本(在本例中共有5000個樣本)都是一個形狀為128,128的2D矩陣。密集層不能直接消耗它,除非先把它壓平。(或者使用一個不同的層來更適合處理2D/3D輸入,這一點將在后面討論)。

from tensorflow.keras import Sequential
from tensorflow.keras.layer import Dense, Flatten

model = Sequential()
model.add(Flatten(input_shape=(128,128) )
model.add(Dense(12, activation='relu')
model.add(Dense(8, activation='relu')
model.add(Dense(1, activation='sigmoid')

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'] )
model.summary()
模型。"sequential_6"。
_________________________________________________________________
層(型別)輸出形狀引數# 
=================================================================
flatten_3 (扁平化) (None, 16384)             0         
_________________________________________________________________
dense_5 (Dense) (None, 12) 196620    
_________________________________________________________________
dense_6 (Dense) (None, 8) 104       
_________________________________________________________________
dense_7 (Dense) (None, 1) 9         
=================================================================
總引數。196,733。
可訓練的引數。196, 733
不可訓練的引數。0 0
_________________________________________________________________

3.為你的問題使用不同的架構。

"對于這種型別的問題,我的NN是不是太簡單了?"

這不是關于架構的復雜性,而是關于能夠處理某種型別資料的層的型別。在這種情況下,你有具有單通道(128,128)的影像,這是一種 2D 輸入。通常,彩色影像有RGB通道,最終成為(128,128,3)形狀的輸入。

一般的做法是使用CNN層來實作。

下面是一個例子--

from tensorflow.keras import Sequential
from tensorflow.keras.layer import Dense, Flatten, Conv2D, MaxPooling2D, Reshape

model = Sequential()
model.add(Reshape((128,128,1), input_shape=(128,128))
model.add(Conv2D(5, 5, activation='relu')
model.add(MaxPooling2D((2,2) )
model.add(Conv2D(10, 5, activation='relu')
model.add(MaxPooling2D((2,2) )
model.add(Conv2D(20, 5, activation='relu')
model.add(MaxPooling2D((2,2) )
model.add(Conv2D(30, 5, activation='relu')
model.add(MaxPooling2D((2,2) )
model.add(Flatten())
model.add(Dense(12, activation='relu')
model.add(Dense(8, activation='relu')
model.add(Dense(1, activation='sigmoid')

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'] )
model.summary()
模型。"sequential_13"。
_________________________________________________________________
層(型別)輸出形狀引數# 
=================================================================
reshape_5 (Reshape) (None, 128, 128, 1)       0 0          
_________________________________________________________________
conv2d_16 (Conv2D) (None, 124, 124, 5)       130 130       
_________________________________________________________________
max_pooling2d_16 (MaxPooling (None, 62, 62, 5)         0  0         
_________________________________________________________________
conv2d_17 (Conv2D) (None, 58, 58, 10)        1260 1260      
_________________________________________________________________
max_pooling2d_17 (MaxPooling (None, 29, 29, 10)        0          
_________________________________________________________________
conv2d_18 (Conv2D) (None, 25, 25, 20)        5020 5020None, 12, 12, 20)        0         
_________________________________________________________________
conv2d_19 (Conv2D) (None, 8, 8, 30)          15030 15030     
_________________________________________________________________
max_pooling2d_19 (MaxPooling (None, 4, 4, 30)          0 0         
_________________________________________________________________
flatten_9 (Flatten) (None, 480)               0         
_________________________________________________________________
dense_23 (Dense) (None, 12) 5772      
_________________________________________________________________
dense_24 (Dense) (None, 8) 104       
_________________________________________________________________
dense_25 (Dense) (None, 1) 9         
=================================================================
總引數。27,325
可訓練的引數。27, 325
不可訓練的引數。0
_________________________________________________________________

要了解Conv2D層和MaxPooling層是什么,請查看我的在此輸入圖片描述

轉載請註明出處,本文鏈接:https://www.uj5u.com/gongcheng/328133.html

標籤:

上一篇:回傳主類而不是子類的問題JAVAandroid

下一篇:SSD-Mobilenetv2300x300-Tensorflow異議檢測API

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • Git本地庫既關聯GitHub又關聯Gitee

    創建代碼倉庫 使用gitee舉例(github和gitee差不多) 1.在gitee右上角點擊+,選擇新建倉庫 ? 2.選擇填寫倉庫資訊,然后進行創建 ? 3.服務端已經準備好了,本地開始作準備 (1)Git 全域設定 git config --global user.name "成鈺" git c ......

    uj5u.com 2020-09-10 05:04:14 more
  • CODING DevOps 代碼質量實戰系列第二課,相約周三

    隨著 ToB(企業服務)的興起和 ToC(消費互聯網)產品進入成熟期,線上故障帶來的損失越來越大,代碼質量越來越重要,而「質量內建」正是 DevOps 核心理念之一。**《DevOps 代碼質量實戰(PHP 版)》**為 CODING DevOps 代碼質量實戰系列的第二課,同時也是本系列的 PHP ......

    uj5u.com 2020-09-10 05:07:43 more
  • 推薦Scrum書籍

    推薦Scrum書籍 直接上干貨,推薦書籍清單如下(推薦有順序的哦) Scrum指南 Scrum精髓 Scrum敏捷軟體開發 Scrum捷徑 硝煙中的Scrum和XP : 我們如何實施Scrum 敏捷軟體開發:Scrum實戰指南 Scrum要素 大規模Scrum:大規模敏捷組織的設計 用戶故事地圖 用 ......

    uj5u.com 2020-09-10 05:07:45 more
  • CODING DevOps 代碼質量實戰系列最后一課,周四發車

    隨著 ToB(企業服務)的興起和 ToC(消費互聯網)產品進入成熟期,線上故障帶來的損失越來越大,代碼質量越來越重要,而「質量內建」正是 DevOps 核心理念之一。 **《DevOps 代碼質量實戰(Java 版)》**為 CODING DevOps 代碼質量實戰系列的最后一課,同時也是本系列的 ......

    uj5u.com 2020-09-10 05:07:52 more
  • 敏捷軟體工程實踐書籍

    Scrum轉型想要做好,第一步先了解并真正落實Scrum,那么我推薦的Scrum書籍是要看懂并實踐的。第二步是團隊的工程實踐要做扎實。 下面推薦工程實踐書單: 重構:改善既有代碼的設計 決議極限編程 : 擁抱變化 代碼整潔代碼 程式員的職業素養 修改代碼的藝術 撰寫可讀代碼的藝術 測驗驅動開發 : ......

    uj5u.com 2020-09-10 05:07:55 more
  • Jenkins+svn+nginx實作windows環境自動部署vue前端專案

    前面文章介紹了Jenkins+svn+tomcat實作自動化部署,現在終于有空抽時間出來寫下Jenkins+svn+nginx實作自動部署vue前端專案。 jenkins的安裝和配置已經在前面文章進行介紹,下面介紹實作vue前端專案需要進行的哪些額外的步驟。 注意:在安裝jenkins和nginx的 ......

    uj5u.com 2020-09-10 05:08:49 more
  • CODING DevOps 微服務專案實戰系列第一課,明天等你

    CODING DevOps 微服務專案實戰系列第一課**《DevOps 微服務專案實戰:DevOps 初體驗》**將由 CODING DevOps 開發工程師 王寬老師 向大家介紹 DevOps 的基本理念,并探討為什么現代開發活動需要 DevOps,同時將以 eShopOnContainers 項 ......

    uj5u.com 2020-09-10 05:09:14 more
  • CODING DevOps 微服務專案實戰系列第二課來啦!

    近年來,工程專案的結構越來越復雜,需要接入合適的持續集成流水線形式,才能滿足更多變的需求,那么如何優雅地使用 CI 能力提升生產效率呢?CODING DevOps 微服務專案實戰系列第二課 《DevOps 微服務專案實戰:CI 進階用法》 將由 CODING DevOps 全堆疊工程師 何晨哲老師 向 ......

    uj5u.com 2020-09-10 05:09:33 more
  • CODING DevOps 微服務專案實戰系列最后一課,周四開講!

    隨著軟體工程越來越復雜化,如何在 Kubernetes 集群進行灰度發布成為了生產部署的”必修課“,而如何實作安全可控、自動化的灰度發布也成為了持續部署重點關注的問題。CODING DevOps 微服務專案實戰系列最后一課:**《DevOps 微服務專案實戰:基于 Nginx-ingress 的自動 ......

    uj5u.com 2020-09-10 05:10:00 more
  • CODING 儀表盤功能正式推出,實作作業資料可視化!

    CODING 儀表盤功能現已正式推出!該功能旨在用一張張統計卡片的形式,統計并展示使用 CODING 中所產生的資料。這意味著無需額外的設定,就可以收集歸納寶貴的作業資料并予之量化分析。這些海量的資料皆會以圖表或串列的方式躍然紙上,方便團隊成員隨時查看各專案的進度、狀態和指標,云端協作迎來真正意義上 ......

    uj5u.com 2020-09-10 05:11:01 more
最新发布
  • windows系統git使用ssh方式和gitee/github進行同步

    使用git來clone專案有兩種方式:HTTPS和SSH:
    HTTPS:不管是誰,拿到url隨便clone,但是在push的時候需要驗證用戶名和密碼;
    SSH:clone的專案你必須是擁有者或者管理員,而且需要在clone前添加SSH Key。SSH 在push的時候,是不需要輸入用戶名的,如果配置... ......

    uj5u.com 2023-04-19 08:41:12 more
  • windows系統git使用ssh方式和gitee/github進行同步

    使用git來clone專案有兩種方式:HTTPS和SSH:
    HTTPS:不管是誰,拿到url隨便clone,但是在push的時候需要驗證用戶名和密碼;
    SSH:clone的專案你必須是擁有者或者管理員,而且需要在clone前添加SSH Key。SSH 在push的時候,是不需要輸入用戶名的,如果配置... ......

    uj5u.com 2023-04-19 08:35:34 more
  • 2023年農牧行業6大CRM系統、5大場景盤點

    在物聯網、大資料、云計算、人工智能、自動化技術等現代資訊技術蓬勃發展與逐步成熟的背景下,數字化正成為農牧行業供給側結構性變革與高質量發展的核心驅動因素。因此,改造和提升傳統農牧業、開拓創新現代智慧農牧業,加快推進農牧業的現代化、資訊化、數字化建設已成為農牧業發展的重要方向。 當下,企業數字化轉型已經 ......

    uj5u.com 2023-04-18 08:05:44 more
  • 2023年農牧行業6大CRM系統、5大場景盤點

    在物聯網、大資料、云計算、人工智能、自動化技術等現代資訊技術蓬勃發展與逐步成熟的背景下,數字化正成為農牧行業供給側結構性變革與高質量發展的核心驅動因素。因此,改造和提升傳統農牧業、開拓創新現代智慧農牧業,加快推進農牧業的現代化、資訊化、數字化建設已成為農牧業發展的重要方向。 當下,企業數字化轉型已經 ......

    uj5u.com 2023-04-18 08:00:18 more
  • 計算機組成原理—存盤器

    計算機組成原理—硬體結構 二、存盤器 1.概述 存盤器是計算機系統中的記憶設備,用來存放程式和資料 1.1存盤器的層次結構 快取-主存層次主要解決CPU和主存速度不匹配的問題,速度接近快取 主存-輔存層次主要解決存盤系統的容量問題,容量接近與價位接近于主存 2.主存盤器 2.1概述 主存與CPU的聯 ......

    uj5u.com 2023-04-17 08:20:31 more
  • 談一談我對協同開發的一些認識

    如今各互聯網公司普通都使用敏捷開發,采用小步快跑的形式來進行專案開發。如果是小專案或者小需求,那一個開發可能就搞定了。但對于電商等復雜的系統,其功能多,結構復雜,一個人肯定是搞不定的,所以都是很多人來共同開發維護。以我曾經待過的商城團隊為例,光是后端開發就有七十多人。 為了更好地開發這類大型系統,往 ......

    uj5u.com 2023-04-17 08:18:55 more
  • 專案管理PRINCE2核心知識點整理

    PRINCE2,即 PRoject IN Controlled Environment(受控環境中的專案)是一種結構化的專案管理方法論,由英國政府內閣商務部(OGC)推出,是英國專案管理標準。
    PRINCE2 作為一種開放的方法論,是一套結構化的專案管理流程,描述了如何以一種邏輯性的、有組織的方法,... ......

    uj5u.com 2023-04-17 08:18:51 more
  • 談一談我對協同開發的一些認識

    如今各互聯網公司普通都使用敏捷開發,采用小步快跑的形式來進行專案開發。如果是小專案或者小需求,那一個開發可能就搞定了。但對于電商等復雜的系統,其功能多,結構復雜,一個人肯定是搞不定的,所以都是很多人來共同開發維護。以我曾經待過的商城團隊為例,光是后端開發就有七十多人。 為了更好地開發這類大型系統,往 ......

    uj5u.com 2023-04-17 08:18:00 more
  • 專案管理PRINCE2核心知識點整理

    PRINCE2,即 PRoject IN Controlled Environment(受控環境中的專案)是一種結構化的專案管理方法論,由英國政府內閣商務部(OGC)推出,是英國專案管理標準。
    PRINCE2 作為一種開放的方法論,是一套結構化的專案管理流程,描述了如何以一種邏輯性的、有組織的方法,... ......

    uj5u.com 2023-04-17 08:17:55 more
  • 計算機組成原理—存盤器

    計算機組成原理—硬體結構 二、存盤器 1.概述 存盤器是計算機系統中的記憶設備,用來存放程式和資料 1.1存盤器的層次結構 快取-主存層次主要解決CPU和主存速度不匹配的問題,速度接近快取 主存-輔存層次主要解決存盤系統的容量問題,容量接近與價位接近于主存 2.主存盤器 2.1概述 主存與CPU的聯 ......

    uj5u.com 2023-04-17 08:12:06 more