hslogic_模式識別人工神經網路BP演算法

識別活動是人類的基本活動，人們希望機器能代替人類進行識別作業，因此模式識別的理論和方法引起了人們極大的興趣并進行了長期的研究，現已發展成一門多學科交叉的學科，針對不同的物件和不同的目的，可以用不同的模式識別理論、方法，而人工神經網路能較好地模擬人的形象思維，而且由于具有大規模并行協同處理能力、較強的容錯能力和聯想能力以及較強的學習能力，所以將神經網路方法運用到模式識別中去解決識別問題己成為國內外科技作業者廣泛關注的熱點，

本文首先對模式識別、神經網路的發展概況以及應用神經網路來進行模式識別的歷史淵源等方面作了較為詳細的介紹，然后分析了模式識別的一些基本概念、方法，指出了其困難和要求，同時給出了神經網路進行模式識別的方法，并比較它與傳統方法的異同，說明了神經網路方法進行模式識別的特點與優越性；然后給出了本文核心即BP神經網路模式分類的實作思想，運用上述研究成果，借助于MATLAB，用BP演算法完成了神經網路結構設計，進行的測驗表明其運行穩定、字符識別率較高，表明了本文研發成果的有效性，

神經網路的研究是以人腦為基礎的一門智能科學的研究與探索，實際上，40年代初，就有人認識到這一領域研究的重要性，可以說，它的研究與當今串行計算機的研究是同步進行的，但是，由于當時分子生物學發展的限制，人腦的機理還未真正弄清楚，從而影響這一研究領域的進展:另一方面，由于VLSI技術日新月異的進步，使串行計算機及人工智能技術在規模、速度上得到迅猛的發展，從而掩蓋了這一科學研究的必要性和迫切性，所以，當時神經網路理論的發展是緩慢的，

80年代，人們逐漸認識到，由于傳統計算機是建立在馮諾依曼型順序處理結構基礎上的串行計算機，它們存在許多缺點與不足，一是運行必須按事先設計好的一整套精確的串行演算法來進行，但對目多實際問題很難找到(甚至不存在)這樣的串行演算法，二是串行結構在根本上限制了其運算速度，不能實時處理;三是適應性較差，往往很小的區域損壞或考慮不周便會影響整個系統的作業性能，這些不足迫切需要研制和設計出具有新的計算原理的新結構計算機，而以人腦為模型的神經網路學的研究是解決這一問題的嶄新途徑，所以，目前人們在人腦機理研究的基礎上，廣泛開展仿腦模型的人工神經網路理論的研究，預計這一研究的應用不僅會推動神經網路動力學系統理論本身，而且將新一代計算機的設計原理結合起來，給資訊高科技的應用與開發帶來新的變革川，

目前，各國都十分重視這一學科的研究，并投入巨資開展這項研究作業，研究目標是利用計算機研究人腦的學習程序，揭示人腦思維功能奧妙，模式識別是信號處理與人工智能的一個重要分支，它已發展成為一門獨立的新學科，成為當代高科技研究和應用的重要領域之一，模式識別理論的發展與計算機科學的發展是分不開的，人們研究中發現計算機科學隨著VLSI技術日新月異的發展，雖然取得了驚人的成就，但它要直接感知聲音、文字、圖象等外界資訊則十分困難，這是因為計算機的理論是建立在二值邏輯的基礎之上的，對任何命題，非0即1(即非假即真)，顯然，僅僅這兩個值是不能真實地反映千變萬化活動的人腦思維的，因而，需要以人工智能、神經網路為核心開辟新的研究領城來解決這一難題，

人類的視覺分類是建立在一種特殊的資訊處理機理上.視覺圖形識別的“原型”理論(prototypetheory)認為，人腦通過構造“原型”來表征某一類圖形:“原型”被看成是屬于某類圖形的各個類別圖形的“綜合”或統計平均，是這類圖形的最有代表性的、存在于記憶中的抽象的表征圖形.一個具體圖形的識別，就是把這個圖形的表征與這類圖形的原型互相匹配和比較，人腦中需要存盤的只是一類圖形的一個原型，而不是這類圖形的所有的各個圖形lzl，因此，較之模板(template)等理論，原型理論具有解釋人類視覺系統的靈活性和高效率的潛在的可能，這一“原型”理論已由幾例腦損傷病人的神經心理學實驗證實，

視覺模式分類所基于的優越計演算法則為墓于人工演算法實作的機器識別理論的發展提供了嶄新的途徑，所以，有必要深人研究大腦的視覺資訊處理機制，然而，生物學家在研究大腦時發現，迄今為止宇宙間尚未能找到能與大腦的復雜性可比擬的東西，視覺皮層是目前人類對自身大腦皮層研究得員透徹的部分，30多年來，各國科學家對視覺系統的深人研究，大大增進了對視覺系統的結構和功能關系的理解，在另一方面，基于馮諾依曼型計算機的串行符號運演算法則已對計算機的發展構成“瓶頸”，所以，需要研究基于人腦為基礎的新型計算機，

模式識別理論與神經網路理論是相互滲透、互相映射的，人們在最初研究模式識別問題時，也是從智能資訊處理的角度人手，這是因為模式識別與人的視覺有著干絲萬縷的聯系，人的視覺神經系統是人腦神經中樞最豐富的神經分布區域之一，她是人與外界事物交流的“介面”，擔負“辯識”與“分類”任務，所以，如果研究清楚了人的視覺模式資訊處理的機制，那么，基于視覺模型的神經網路識別系統將因此大受裨益，并會得到長足的發展，

目前，以視覺神經系統為中心的神經網路理論的研究正取得迅猛的發展，在這方面取得的些許進步，都會給模式識別系統帶來新的希望，

1.2 神經網路模式識別研究歷史

神經科學作為一門科學起始于19世紀末，1875年意大利解剖學家Golgi用染色法最先識別出單個的神經細胞，1889年Cajal創立神經元學說，認為整個神經系統是由結構上相對獨立的神經細胞構成的，本世紀初，電生理技術開始發展起來，神經系統各種反射性活動得到詳細研究，腦的功能定位學說也被提了出來，腦組織的柱狀功能結構觀點有了發展，各種感覺系統，特別是視覺系統，得到充分研究，并取得很大發展，

近幾十年來，神經科學和腦功能研究的發展極為迅速.有的專家估計，繼諾貝爾生理醫學獎獲得者華生(Watson)和克里克(Crick)于五十年代提出DNA分子雙螺旋結構，成功地解釋了遍傳學問題，在生物學中掀起分子生物學研究的浪潮以后，神經科學(或稱腦科學)將是下一個浪潮，一些原先對分于生物學作出貢獻的科學家，現在對神經科學發生了極大的興趣，轉而投身于這門科學的研究，又如，1972年度諾貝爾物理學獎獲得者庫柏(Cooper)，現在對記憶問題很有興趣，并提出了一個關于記憶的模型，日本在制訂生物物理學研究規劃時，把腦的研究列為第一項，美國的神經科學學會是美國最大的學會之一，當前，世界上有關神經科學的研究機構、學識訓動、出版物等相當多，面且有迅速增長的趨勢，

在神經網路理論研究的歷史行程中，其中的視覺神經系統的研究是最活躍和最成功的領城，所以，基于視覺理論的神經網路模式識別理論的研究也一直是非常活躍的學科，并且被認為是神經網路應用最成功的一個重要方面，它的發展與神經網路理論可以說是同步的，

50年代末60年代初，Rosenblatt提出的Pereeptron(知覺器)和Widrow提出的Adaline(自適應線性元件)，從而使我們獲得了簡單的線性分類器，但是，由于Pereeptron缺少有效的訓練方法，致使研究作業非常緩慢，Minsky和Papert于1969年發表了很有影響的《Perceptron》一書，從而使這一研究走向低潮，直至1986年，Rumelhant和MeClelland提出了多層網路的“誤差反向傳播演算法(BP)”，才使這一狀況得到改變，自此，也使有導師學習多層感知器網路(MLPN)模式分類器走向實用化，緊接著在多層感知器網路的基礎上，又派生出若干前饋網路，如徑向基函式網路(RBFN)、函式鏈網路(FLN)等等，當然，目前神經網路的學習方法己完全突破原先的誤差反向傳播演算法，如遞推最小二乘演算法、投影演算法等，

1982年，美同加州工學院的物理學家HoPfield提出的一種用于聯想記憶和優化計算的反饋型網路模型，由于引入了“能量函式”的概念，使得網路走向具體的電路實作得到了保證，從而大大推動了神經網路研究的發展，再一次喚起人們對神經網路研究的興趣，

1973年，watanabe提出了使用模式子空間的概念來設計不同類別對應的子空間，由不同類別聚類的子空間來實作模式識別，這顯然是模式識別最直觀的概念，70年代末，Kohonen提出了學習子空間(LSM)模式分類的概念;oja在此基礎上又給出了平均學習子空間方法(ALSM)，從而使子空間模式識別形成了較完整的體系，井已將這種方法成功地應用在語音音素識別實驗中，

實際上，學習子空間方法是一種無導師學習的神經網路模式識別方法，1991年，L.Xu與E.Oja等人用大量并行結構的神經元來實作了這種方法，從而將學習子空間方法與硬體結構形式的神經網路聯系起來，使這項作業走向實用化ls1，

1962年，Widrow提出的自適應線性元件(Adaline)，就是為當時研究大腦的自適應學習系統而提出來的，由于60年代后期神經網路的研究正處于低潮，所以，Widrow將這一模型理論主要用于自適應信號處理的研究，80年代中后期，人們發現這些理論完全是神經學習系統的基本法則，井完全可以解決自適應模式識別問題，

70年代，Anderson提出的BSB模型，Kokonen提出的自組織特征映射網路模型，Gross一berg等提出的自適應共振理論(ART)等等都為神經網路模式識別理論提供進一步的理論根據，可以說，幾乎所有現有的神經網路物理模型都在模式識別領域得到了成功的應用，神經網路理論所取得的一些進步都會給模式識別理論的發展帶來鼓舞;相反，模式識別理論的深入研究和進步又會大大推動神經網路理論的長足發展，它們的關系是相互影響、相互滲透的，

現在，國際上神經網路、機器智能和計算機視覺理論都是熱門的課題，這些理論日新月異的發展都會給模式識別理論帶來新的希望，所以，開展神經網路模式識別理論的研究具有重要的意義和價值，

1.3模式識別的原理和基本概念

人們在日常生活、學校和作業中經常進行識別活動，識別是人類的基本活動之一，人類具有非常復雜和高級的識別系統，一個人在清醒的狀態，無時無刻不在進行著識別活動:分辯周圍的人和物，聽取和識別各種聲音，我們常常夸一個人“聰明”，指的就是“耳聰目明”，可以說，除了思維活動，對外界景物及語音的識別和分析構成了人類甚至其它智能活動的重要方面，

那么什么是模式呢?廣義地說，模式是資訊賴以存在和傳遞的形式，諸如波譜信號、圖形、文字、物體的形狀、行為的方式、程序的狀態等都屬于模式的范疇，

識別能力原本是人類和其他生物的一種基本屬性，人們通過模式感知外部世界的各種事物，這是獲取知識、概念和作出反應的基礎，是一種思維和抽象程序，而在人工智能或資訊科學范疇內，模式識別是指用數學、物理方法和技術實作對模式的自動處理、描述、分類和解釋，目的在于用機器部分實作人的這種智能活動，所以在目前模式識別所研究的內容可以分為兩類:一是對人類和其他生物識別能力及其機理的研究，二是對滿足某些應用需要的識別裝置的理論和技術的研究，

前者研究的內容主要涉及神經機理和認知心理等方面，往往是它的研究為后者提供理論基礎和模仿的依據，而第二個課題主要是通過工程、計算機和其他資訊科學等方面的技術和知識，達到以機器模擬或區域超過人的識別能力的目的，它在技術上的提高不但驗證了前者的結論，而且為其進一步的研究提供了手段，

需要說明的是，本論文所討論的是資訊領域內的模式識別，而且主要是以影像、圖形為基礎的模式識別，在所討論的范疇內，模式和模式識別的定義如下:

模式(Pattern):是對某些感興趣的客體的定量的或結構的描述;模式類是某些共同特征的模式的集合，

模式識別(Pattern Recognition):是研究一種自動技術，依靠這種技術，機器將自動地把待識別模式根據其特征分到各自的模式類中去，

自動化模式識別技術的應用，其最低限度是減輕人們地勞動強度，提高生產效率，提高社會生產力，更長遠地意義在于最終提高人類的生活質量，

1.4模式識別的基本要求及其困難

雖然對于不同的模式識別任務來說，所要滿足的要求和要達到的目標不盡相同，但一般對于模式識別技術的基本要求有以下幾點:

(l)具有高的或者令人滿意的鑒別率(IdentificationRat，)，這應當說是對模式識別最根本的要求和追求更高指標的前提，

(2)具有不變性識別的能力，不變性識別是指在待識別模式發生位置平移(Shift)、尺度伸縮和任意畸變的情形下，仍然能夠做到正確識別，以視覺方面的識別為例，手寫體文字識別至今仍是一個未解決的難題，此外，我們知道除了由于采集資訊的設備造成的變形，當從不同的視場角視物時，得到的影像也是不同的，甚至由于目標的運動，可能發生譬如伸縮、彎曲等物理性畸變，對于生物視覺來說，在目標處于不同的形態時，識別出它是很自然的事情，但是對于機器識別，是很困難的，因為每個畸變發生，都產生一個新的模式，導致的結果是模式庫將變得很大，所需運算量也爆炸式地增長，

(3)能實時地完成識別，隨著技術的發展和模式識別應用范圍的拓寬，能夠實時地或者說在線地繪出識別結果變得越來越重要，在很多應用領域，譬如自主機器人駕駛、導彈巡航、指紋鎖等的應用上，如果做不到實時識別，即使識別精度再高，識別能力再強，也失去了實際應用的意義，可否實時一般受到計算時間的約束，我們都知道，在計算速度上，計算機有瓶頸效應，光學雖說有必須的優點，在目前卻受到器件性能的限制，

(4)可行性，即達到實用的目標，這要求設計的方案在工藝上可實作，不存在對實驗室條件的依賴性，以及滿足小型化，便攜等要求，

對模式識別技術的這四點要求并不是獨立的，而是相互制約的，比如畸變發生了，識別率可能下降，畸變樣本增多，實時識別也就更加困難了，所以在設計方案時，應當進行權衡比較，在各項要求間取得一個協調的平衡點，

1.5模式識別的系統構成

前面介紹了模式識別的重要性以及兩個首先接觸的基本概念，一個功能完善的識別系統在進行模式識別之前，首先需要進行學習，一個模式識別系統及識別程序的原理框圖可以用下圖1.1表示，虛線的上部是識別程序，虛線的下部是學習、訓練程序，需要指出的是，應用的目的不同、采用的分類識別方法不同，具體的分類程序和識別程序將有所不同，

下面我們對識別系統的主要環節作簡要的說明，

(1)特征提取，無論識別程序還是學習程序，都要對研究物件固有的、本質的及重要的特征或屬性進行量測并將結果數值(字)化，或將物件分解并符號化，形成特征矢量或符號串、關系圖，從而產生代表物件的模式，模式類中的個體在有些場合中也稱為樣本,用于學習與訓練的樣本的類別應是己知的，另外，在進行特征提取之前一般還需要對目標的有關資訊進行預處理，

(2)特征選擇，通常能描述物件的元素很多，為了節約資源，節省計算機存盤空間、機時、特征提取的費用，有時更是為了可行性，在滿足分類識別正確率要求的條件下，按某種準則盡量選用對正確分類識別作用較大的特征，使得用較少的特征就能完成分類識別任務，這項作業表現為減少特征矢量的維數、符號串字符數或簡化圖的結構，

(3)學習和訓練，為了讓機器具有分類識別功能，如同人類自身一樣，人們應首先對它進行訓練，將人類的識別知識和方法以及關于分類識別物件的知識輸入機器中，產生分類識別的規則和分析程式，這也相當于機器進行學習，這個程序一般要反復進行多次，不斷地修正錯誤、改進不足，這包括修正特征提取方法、特征選擇方案、判決規則方法及引數，最后使系統正確識別率達到設計要求，目前，機器的學習需要人工干預，這個程序通常是人機互動的，

(4)分類識別，在學習、訓練之后，所產生的分類規則及程式用于未知的物件的識別，需要指出的是，輸入機器的人類分類識別的知識和方法以及有關物件知識越充分，這個系統的識別功能就越強、正確率就越高，有些分類程序似乎沒有將有關物件的知識輸入，實際上我們在選擇距離測度、在采用某種聚類方法時，已經用到了物件的一些知識，也在一定程度上加入了人類的知識，

1.6模式識別的傳統方法

由于識別活動是人類的基本活動，人們希望機器能代替人類進行識別作業，因此模式識別的理論和方法引起了人們極大的興趣并進行了長期的研究，現已發展成一門多學科的交叉學科，針對不同的物件和不同的目的，可以用不同的模式識別理論、方法，目前主流的技術是:統計模式識別、句法模式識別、模糊數學方法、人工神經網路方法，它們之間往往存在著一定的聯系和借鑒，

在二十世紀五十年代，一些研究人員在形式語音理論領域開始研究語法的數學模型，這些語法的數學模型己經明顯地影響了編輯器設計、計算機語言和自動化領域的研究，按句法規則的模式識別主要是受到了來自形式語言理論的觀念影響，從而，各種語言的語法和結構的模式識別術語也常在文獻中用來表示按句法規則的方法，

對于每一個模式，為了表示多級(樹狀)結構資訊，可以將一個模式用一些比較簡單的子模式來描述，而每一個比較簡單的子模式，再用一些更為簡單的子模式加以描述，等等，這就展示了句法或結構的方法，這種處理方法，描繪了模式的結構(多級的，或樹狀的)和語言的句法兩者間的類似性質，模式由一些子模式以各種方式組合而成，正如同英文中的短語和句子由單詞連接而成，單詞又由字符連接而成一樣，顯然，為了使這種處理方法表現出其優越性，必須要使選定的最簡單的子模式，即“模式基元”，識別起來比識別模式本身容易得多才行，

通過一組模式基元及其組合運算來描述模式的結構的“語言”，有時就被稱為“模式描述語言”，由基元組成模式所遵循的那些規則，通常由模式描述語言的所謂文法來確定，在模式中的每個基元被辨認出來以后，識別程序的實作就通過對描述給定模式的“句子”進行句法分析或剖析，來確定它對于指定的文法來說在句法(或文法)上是否正確，同時，句法分析還產生出代表那個給定模式的句子的結構描述(通常具有樹狀結構的形式)，

模式識別的句法方法使我們能夠用一小組簡單的描述基元和文法規則來描述一大組復雜的模式，如同在以后將會看到的那樣，這種能力最具有吸引力的一個方面，就是可以利用文法的遞回性質，一個文法(再寫)規則可以使用任意多次，所以就有可能用非常緊湊的方式來表示一個句子的無窮集的某些基本結構特性，自然，這種方法的實際效果將取決于我們是否能很好地識別簡單模式基元及由組合運算所代表的基元之間的關系，

1.6.3模糊模式識別

自從1965年扎德教授提出模糊集理論以來，有關模糊資訊處理的理論和應用均取得了重大的進展，在現實世界中存在著某些難以精確描述的事物，而模糊數學就是用數學的方法研究和處理具有“模糊性”事物的數學，模糊性主要是指客觀事物差異的中間過渡的不分明性，模糊數學并不是把精確的數學變得模糊，而是使用精確的數學方法來處理模糊性事物，它使得人們能夠描述模式屬于某類的程度，即有些既不絕對屬于某類，也不一定絕對不屬于某類，只是在一定程度上與某類更相象，所以，傳統的集合理論解決這類問題時就遇到了困難，而這些正是模糊集合理論研究的內容，正是這一優點，使模糊邏輯在模式識別中得到了很好的應用，

Ramdas(1994)利用模糊聚類從原始資料中直接提取特征，還能對已經得到的特征進行優選和降維操作，以免造成維數災難，馬少平等(1997)在漢字方向象素特征的基礎上，指出了其存在的網格劃分固定、特征提取對噪聲敏感等不足，在其中加入模糊化描述，使特征變化趨于平滑，從而更好地描述了漢字的特征，為漢字的識別打下了很好的基礎，張德喜(2000)把模糊方向線索特征與人工神經網路相結合用于手寫體識別，該方法較好地解決了手寫體漢字識別中的變形問題，對非相似字大規模集合分類非常有效，提高了漢字的識別率，

聚類是按照事物間的相似性進行區分和分類的程序，是一種典型的無監督學校，傳統的聚類分析是一種硬劃分，它把待識別的物件嚴格地劃分到某個類中，具有非此即彼的性質，因此這種分類的類別界限是分明的，而實際上大多數的物件沒有嚴格的屬性，軟劃分更適合于聚類分析，因此對模糊聚類的研究引起了人們的注意，李晶皎(1999)把模糊聚類用于語音特征的矢量量化，語音識別時有比較好的效果，丁震等(1997)采用一種改進的模糊聚類方法用于影像分割，取得了比較好的效果，

1.7神經網路模式識別方法

模式識別的任務是把模式正確地從特征空間映射到類空間，或者說是在特征空間中實作類的劃分，模式識別的難度和模式在特征空間中的分布密切相關，如果特征空間中的任意兩個類可以用一個超平面去區分，那么模式是線形可分的，這時的識別較為容易，但實際應用中，模式的分布往往是很不規則的，這就要求所用的分類器能在模式空間里形成各種非線性分割平面，神經網路是解決這一類問題的好方法，神經網路還具有自適應能力，它不但能自適應地學習，有些網路還能自適應地調整網路的結構，神經網路分類器還兼有模式變換和模式特征提取的作用，所以，一般的神經網路分類器不需要對輸入模式做明顯的特征提取，網路的隱層本身具有提取的功能，最后一點是，神經網路分類器一般對輸入模式資訊的不完備或特征的缺損不太敏感，它在背景噪聲統計特性未知的情況下，性能更好，而且網路具有更好的推廣能力，

基于以上種種優點，使用神經網路進行模式分類是很有意義的，神經網路模式識別已發展成為模式識別領域的一個重要方法，起到了傳統模式識別方法不可替代的作用，

1.8神經網路模式識別方法與傳統模式識別方法的關系

1.8.1神經網路模式識別與傳統模式識別方法的關系

神經網路模式識別與傳統的模式識別在很多方面是相聯系的，這種聯系不但在于它們都是試圖從樣本資料出發完成模式識別問題，更重要的是它們在方法上具有一定的等價關系，神經網路能夠實作一種特殊的非線性變換，把在低維高度非線性的輸入空間變換到由其隱層構成的高維輸出空間，在這個高維空間中能夠較容易找到合適的判決表面，甚至變得線性可分，這與Fisher線性判別準則相對應，可以看作是Fisher線性判別的一種非線性多維推廣，Fisher線性判別分析就是尋找一種線性變換，使變換后的Fisher準則函式最大，線性的多維感知機，在其隱層輸出所張成的空間中可以實作該準則函式最大.當訓練樣本數趨于無窮大時，以使均方誤差最小為目標訓練的多層感知機的輸出在統計意義上是對樣本貝葉斯后驗概率的最小均方誤差估計，至于單層感知機，實際上就是一種線性分類器，自組織映射網路如果使其領域互動作用設為零則等價于C一均值演算法，CG網等價于樣品中心聚類演算法，Hamming網在一定條件下等價于最優分類器等等，

1.8.2神經網路模式識別的特點

與傳統的模式識別演算法相比，人工神經網路有很多的不同和優勢，它具有以下特點:

(1)函式逼近能力，神經網路的輸入與輸出可以看作一個函式映射，神經網路通過不斷地調整節點權值，實作了在最小二乘誤差條件下輸入與輸出的最好逼近，

(2)大規模并行協同處理能力，傳統的計算機處理資訊方式為串行處理，這樣處理的速度再快，處理和資訊也是有限的，計算與存盤是完全獨立的兩部分，因此，存盤器和運算器之間的通道就成了計算機的瓶頸，因而大大地限制了它的運算能力，而神經網路中的神經元之間有著大量的相互連接，所以資訊輸入之后可以很快地傳遞到各個神經元之間進行同時處理，即并行處理，

(3)自學習、自組織性，目前基于符號推理的專家系統還不具備自學習能力，即不在運算程序中自我完善、發展和創新的知識，系統的功能取決于設計者的知識和能力，神經網路具有很強的自學習能力，可以在學習程序中不斷完善自己，具有創造性，

(4)理想記憶功能，神經網路可以看成由大量子系統組成的大系統，系統的最終行為完全由它的記憶功能決定，初態可以認為是給定有關記憶的部分資訊，

(5)具有很強的魯棒性和容錯性，在神經網路中，資訊的存盤不像傳統的計算機那樣存在存盤器的某一特定位置，而是分布式地存在整個網路中相互連接的權值上，這就使它比傳統的計算機具有較高的抗毀性，

總之，人工神經網路能較好地模擬人的形象思維，具有大規模并行協同處理能力、較強的容錯能力和聯想能力、較強的學習能力，它是一個大規模自組織、自適應的非線性動力系統，

1.9本文研究背景與意義

如今，模式識別技術的發展已由簡單應用到在各行各業都有廣泛的應用，如:(1)各種嵌入式系統如手機、PDA、資訊家電等操作時要求越來越人性化，如能夠語音識別、指紋識別、漢字識別等;(2)自動化儀器如自動售歡訓、自動搬運機、監視裝置等;(3)在工業自動檢測上如零件尺寸的動態檢查、產品質量、包裝、形狀識別、表面缺陷檢測等;(4)醫療儀器上的樣本檢查分析、X射線攝像、胃鏡、腸鏡攝像等:(5)軍事上有衛星偵察、航空遙感、微光夜視、導彈制導、目標跟蹤、軍事影像通信等，

隨著人們對自動化智能系統的渴求，技術和器件的發展，模式識別的應用范圍越來越廣，人們不僅僅是要求自動化系統能夠替代人完成繁重單調或危隙訓境下的作業，而是面向于使人們的生活更加方便和舒適，如安全防偽系統、智能機器人、智能卡等等的出現，因而，模式識別技術所面臨的挑戰除了要求解決大數量模式類的識別和復雜畸變不變性識別的傳統難題，而且開始了更復雜的帶有感性色彩的識別，如運動員訓練及姿勢校正，由人走路的姿勢識別人，對人的嘴形變化甚至面部表情的識別等等，

而識別模式是所有生物系統共有的主要活動，識別終究可以看作是生物的一種基本屬性，生物系統(包括人類)模式識別能力的研究屬于諸如心理學、生理學和神經科學等學科的范圍，對于用機器實作一個給定任務的識別的實際技術和用于設計這些系統的必要數學構架研究，屬于工程、計算機科學和應用數學領域，

隨著神經網路技術的出現，在從事生物系統領域研究的工程師和學習以及心理學家、生理學家、語言學家等等之間，建立了共同的研究領域，而且早期的建立模式識別系統的一些作業，實際上是出于生物學上的動機，最常見的歷史例子就是所謂的感知機和自適應線性組合器(ADALINE)，這些研究的目的，就是研制出一個識別系統，它的結構和作業方式同人的識別系統相仿，在Minskey等認為感知機能力有限的悲觀研究，使這個領域的研究大大地減少了，后來隨著更有力的神經技術的出現，神經網路領域研究再一次充滿活力，神經網路或連接主義學說，提供了通向真正擁有智能能力的計算機系統這一充滿希望的道路，最近幾年在人工神經網路領域中的進展，己經使我們離創造出能夠像人一樣作業的系統這一目標更近了，

總之，神經網路是有效的和能滿足預期需要特性的天然分類器，開展它在模式識別領域的研究和運用具有很大的潛力，也具有很大的魅力，

4.1模式識別和模式的概念

人類能對周圍的事物有所認識，了解它們顏色、味道、聽到聲音，這種能力對于人來說極為平常，所以在很長時間內都未引起重視，可是，當計算機出現以后當人們企圖用計算機來實作人或動物所具備的識別能力時，它的難度才逐步為人們所認識，什么是模式呢？廣義的說，存在于時間和空間中可觀察的事物，如果我們可以區別它們是否相同或相似，都可以稱之為模式，但模式所指的不是事物本事，而是我們從事物獲得的資訊，因此模式往往表現為具有時間或空間分布的資訊，人們為了掌握客觀事物，按事物相似的程度組成類別，模式識別的目的就在于面對某一具體的事物時將其正確的歸入某一類別，例如從不同角度看人臉，視網膜上成的像不同，但我們可以識別出這個人是誰，把所有不同角度的像歸為一類，即這個人，并且用特定的符號來表達這個名字，那么模式識別可以看成是具有時間和空間分布的資訊向著符號所做的映射，

4.2 神經網路的學習

學習方式通過向環境學習獲取知識并改進自身性能是NN的一個重要特點，在一般情況下，性能的改善是按某種預定的度量通過調節自身引數（加權值）隨時間逐步達到的，學習方式（按環境所提供資訊的多少分）有三種：監督學習（有教師學習）這種學習方式需要外界存在一個“教師”，他對一組給定輸入提供應有的輸出結果（正確答案），這組已知的輸入-輸出資料稱為訓練樣本集，學習系統（NN）可根據已知輸入與實際輸出之間的差值（誤差信號）來調節系統引數，非監督學習（無教師學習）非監督學習時不存在外部教師，學習系統完全按斬訓境所提供資料的某些統計規律來調節自身引數或結構（這是一種自組織程序），以表示外部輸入的某種固有特征（如聚類，或某種統計上的分布特征）再勵學習（或強化學習）這種學習介于上述兩種情況之間，外部環境對系統輸出結果只給出評價（獎或懲）而不是給出正確答案，學習系統通過強化那些受獎勵的動作來改善自身性能，

4.3 利用MATLAB設計BP神經網路和模式識別

4.3.1 產生訓練樣本和測驗樣本

多層前饋網路的分類能力與網路資訊容量相關如用網路的權值和閥值總數 表征網路資訊容量研究表明訓練樣本數與給定的訓練誤差之間應滿足以下匹配關系表明網路的資訊容量與訓練樣本數之間存在著合理匹配關系在解決實際問題時 訓練樣本數常常難以滿足以上要求對于確定的樣本數 網路引數太少則不足以表達樣本中蘊涵的全部規律 而網路引數太多則由于樣本資訊少而得不到充分訓練 因此當實際問題不能提供較多的訓練樣本時必須設法減少樣本維數從而降低，

% 產生訓練樣本，每一列為一個樣本

fprintf('隨機產生訓練樣本(15組):\n');

P1 = [rand(3,5),rand(3,5)+1,rand(3,5)+2]

fprintf('期望輸出:\n');

T1 = [repmat([1;0;0],1,5),repmat([0;1;0],1,5),repmat([0;0;1],1,5)]

% 產生測驗樣本，每一列為一個樣本

fprintf('隨機產生測驗樣本(15組):\n');

P2 = [rand(3,5),rand(3,5)+1,rand(3,5)+2]

fprintf('測驗樣本期望輸出:\n');

T2 = [repmat([1;0;0],1,5),repmat([0;1;0],1,5),repmat([0;0;1],1,5)]

我們可以看到P1就是產生三組隨機資料做為訓練樣本，P2就是產生的測驗樣本，

4.3.2 BP網路的引數設定

演算法的基本思想是 學習程序由信號的正向傳播與誤差的反向傳播兩個程序組成正向傳播時輸入樣本從輸入層傳入經各隱層逐層處理后 傳向輸出層 若輸出層的實際輸出與期望的輸出教師信號不符則轉入誤差的反向傳播階段誤差反傳是將輸出誤差以某種形式通過隱層向輸入層逐層反傳并將誤差分攤給各層的所有單元從而獲得各層單元的誤差信號此誤差信號即作為修正各單元權值的依據這種信號正向傳播與誤差反向傳播的各層權值調整程序是周而復始地進行的權值不斷調整的程序也就是網路的學習訓練程序此程序一直進行到網路輸出的誤差減少到可接受的程度或進行到預先設定的學習次數為止，

NodeNum = 10; % 隱層節點數

TypeNum = 3; % 輸出維數

p1 = xn_train; % 訓練輸入

t1 = dn_train; % 訓練輸出

Epochs = 1000; % 訓練次數

P = xn_test; % 測驗輸入

T = dn_test; % 測驗輸出(真實值)

其中隱層節點數的確定是神經網路設計中非常重要的一個環節，一個具有無限隱層節點的兩層BP網路可以實作任意從輸入到輸出的非線性映射，但對于有限個輸入到輸出的映射，并不需要無限個隱層節點，這就涉及到如何選擇隱層節點數的問題，而這一問題的復雜性，使得至今為止尚未找到一個很好的決議式，隱層節點數往往根據前人設計所得的經驗和自己進行試驗來確定，

net.trainParam.show = 1; % 訓練顯示間隔

net.trainParam.lr = 0.3; % 學習步長 - traingd,traingdm

net.trainParam.mc = 0.95; % 動量項系數 - traingdm,traingdx

net.trainParam.mem_reduc = 10; % 分塊計算Hessian矩陣

net.trainParam.epochs = 1000; % 最大訓練次數

net.trainParam.goal = 1e-8; % 最小均方誤差

net.trainParam.min_grad = 1e-20; % 最小梯度

net.trainParam.time = inf; % 最大訓練時間

通過以上的這只，我們基本完成了BP神經網路的基本引數設定，下面就開始測驗，

模式識別理論與神經網路理論是相互滲透、互相映射的，目前，以視覺神經系統為中心的神經網路理論的研究正取得迅猛的發展，在這方面取得的些許進步，都會給模式識別系統帶來新的希望，本文從神經網路是天然分類器的理論出發，全面研究了神經網路進行模式識別的各個方面，并具體設計了一個的識別系統來進行實際意義上的驗證，綜合起來，本文主要完成了以下幾方面的作業:

l、仔細分析了模式識別、神經網路的歷史淵源以及用神經網路來進行模式識別的發展史，然后指出模式識別技術的實際困難和要求，從傳統意義上的一些模式識別方法入手，分別研究了他們不同的識別思想，再對神經網路進行模式識別的方法進行分析，從而比較它與傳統方法的異同，指出了神經網路方法的特點與優越性，

2、神經網路的底層理論基礎是實作模式識別的根本，也是其實作模式識別的可行性的最有力證據，本文在大量研究國內外文獻資料的基礎上給出了一些概況性理論，首先論述了神經網路的生物基礎，然后敘述了神經網路的拓撲結構及學習規則等原理，然后介紹了一些典型的常用于模式識別的神經網路模型，最后給出了神經網路進行模式識別的理論方法，

3、本文介紹了基于BP演算法的多層前饋網路模型和它的學習演算法，并分析了BP網路的一些優點和能力，同時分析了BP網路的一些局限性，然后在前面基礎上給出了為了克服這些局限性而改進其性能的幾種方法，綜合該章前述內容文中仔細研究了BP網路分類器的各個關鍵部分設計的問題，并給出了具體設計實作方法，最后設計并實作了一個具體的神經網路模式識別系統，實作對數字及字母識別，

目前，國內外對于神經網路模式識別技術的研究都還基本處于一種起步階段，很多部分尚待完善和突破，而且由于研發條件、時間因素等一些客觀條件限制，所以本文的研究也不是很成熟，還需在下面一些方面做進一步的研究和改進:

1、對神經網路生物機理的進一步深入理論研究，以及能實際應用的人工神經網路的一些學習演算法及模型的的研究，同時神經網路和模式識別二者有怎樣的內在聯系，對這種關系需要更深層次的理解，從而研究出運用神經網路解決模式識別問題的較好方法，

2、傳統模式識別方法在很多領域己經獲得了較為廣泛的應用，雖然神經網路模式識別方法具有它們所不可比擬的優越性，但是傳統模式識別方法和神經網路模式識別方法的結合也在很多方面得到了重視，而且怎樣結合傳統模式識別方法的優點，從而把傳統模式識別方法應用到神經網路中進行識別是一個很好的方向，今后應加強這方面的研究，

3、己經得到應用的神經網路模型有很多，而且其中有一些模型具有很大的應用潛力，如何充分研究具有代表性的網路模型進行模式識別，以及研究它們之間的異同進行一種縱向比較能更好地促進神經網路解決識別問題，而且就BP網路作為它們的代表雖然已經獲得了很廣泛的應用，但是BP網路依然有很多的局限性和不足，這些方面并不是短期內可以改變的，今后需要多結合研究國內外同行的研究成果及方向，從而加強自己這方面的研究水平，