前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇卷積神經(jīng)網(wǎng)絡(luò)的特性范文，相信會為您的寫作帶來幫助，發(fā)現(xiàn)更多的寫作思路和靈感。

卷積神經(jīng)網(wǎng)絡(luò)的特性范文第1篇

關(guān)鍵詞：智能消防；火焰識別；卷積神經(jīng)網(wǎng)絡(luò)

一、智能裝備簡介

若想提高消防救援隊(duì)伍的滅火救援效能，提高裝備的智能化水平是必不可少的一步。消防裝備的配備情況影響著戰(zhàn)術(shù)和戰(zhàn)術(shù)效果，甚至是直接影響救援成功率的重要因素。因此，提升裝備的智能化水平、改善裝備結(jié)構(gòu)從而提升消防救援隊(duì)伍的作戰(zhàn)能力是關(guān)系廣大人民群眾生命以及財(cái)產(chǎn)安全的重要手段。消防裝備智能化的研究工作任重而道遠(yuǎn)。本文著眼于圖像法火焰識別技術(shù)，通過研究新技術(shù)，探討將其應(yīng)用于智能消防裝備之中的可行性。

二、卷積神經(jīng)網(wǎng)絡(luò)的簡介

（一）網(wǎng)絡(luò)結(jié)構(gòu)。卷積神經(jīng)網(wǎng)絡(luò)功能繁多，其中多層檢測學(xué)習(xí)神經(jīng)網(wǎng)是一種多層次的神經(jīng)監(jiān)測網(wǎng)絡(luò)。其中心模塊為卷積層，主要由隱藏層與最大池采樣層組成，主要功能是特征提取。其中，連接層與傳統(tǒng)多層感應(yīng)器的隱藏層、邏輯歸類器相對應(yīng)。卷積神經(jīng)網(wǎng)絡(luò)的輸入特征來源使卷積濾波器，而該神經(jīng)網(wǎng)絡(luò)的每一層都有多個理論上的神經(jīng)元以及特征圖。在給一個來自卷積和子采樣層的輸入統(tǒng)計(jì)濾波后，系統(tǒng)就提取了圖像局部的特征，就可以確定它與其他特征之間的相對方位，上一層的輸出值直接輸入至下一層。通常情況下，我們可以通過特征層來得到卷積層（特征層是指：輸入到隱藏層之間的映射）。（二）局部感受野與權(quán)值共享。局部感受野：由于圖像空間的連接是局部性的，因此每個神經(jīng)元都不需要感測全部圖像，而只需感覺到局部的特征。然后，通過對較高級別感測量的局部神經(jīng)元進(jìn)行集成，可以得到整體的信息，并且減少了連接數(shù)量。權(quán)重分享：不同神經(jīng)元之間的參數(shù)分享可通過降低求解參數(shù)，并通過放大器對圖像的放大積獲得多種特征圖。實(shí)際上，權(quán)重共享圖像上的第一隱藏層的所有神經(jīng)元由于是在同一卷積上確認(rèn)的，所以均能在圖像的任意一個位置檢測到毫無差別的特性。他的最主要的功能是能夠通過適應(yīng)小范圍的圖像和平移從而達(dá)到檢測不同位置的目的，也就是良好的不變性平移。（三）卷積層、下采樣層。卷積層：通過去卷積來提取圖像特征，用來強(qiáng)化初始信號原屬性，從而減少噪音。下采樣層：由于研究人員發(fā)現(xiàn)圖像下采樣過程中，它能在保留信息的同時降低數(shù)據(jù)處理量，因此在發(fā)現(xiàn)某一特定的特征后，由于這個位置并不重要，所以樣本會擾亂特定的位置。我們只需要知道這個特征與其他特點(diǎn)之間的空間相對方位，就可以處理類似的物體由變形和變型而產(chǎn)生的變化。（四）卷積神經(jīng)網(wǎng)絡(luò)的不足。如果網(wǎng)絡(luò)層需要加深，每一個網(wǎng)絡(luò)層增加的神經(jīng)元數(shù)量會大幅增加，從而使模型復(fù)雜化，增大了調(diào)整參數(shù)的難度，也增大了過度擬合的風(fēng)險。此外，在反向傳播過程中，連續(xù)迭代會使梯度不斷減小，而梯度一旦歸零，權(quán)值便無法更新，導(dǎo)致神經(jīng)元失效。（五）展望與總結(jié)隨著研究人員對卷積神經(jīng)網(wǎng)絡(luò)相關(guān)的研究不斷推進(jìn)，其性能日益強(qiáng)大，復(fù)雜度也日益提升。目前，卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)研究已經(jīng)取得了顯著成效。然而，一些人工擾動（如向原圖片中鍵入噪點(diǎn)）仍然會導(dǎo)致圖像的錯誤分類。如何解決這一問題，是今后研究的重點(diǎn)。此外，卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)升級仍有很大空間，通過提升網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的合理性，可以完善量化分析能力。

三、圖像分割

圖像中包含很多數(shù)據(jù)，需要分割圖像。然而，精確區(qū)分干擾是對整個系統(tǒng)亮度的精確分類和準(zhǔn)確劃類的前提。圖像的分析技術(shù)是計(jì)算機(jī)視覺技術(shù)的基礎(chǔ)。通過圖像分割、提取特征參量等方法可以將原本的圖像抽象化，從而便于分析和處理。多年以來，圖像的分割技術(shù)研究一直是重中之重，研究人員給出了多種分割方法。一般而言，圖像分割是將圖像劃分為不同的區(qū)域，給不同的區(qū)域賦予不同的權(quán)重，從而獲取重要對象的一種技術(shù)。特征可能是灰度、顏色、紋理等，目標(biāo)可能對應(yīng)一個區(qū)或多個地方，這與特殊目的應(yīng)用程序和特殊目的服務(wù)請求程序有關(guān)。一般而言，圖像取值分割分析算法大致來說可以再細(xì)分為圖形圖像取值分割、邊緣圖像分割、區(qū)域分割和重復(fù)圖像分析四大個門類。

四、火焰色彩虛擬模型的特征

（一）火焰色彩顏色類型特征?；鹧嫔誓Ｐ鸵话銇碚f是基于某種火焰色彩類型模式，通過在圖像閾值控制范圍內(nèi)通過設(shè)置某種色彩模型圖像閾值來降噪提取火焰顏色特征圖像?？梢杂萌魏翁崛§o態(tài)火焰的特殊像素或者圖案方式來精確描述一個靜態(tài)火焰特征。然而，單純地依靠顏色模型來進(jìn)行火焰識別會導(dǎo)致嚴(yán)重的誤判?；鹧娴念伾秶欠浅４蟮?，所以它很可能與其他物體顏色相近，導(dǎo)致模型將其混為一談。（二）降噪在?；鹧姘l(fā)展的初期過程中，是不斷處于移動變化的。又一方面，火焰的全部運(yùn)動都不會跳躍，也就是火焰滿足相對穩(wěn)定性。所謂燃燒火災(zāi)的相對穩(wěn)定性，是指在火災(zāi)發(fā)生后，燃燒范圍的空間會成一個相對穩(wěn)定的擴(kuò)增趨勢擴(kuò)增。通過分析火災(zāi)的相對穩(wěn)定性，可以消滅許多虛假信號。（三）靜態(tài)模型。在基于單幀圖像識別的算法中，由于只使用了幾個以火焰為基準(zhǔn)的單一形狀特征，因此算法復(fù)雜、誤判率很高。因此，一個能夠自主優(yōu)化識別的模型就顯得十分重要，圖像靜態(tài)特征提取的方法如下：由于曲率在人的視覺系統(tǒng)中往往是觀測場景的重要參數(shù)，因此提取幾何圖像曲率等參數(shù)，并以此描繪火焰圖像；根據(jù)測得的數(shù)據(jù)，描繪連續(xù)零曲率以及局部最大曲率、最高曲率正負(fù)值等集合特點(diǎn)。（四）動態(tài)模型在動態(tài)燃燒過程中，產(chǎn)生的火焰具有持續(xù)性。此外，根據(jù)火焰自身的特性和各種原因，火焰還會不斷發(fā)生變化。然而，這種變化并不在單個幀圖像中反映出來，而是在連續(xù)的多幀圖像中只反映。因此，提取火焰的動態(tài)特征就是分析處理連續(xù)多幀圖像。近年來，隨著火災(zāi)科學(xué)的發(fā)展，從火焰的隨機(jī)狀態(tài)中發(fā)現(xiàn)了其規(guī)則性：1.火焰的面積增長性；2.火焰的形狀相似性；3.火焰的整體移動?；趫D像的火焰識別算法可劃分為動態(tài)識別和靜態(tài)識別。若將這兩種算法同步進(jìn)行應(yīng)用，則定能增加工作效率?；鹧嫘纬傻闹匾攸c(diǎn)之一便是火焰形狀。對于采集到的ccd火焰圖像，首先進(jìn)行兩個連續(xù)的圖像差分操作，然后通過分割方法獲得連續(xù)幀的變化區(qū)域，使用掃描窗口得到的像素點(diǎn)數(shù)來記述連續(xù)幀變化區(qū)域。變化區(qū)域是指：圖像處理中，在獲得閾值之后，通過對高光度進(jìn)行科學(xué)計(jì)算、實(shí)驗(yàn)分析，最終得到的區(qū)域。當(dāng)其他高溫物體移動到相機(jī)或離開視野時，所檢測到的目標(biāo)區(qū)域會逐漸擴(kuò)大，并容易引起干擾，從而造成系統(tǒng)錯誤的報(bào)告。因此，需要將數(shù)據(jù)和其他圖像的關(guān)鍵性特征進(jìn)行一個高強(qiáng)度的結(jié)合，再深度進(jìn)行挖掘?；鹧娴男螤钕嗨菩裕簣D像之間的類似性通常依賴于已知描述特點(diǎn)之間的差異度。該方法能夠在任意復(fù)雜程度上建立相應(yīng)的類似性量。我們可以對兩個相似的元素進(jìn)行比較，也可以對兩個相似的場面進(jìn)行比較，圖像之間的相似性通常意義上是指場景以及結(jié)構(gòu)上的相似性。在一般情況下，圖像的結(jié)構(gòu)相似度往往并不高，因此，我們傾向于選擇更加典型的結(jié)構(gòu)特點(diǎn)進(jìn)行描述，如區(qū)域面積、區(qū)域亮度、線段長度等參數(shù)。雖然火焰的圖像序列中火焰的邊緣往往是很不穩(wěn)定的，但圖像的總體變化會被限制在一定范圍內(nèi)，而且一般的干擾信號模式包含了固定點(diǎn)或者光照變化，因此，在火焰識別的過程中，可以用初始火焰形狀的變化規(guī)則與其進(jìn)行對照。盡管火焰的變化通常呈現(xiàn)出不規(guī)則的特性，然而這種不規(guī)則在形態(tài)、空間分布等方面往往具有某種相似之處，因此，我們可以用連續(xù)圖像的結(jié)構(gòu)相似性來進(jìn)行解析。

五、結(jié)語

各種高新技術(shù)不斷飛躍式發(fā)展，這為我國消防智能化技術(shù)的開發(fā)以及與外國新型消防設(shè)備之間的碰撞提供了一個良好的契機(jī)，而消防裝備的智能化已成為一個必然的趨勢。自改革開放至今，我國所研究的有關(guān)裝備智能化領(lǐng)域內(nèi)取得的成果，已經(jīng)為我們打下了堅(jiān)實(shí)的發(fā)展基礎(chǔ)，因此我們更應(yīng)該加快消防智能化的進(jìn)程，綜合現(xiàn)有所具備的技術(shù)，取其精華去其糟粕，適而用之。由于研究條件和專業(yè)方向的局限，本文對智能消防裝備中的火焰識別技術(shù)仍然存在不足。此次智能消防裝備的研究方向主要是火焰識別領(lǐng)域，以建立模型的方法進(jìn)行測算與研究，而對于理論性知識方面的探討仍存在很大的不足。之后的研究可以從其他方面進(jìn)行深入的探討，探究其對系統(tǒng)化建模會產(chǎn)生哪些方面的影響。

參考文獻(xiàn)：

[1]喻麗春,劉金清.基于改進(jìn)MaskR-CNN的火焰圖像識別算法[J].計(jì)算機(jī)工程與應(yīng)用,2020,964(21):200-204.

[2]肖堃.多層卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)算法可移植性分析[J].哈爾濱工程大學(xué)學(xué)報(bào),2020,41(03):420-424.

[3]郭昆.基于卷積神經(jīng)網(wǎng)絡(luò)的建筑風(fēng)格圖像分類的研究[D].武漢理工大學(xué),2017.

[4]徐曉煜.極化合成孔徑雷達(dá)艦船檢測方法研究[D].西安電子科技大學(xué),2017.

[5]黃憶旻.基于圖像檢索的導(dǎo)游系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].蘇州大學(xué),2016.

[6]宋戈.火災(zāi)自動檢測技術(shù)在無人值守變電站中的應(yīng)用[D].沈陽理工大學(xué),2010.

[7]葛勇.基于視頻的火災(zāi)檢測方法研究及實(shí)現(xiàn)[D].湖南大學(xué),2009.

卷積神經(jīng)網(wǎng)絡(luò)的特性范文第2篇

摘要:

針對帶鋼表面缺陷檢測系統(tǒng)的速度滯后，精度偏低等問題，在分析成像理論和圖像檢測理論的基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)了一種帶鋼表面缺陷高速高精度在線檢測系統(tǒng)．該系統(tǒng)首先采用大功率半導(dǎo)體均勻發(fā)光激光器技術(shù)、高速線掃描成像技術(shù)和基于圖形處理器的Gabor紋理濾波技術(shù)實(shí)現(xiàn)了高速高分辨率的圖像采集和處理，然后采用基于嵌套循環(huán)的K－折交叉驗(yàn)證、信息增益率和BP神經(jīng)網(wǎng)絡(luò)方法構(gòu)建了高準(zhǔn)確率的分類器，以達(dá)到對帶鋼表面缺陷高速高精度在線檢測．實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)滿足了現(xiàn)有帶鋼生產(chǎn)速度的要求，具有較高的精度和準(zhǔn)確率．

關(guān)鍵詞:

圖像采集和處理;圖像檢測;Gabor紋理濾波;神經(jīng)網(wǎng)絡(luò)

0引言

鋼鐵企業(yè)為了提高競爭力，對帶鋼的生產(chǎn)提出了新的要求，也對帶鋼表面檢測系統(tǒng)提出了更高的要求，既要有更高的檢測速度還要有更加準(zhǔn)確的檢測精度［1］．而與此同時，跟隨機(jī)器視覺技術(shù)的發(fā)展，帶鋼表面檢測系統(tǒng)也得到了廣泛的研究與應(yīng)用［2］．主要研究包括:①光源技術(shù)．由于帶鋼檢測對光源要求頻度高、體積小，這限制了傳統(tǒng)光源在其應(yīng)用［3］，激光具有方向性好、亮度高、體積小等優(yōu)點(diǎn)，被廣泛應(yīng)用于帶鋼檢測應(yīng)用中，國內(nèi)的徐科等［4］提出熱軋鋼檢測中用綠光作為激光光源，但激光照明需解決均勻性問題．②掃描技術(shù)．由于電荷耦合元件能夠?qū)崿F(xiàn)實(shí)時檢測，成為目前研究和應(yīng)用的主流技術(shù)［5］．但是，CCD電荷耦合器需在同步時鐘的控制下，以行為單位一位一位地輸出信息，速度較慢，而互補(bǔ)金屬氧化物半導(dǎo)體光電傳感器采集光信號的同時就可以取出電信號，還能同時處理各單元的圖像信息，速度比CCD電荷耦合器快很多［6］．③圖像處理算法．受限于帶鋼加工過程的特性，帶鋼表面呈現(xiàn)出隨機(jī)紋理的特點(diǎn)，對于隨機(jī)紋理圖像的處理分析，目前常用的方法有共生矩陣法、頻域?yàn)V波法、分形法等．作為頻域?yàn)V波法的代表，二維Gabor濾波器有著與生物視覺系統(tǒng)相近的特點(diǎn)［7］，廣泛應(yīng)用于紋理圖像的處理分析．但是，CPU很難滿足現(xiàn)在的帶鋼檢測的實(shí)時要求［8］．④分類算法．特征選擇的主流算法是主成分分析和信息增益．主成分分析存在特征向量方向不一致的問題，而且如何確定主成分存在主觀性［9］．信息增益可以衡量特征的優(yōu)劣，利用它可對特征進(jìn)行排序，方便后面的特征選擇，但信息增益適用于離散特征，信息增益率既適用于離散特征也適用于連續(xù)特征［10］，被廣泛應(yīng)用于特征選擇的過程中．圖像分類算法主流算法包括支持向量機(jī)和BP神經(jīng)網(wǎng)絡(luò)．支持向量機(jī)不適用于大樣本的分類問題［11］．BP神經(jīng)網(wǎng)絡(luò)方法具有能夠解決非線性分類問題，對噪聲不敏感等優(yōu)點(diǎn)，被廣泛應(yīng)用于帶鋼檢測中，如王成明等［12］提出的基于BP神經(jīng)網(wǎng)絡(luò)的帶鋼表面質(zhì)量檢測方法等，但是BP神經(jīng)網(wǎng)絡(luò)的超參的設(shè)定往往具有隨機(jī)性，這嚴(yán)重影響了分類效果［13]．本文首先介紹了帶鋼表面缺陷高速高分辨率成像系統(tǒng)的設(shè)計(jì)，針對光源的不均勻性、圖像處理速度慢等問題，提出改進(jìn)方法，然后介紹了分類器的構(gòu)建，針對樣本劃分的隨機(jī)性、特征選擇的隨機(jī)性以及BP神經(jīng)網(wǎng)絡(luò)超參設(shè)定的隨機(jī)性問題，做出改進(jìn)，最后介紹試驗(yàn)結(jié)果．

1帶鋼表面缺陷高速高分辨率的成像系統(tǒng)的設(shè)計(jì)

1)大功率半導(dǎo)體均勻發(fā)光激光器技術(shù)．激光能夠保證帶鋼表面缺陷的檢出率［14］，本系統(tǒng)選用808nm半導(dǎo)體激光器作為照明源，出光功率可達(dá)30W，亮度可達(dá)1500流明．激光照明需解決均勻性的問題，本文采用了基于鮑威爾棱鏡的激光線發(fā)生辦法，解決了激光照明的均勻性問題，其光路如圖1所示．該方法首先在激光聚焦位置放置圓形球面透鏡，負(fù)責(zé)將發(fā)散的激光束匯聚成準(zhǔn)平行光，同時控制光柱的粗細(xì)，然后，利用鮑威爾棱鏡的擴(kuò)散效果對圓柱的一個方向進(jìn)行擴(kuò)束，最終形成激光線．為保證亮度及寬度的適應(yīng)性，激光器出光口距離圓透鏡、鮑威爾棱鏡的距離可以精密調(diào)整．為了降低反射亮度損失，在透鏡表面鍍上808±5nm的T≥99%的增透膜．

2)基于GPU的Gabor紋理濾波技術(shù)．二維Ga-bor濾波器具有易于調(diào)諧方向、徑向頻率帶寬及中心頻率等特征，本文采用該方法來進(jìn)行圖像處理，二維Gabor函數(shù)為guv(x，y)=k2σ2exp－N2(x2+y2)2σ[]2×expi(k•()xy[])－exp－σ2{()}2(1)其中:k=kxk()y=kvcosψμkvsinψ()μ;kv=2－v+22π;ψμ=μπN;v的取值決定了Gabor濾波的波長;μ的取值表示Gabor核函數(shù)的方向;N為總的方向數(shù)．設(shè)f(x，y)為圖像函數(shù)，guv(x，y)為卷積函數(shù)，則卷積輸出N(u，v)可表示為N(u，v)=f(x，y)*guv(x，y)(2)二維Gabor濾波算法計(jì)算量較大，為了保證了帶鋼表面缺陷檢測的實(shí)時性，采用基于GPU的并行處理架構(gòu)，其計(jì)算流程如圖2所示．GPU的算法分為兩個流程:訓(xùn)練過程主要針對無缺陷圖像進(jìn)行，通過訓(xùn)練完成紋理圖像的背景建模，一方面消除背景變化帶來的干擾，另一方面形成有效的Gabor卷積參數(shù)，以便在檢測過程中得到最優(yōu)的檢出效果．檢測過程對實(shí)際拍攝的缺陷圖像進(jìn)行分析，首先按照GPU的核心數(shù)和緩存大小對圖像進(jìn)行分解，本文所有GPU的核心數(shù)為1024，顯存2G，因此將原始圖像分解為1000塊，分別加載到1000個核心中，同時并發(fā)運(yùn)行卷積運(yùn)算．最后將各個窗口的卷積結(jié)果合并到一起，得到完成的濾波結(jié)果，最后借助于背景模式，將背景的干擾消除，得到干凈的缺陷區(qū)域．

3)成像系統(tǒng)．根據(jù)缺陷檢測的精度要求(1800m/min的檢測速度，0．25mm的精度)，帶鋼的規(guī)格要求(1900mm規(guī)格)，對帶鋼進(jìn)行成像系統(tǒng)設(shè)計(jì)．基于互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)的成像芯片具有速度快，用電低等優(yōu)勢．選用兩個4K線掃描CMOS相機(jī)作為成像核心器件，選用CameraLinkFull接口作為數(shù)據(jù)輸出．兩個4K掃描中間重疊100mm作為圖像拼接區(qū)．兩組線激光光源與線掃描組成系統(tǒng)的主要成像模塊．成像系統(tǒng)結(jié)構(gòu)如圖3所示．

2構(gòu)建分類器

檢測缺陷類別及其特征描述如表1所示．

1)訓(xùn)練集和樣本集劃分．主要缺陷類別有5個，每個類別收集樣本7000，共計(jì)35000個樣本．為了避免訓(xùn)練集和樣本集劃分的盲目性，采用10－折交叉驗(yàn)證的方式劃分訓(xùn)練集和測試集，即將樣本集分成10份，從中選1份為測試集，剩下的為訓(xùn)練集，如圖4所示，究竟選擇哪一份作為測試集，需在后面的嵌套循環(huán)中實(shí)現(xiàn)．

2)特征選擇．缺陷區(qū)域的長度、寬度、面積、區(qū)域?qū)Ρ榷鹊裙灿?jì)138個特征形成初始特征集合，利用信息增益率來對各個特征排序．設(shè)樣本集T的某個特征子集S中，相異值構(gòu)成集合A，集合A把特征子集S劃分為多個子集{S1，S2，Sv，…}，|Sv|、|S|為集和大小，信息增益率的公式為Gainration(S，A)=Gain(S，A)Intrinsiclnfo(S，A)(3)式中Gain(S，A)為信息增益，是分裂前的信息減去分裂后的信息，公式為Gain(S，A)=InfoBefore(S)－InfoAfter(S)=Entropy(S)－∑v∈Values(A)|Sv||S|Entropy(Sv)(4)式中Entropy(S)為集合S的熵，公式為Entropy(S)=Entropy(p1，p2，…，pm)=－∑mi=1pilogpi(5)式中pi為第i個類別的概率．式(3)中，Intrinsiclnfo(S，A)為內(nèi)在信息，公式為Intrinsiclnfo(S，A)=∑v∈Values(A)|Sv||S|log(|Sv||S|)(6)利用信息增益率對特征進(jìn)行排序，再利用循環(huán)(從1到138循環(huán))實(shí)現(xiàn)最優(yōu)的特征個數(shù)的確定．

3)BP神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)的確定．BP神經(jīng)網(wǎng)絡(luò)應(yīng)用到帶鋼表面質(zhì)量檢測上具有很多優(yōu)勢，但也存在一些問題，主要體現(xiàn)在隱含層節(jié)點(diǎn)數(shù)選取的盲目性和初始權(quán)值選取的隨機(jī)性．對于隱含層節(jié)點(diǎn)數(shù)確定問題，利用隱含層節(jié)點(diǎn)數(shù)常用計(jì)算公式［15］(2(m+n)+1，n+槡m+a，log2n，n為輸入層節(jié)點(diǎn)數(shù)，m為輸出層節(jié)點(diǎn)數(shù)，a為的［1，10］常數(shù))求得節(jié)點(diǎn)數(shù)的可能取值集合n1，求得該集合最大值n1－max和最小值n1－min，從n1－min開始到n1－max，利用循環(huán)，節(jié)點(diǎn)數(shù)逐個增加，確定最優(yōu)的隱含層節(jié)點(diǎn)數(shù)［16］;

4)BP神經(jīng)網(wǎng)絡(luò)初始權(quán)值的選?。?dāng)隱含層節(jié)點(diǎn)數(shù)確定后，需要確定輸入層和隱含層之間、隱含層和輸出層之間的初始權(quán)值．首先生成10組隨機(jī)數(shù)數(shù)組，利用循環(huán)確定最優(yōu)的隨機(jī)數(shù)數(shù)組．

5)判別標(biāo)準(zhǔn)和嵌套循環(huán)．上述各循環(huán)中，分類效果好與壞的判別標(biāo)準(zhǔn)是分類的總體精度，公式為OA=∑niin(7)式中:nii為樣本被預(yù)測為類別i，n為樣本個數(shù)．上述各循環(huán)組合在一起就是一個嵌套循環(huán)，其N－S盒圖如圖5所示，最外層是測試集和訓(xùn)練集的10折交叉驗(yàn)證，第1層是確定最優(yōu)的特征數(shù)，第3層是確定最優(yōu)的隱含層節(jié)點(diǎn)數(shù)，第4、5層是確定最優(yōu)的輸入層和隱含層、隱含層和輸出層的初始權(quán)值［17－20］.經(jīng)以上循環(huán)，確定D3作為測試集，最優(yōu)特征數(shù)為23個，最優(yōu)的隱含層節(jié)點(diǎn)數(shù)是46個，同時也確定了最優(yōu)的初始權(quán)值，對應(yīng)的3層BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)模型如圖6所示．

3實(shí)驗(yàn)結(jié)果

1)鮑威爾棱鏡與柱透鏡進(jìn)行對比在實(shí)際工作距離1．5m處，采用0．1m為間隔使用光功率計(jì)測試光源功率，如圖7所示，橫軸為測試點(diǎn)，縱軸為測試點(diǎn)的光功率．實(shí)驗(yàn)表明，鮑威爾棱鏡均勻性優(yōu)于柱透鏡．

2)Gabor濾波方法與其他方法比較將動態(tài)閾值法+Blob分析法(方法A)和灰度共生矩陣紋理背景消除法(方法B)兩種方法與Gabor濾波方法進(jìn)行比較，如圖8所示．由于缺陷與背景灰度相近(圖(a))，致使方法A缺陷丟失(圖(b))，由于缺陷與背景紋理相近(圖(d))，致使方法B產(chǎn)生噪聲(圖(e))，Gabor方法取得了不錯的效果(圖(e)、(圖(f)))．

3)GPU與CPU比較以4096×4096的圖像為例，選10幅有代表性圖像，利用CPU(最新的inteli7－2600處理器，4核8線程，2．6GHz，內(nèi)存8G)和GPU(nVidiaGTX970，4G緩存顯卡)進(jìn)行Ga-bor運(yùn)算，計(jì)算時間如表2所示，GPU計(jì)算效率明顯優(yōu)于CPU，其中CPU的平均耗時為290．4ms，而GPU的平均耗時為31．7ms．

4)檢測效果在產(chǎn)線速度為1775m/min，最小檢測缺陷的尺寸為0．25mm的檢測系統(tǒng)中，對帶鋼的主要4種類型缺陷進(jìn)行檢測統(tǒng)計(jì)，檢測結(jié)果如表3所示．可計(jì)算出整體檢出率99．9%，檢測準(zhǔn)確率99．4%．

4結(jié)論

本文提出將基于鮑威爾棱鏡的大功率激光器應(yīng)用到光源的設(shè)計(jì)中，保證光源光照的均勻性;提出了新的帶鋼表面缺陷檢測系統(tǒng)的成像系統(tǒng)結(jié)構(gòu)設(shè)計(jì)，保證了快速、高精度的生成圖像;提出了基于GPU的二維Gabor濾波圖像處理的算法，滿足了實(shí)時處理的要求;提出了基于嵌套循環(huán)的分類器擇優(yōu)算法，避免了樣本集選擇、特征選擇和BP神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)定的盲目性．借助上述技術(shù)，系統(tǒng)實(shí)現(xiàn)了較好的效果，滿足當(dāng)前帶鋼生產(chǎn)的檢測需求．

參考文獻(xiàn):

［1］張長富．中國鋼鐵工業(yè)運(yùn)行情況和發(fā)展展望［J］．中國鋼鐵業(yè)，2013(4):5－8．

［2］劉彩章．基于機(jī)器視覺的帶鋼表面缺陷成像系統(tǒng)理論與實(shí)驗(yàn)研究［D］．武漢:武漢科技大學(xué)，2012:2－4．

［3］高瑀含，安志勇，李娜娜等．高斯光束整形系統(tǒng)的光學(xué)設(shè)計(jì)［J］．光學(xué)精密工程，2011，19(7):1464－1471．

［4］徐科，楊朝霖，周鵬．熱軋帶鋼表面缺陷在線檢測的方法與工業(yè)應(yīng)用［J］．機(jī)械工程學(xué)報(bào)，2009，45(4):111－114．

［5］李霞．基于CCD的鋼板測寬儀系統(tǒng)設(shè)計(jì)［D］．秦皇島:燕山大學(xué)，2014:5－10．

［6］石東新，傅新宇，張遠(yuǎn)．CMOS與CCD性能及高清應(yīng)用比較［J］．通訊技術(shù)，2010，43(12):174－179．

［7］高梓瑞．Gabor濾波器在紋理分析中的應(yīng)用研究［D］．武漢:武漢理工大學(xué)，2012:6－10．

［8］王成順．表面缺陷檢測GPU并行圖像處理技術(shù)［D］．合肥:合肥工業(yè)大學(xué)，2012:3－6．

［9］徐永智，華慧川．對主成分分析三點(diǎn)不足的改進(jìn)［J］．科技管理研究，2009(6):128－130．

［10］李佳龍，閻威武，白曉慧，等．基于數(shù)據(jù)驅(qū)動與信息增益率多指標(biāo)決策模型的生活飲用水水質(zhì)評估［J］．大連理工大學(xué)學(xué)報(bào)，2016，56(1):92－96．

［11］張曉雷．支持向量機(jī)若干問題的研究［D］．北京:清華大學(xué)，2012:1－20．

［12］王成明，顏云輝，李駿，等．基于BP神經(jīng)網(wǎng)絡(luò)的冷軋帶鋼表面質(zhì)量檢測研究［J］．機(jī)械設(shè)計(jì)與制造，2007(6):106－108．

［13］高正中，張曉燕，龔群英．基于BP神經(jīng)網(wǎng)絡(luò)的超聲波流量計(jì)的設(shè)計(jì)［J］．現(xiàn)代電子技術(shù)，2016，39(16):6－9．

［14］周洋，何平安，蔣千年等．激光束整形光學(xué)系統(tǒng)的設(shè)計(jì)與研究［J］．光學(xué)與光電技術(shù)，2006，4(2):26－28．

［15］飛思科技產(chǎn)品研發(fā)中心．神經(jīng)網(wǎng)絡(luò)理論與Matlab7實(shí)現(xiàn)［M］．北京:電子工業(yè)出版社，2005．

［16］沈花玉，王兆霞，高成耀等．BP神經(jīng)網(wǎng)絡(luò)隱含層單元數(shù)的確定［J］．天津理工大學(xué)學(xué)報(bào)，2008，24(5):13－15．

［17］文冬林．BP神經(jīng)網(wǎng)絡(luò)中一種逃離局部極小點(diǎn)的方法研究［D］．貴陽:貴州大學(xué)，2008．

［18］甘勝豐．帶鋼表面缺陷圖像檢測與分類方法研究［D］．北京:中國地質(zhì)大學(xué)，2013:3－20．

［19］吳彬彬．機(jī)器視覺方法在帶鋼表面缺陷檢測中的應(yīng)用研究［D］．武漢:武漢科技大學(xué)，2015:4－50．

卷積神經(jīng)網(wǎng)絡(luò)的特性范文第3篇

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；人臉識別；大樣本；對抗生成網(wǎng)絡(luò)

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-1302（2017）07-00-04

0 引 言

近幾年，基于大量訓(xùn)練數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）在目標(biāo)檢測、目標(biāo)識別、顯著性檢測、行為識別、人臉識別和對象分割等計(jì)算機(jī)視覺領(lǐng)域取得了舉世矚目的成果。這些令人鼓舞的成績主要?dú)w功于以下幾點(diǎn)：

（1）將大量有標(biāo)簽的數(shù)據(jù)作為訓(xùn)練集，學(xué)習(xí)出具有百萬參數(shù)的模型，從而使卷積神經(jīng)網(wǎng)絡(luò)能夠有效提取對象的本質(zhì)特征；

（2）不斷改進(jìn)性能優(yōu)異的網(wǎng)絡(luò)結(jié)構(gòu)，如Very Deep VGG Network[1]，Google Inception Network[2]和Deep Residual Networks[3]等；

（3）各種并行計(jì)算硬件設(shè)備（如GPU）的支持，大大提高了CNN訓(xùn)練模型的效率。其中，將標(biāo)簽的大量數(shù)據(jù)作為訓(xùn)練集起著至關(guān)重要的作用。

本文以人臉識別為例，討論和綜述多樣本算法的研究現(xiàn)狀和發(fā)展方向。

有效的特征是目標(biāo)識別的關(guān)鍵，對人臉識別問題來說亦如此。傳統(tǒng)的主成分分析（Principal Component Analysis，PCA）[4，5]，線性區(qū)分分析（Linear Discriminant Analysis， LDA）[6]和局部二值模式化（Local Binary Pattern，LBP）[7，8]等取得了不錯的成績?；趥鹘y(tǒng)特征的人臉識別受限于環(huán)境，此類特征作用在復(fù)雜或者背景多變的人臉圖像時，其識別性能往往大幅下降，如在LFW數(shù)據(jù)集上其識別率驟然下降[9]。

采用CNN作為特征提取模型，主要考慮到該模型的所有處理層，包括像素級別的輸入層，均可從數(shù)據(jù)中學(xué)習(xí)到可調(diào)節(jié)的參數(shù)。即CNN能自喲喲笫據(jù)中學(xué)習(xí)特征，無需人工設(shè)計(jì)特征。合理有效的特征需從大量數(shù)據(jù)和大量參數(shù)中自動學(xué)習(xí)獲取，從而達(dá)到優(yōu)秀的識別性能?；诰矸e神經(jīng)網(wǎng)絡(luò)的世界領(lǐng)先方法均使用了上百萬的數(shù)據(jù)，其中最具有代表性的如VGG-Face網(wǎng)絡(luò)需要260萬個人臉圖像樣本進(jìn)行訓(xùn)練[10]，F(xiàn)acebook的DeepFace網(wǎng)絡(luò)需要440萬個有標(biāo)簽的人臉圖像樣本訓(xùn)練[11]。而Google更使用了2億樣本數(shù)據(jù)來訓(xùn)練FaceNet網(wǎng)絡(luò)[12]。

1 多樣本獲取現(xiàn)狀

如引言所述，有效合理的特征是目標(biāo)識別的關(guān)鍵，而CNN能從大量有標(biāo)簽的數(shù)據(jù)中自動學(xué)習(xí)圖像的本質(zhì)特征。獲得圖像特征的關(guān)鍵因素是有標(biāo)簽的大數(shù)據(jù)。因此許多研究的前提工作均聚焦在人工獲取數(shù)據(jù)和給數(shù)據(jù)加標(biāo)簽方面。然而，獲取百萬級的數(shù)據(jù)并非易事。大數(shù)據(jù)獲取需要人工從網(wǎng)上下載、處理，然后給數(shù)據(jù)添加標(biāo)簽，耗費(fèi)大量的人力物力。雖然也有一些公開免費(fèi)的數(shù)據(jù)集，且收集該類數(shù)據(jù)相對比較容易，如CASIA-WebFace[13]，有49萬個圖像，但遠(yuǎn)少于Facebook和Google的數(shù)據(jù)集。在這種情況下，缺乏大量樣本直接阻礙了深度學(xué)習(xí)方法的使用，成為阻礙提高檢測率和識別率的瓶頸。除了深度學(xué)習(xí)技術(shù)提取特征需要大量樣本外，已有研究證明[14-19]，基于傳統(tǒng)方法的技術(shù)同樣需要大量樣本作為支撐。在這種形勢下，通過圖像處理與機(jī)器學(xué)習(xí)技術(shù)自動增加樣本集已成為必要手段。

無論基于傳統(tǒng)方法的識別問題，還是基于深度學(xué)習(xí)的識別問題，大量有標(biāo)簽的數(shù)據(jù)作為訓(xùn)練集在算法中起著舉足輕重的作用。如果樣本不足，算法往往過擬合，無法提高算法的性能。為了獲得更多樣本，一些研究工作從網(wǎng)絡(luò)上獲取數(shù)據(jù)，例如在IMDb上，已經(jīng)把9萬有標(biāo)簽的數(shù)據(jù)集擴(kuò)大到了26萬 [10]。除此之外，F(xiàn)acebook獲取了440萬個有標(biāo)簽的人臉進(jìn)行DeepFace網(wǎng)絡(luò)訓(xùn)練[11]，而Google使用2億個數(shù)據(jù)訓(xùn)練FaceNet網(wǎng)絡(luò)[12]。

目前獲取方法具有如下局限：

（1）現(xiàn)有方法耗時耗力，需要經(jīng)費(fèi)支持。獲取百萬級的數(shù)據(jù)并非易事。大數(shù)據(jù)獲取需要人工從網(wǎng)上下載、處理，然后給數(shù)據(jù)添加標(biāo)簽，耗費(fèi)大量的人力物力。這種情況下，只有像Facebook和Google這樣的大公司會收集大量有標(biāo)簽的數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練。而大多數(shù)情況下的數(shù)據(jù)收集涉及個人隱私與財(cái)力物力等問題，對于一般的小公司或科研院所而言，收集數(shù)據(jù)普遍難度較大。

（2）收集特殊圖片困難。對于一些特殊的圖像，如醫(yī)學(xué)圖像，遙感圖像，現(xiàn)實(shí)中數(shù)量本身就少，加之無法直接從網(wǎng)上獲取，因此小樣本很容易導(dǎo)致過擬合。

2 樣本集擴(kuò)大算法研究現(xiàn)狀

2.1 基于傳統(tǒng)方法的多樣本算法研究現(xiàn)狀

對于傳統(tǒng)的樣本生成算法，如果數(shù)據(jù)集中有足夠的訓(xùn)練樣本，均可得到比較滿意的識別結(jié)果，但在現(xiàn)實(shí)的人臉數(shù)據(jù)庫中，人臉的數(shù)據(jù)樣本卻是有限的。文獻(xiàn)[20]表明，增加圖像樣本的數(shù)量可以較大幅度提高識別的準(zhǔn)確率。

為了增加樣本數(shù)量，提高識別準(zhǔn)確率，科研工作者已做了大量工作。其中，借助原始樣本產(chǎn)生虛擬樣本是一種有效的增加數(shù)據(jù)集方法。這種方法大致分為如下幾類：

（1）通過人臉圖像的對稱性來得到原始樣本的虛擬樣本，如Xu[14，15]和Liu等[21]提出借助原始圖像的“對稱臉”和“鏡像臉”產(chǎn)生虛擬樣本，從而擴(kuò)大數(shù)據(jù)集并提高人臉識別的正確率，Song[22]也提出相應(yīng)的算法來改進(jìn)人臉識別的性能；

（2）通過改變圖像的光照、姿勢和表情等來產(chǎn)生虛擬樣本，例如Boom等用一種稱為VIG的方法對未知光照情況進(jìn)行建模[16]，Abdolali[17]和Ho[18]等提出了類似的算法擴(kuò)大數(shù)據(jù)集；

（3）基于人臉圖像自身的特征生成虛擬樣本，Ryu等根據(jù)原始樣本的分布來產(chǎn)生虛擬樣本[19]，Liu等也根據(jù)圖像本身特性來產(chǎn)生虛擬樣本[23]。

（4）基于數(shù)學(xué)的多樣本產(chǎn)生方法，如Zhang等提出利用奇異值分解的方法獲得基于原始樣本的虛擬樣本[24]。借助圖像合成方法生成的新樣本如圖1所示。

圖1 借助圖像合成方法生成新樣本

除了借助圖像處理方法獲得原始樣本的新樣本外，還可以利用圖像合成算法獲取多樣本，本研究做了相關(guān)實(shí)驗(yàn)，其結(jié)果如圖1所示。假設(shè)數(shù)據(jù)集中有c類人臉圖像，每類有ni個樣本，令表示第i類中的第j個樣本，這里i=1，2，…，c，j=1，2，…，ni，h和w分別代表樣本xij的高和寬（均為像素值）。用X=[X1，X2，…，Xc]代表所有樣本，則Xi=[xi1，xi2，…，xini]，i=1，2，…，c代表第i類樣本。則有：

其中， P（Xi）代表所生成的第i類新樣本， f（g）表示圖像處理函數(shù)，代表多個樣本的串聯(lián)，即將多個樣本聯(lián)合起來得到一個類別的新樣本。

2.2 基于深度學(xué)習(xí)的多樣本生成算法研究現(xiàn)狀

大量有標(biāo)簽的訓(xùn)練數(shù)據(jù)是機(jī)器學(xué)習(xí)成功的關(guān)鍵，尤其對于強(qiáng)大的深度學(xué)習(xí)技術(shù)，大數(shù)據(jù)集能提高CNN的性能，防止過擬合[25]。為了擴(kuò)充數(shù)據(jù)集，已有一些工作在不改變圖像語義的情況下進(jìn)行，如水平鏡像[26]、不同尺度的剪裁[27，28]、旋轉(zhuǎn)[29]和光照變化[27]等傳統(tǒng)方法。

DeepID[30]采取了增大數(shù)據(jù)集手法來訓(xùn)練網(wǎng)絡(luò)，只有大的數(shù)據(jù)集才能使得卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練得更加充分，該研究采用兩種方法增大數(shù)據(jù)集：

（1）選擇采集好的數(shù)據(jù)，即映入CelebFaces數(shù)據(jù)集。

（2）將原始數(shù)據(jù)集中的圖片多尺度、多通道、多區(qū)域的切分，然后分別進(jìn)行訓(xùn)練，再把得到的向量串聯(lián)起來，即得到最后的向量。

以上方法僅局限于相對簡單的圖像處理技術(shù)，該類方法生成的多樣本具有一定的局限性。比如，真正意義上的旋轉(zhuǎn)應(yīng)按一定的角度進(jìn)行3D旋轉(zhuǎn)，而不僅僅是圖像本身的角度旋轉(zhuǎn)。合成數(shù)據(jù)能一定程度上解決以上問題，如Shotton等通過隨機(jī)森林合成3D深度數(shù)據(jù)來估計(jì)人體姿勢，Jaderberg等使用合成數(shù)據(jù)來訓(xùn)練CNN模型識別自然場景下的文字[31]。這些研究的結(jié)果均優(yōu)于使用剪裁，旋轉(zhuǎn)等傳統(tǒng)方法。但使用3D合成圖像比較復(fù)雜，需要較多的前期工作。

近年來，借助生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GANs）來生成原始樣本的方法吸引了很多學(xué)者。2014年6月，Goodfellow 等發(fā)表了論文《Generative Adversarial Nets》[32]，文中詳盡介紹了GANs的原理、優(yōu)點(diǎn)及其在圖像生成方面的應(yīng)用，標(biāo)志著GANs的誕生。早期的GANs模型存在許多問題，如GANs網(wǎng)絡(luò)不穩(wěn)定，甚至有時該網(wǎng)絡(luò)永遠(yuǎn)不會開始學(xué)習(xí)，生成的結(jié)果無法令人滿意。文獻(xiàn)[32]中生成器生成的圖片十分模糊，針對此問題，Denton等提出一個被稱為 LAPGANs的模型[33]，該模型用多個卷積神經(jīng)網(wǎng)絡(luò)連續(xù)生成圖像，這些新圖像的清晰度不斷提高，最終得到高分辨率圖像。GANs除了基于圖像生成圖像外，還可以通過文字生成圖像，如文獻(xiàn)[34]搭起了文本到圖像的橋梁，通過GANs將文本直接轉(zhuǎn)換成對的圖像。文獻(xiàn)[35]將GAN應(yīng)用于超分辨率中，該文獻(xiàn)提出了全新的損失函數(shù)，使得 GANs 能對大幅降采樣后的圖像恢復(fù)其生動紋理和小顆粒細(xì)節(jié)。另外，Radford 等提出了名為DCGANs的網(wǎng)絡(luò)[36]，該文獻(xiàn)指出，用大數(shù)據(jù)集訓(xùn)練出的 GANs 能學(xué)習(xí)一整套層級的特征，并具有比其他無監(jiān)督學(xué)習(xí)模型更好的效果。以上方法均為基于一大類原始樣本生成另一大類圖像。

基于GAN生成樣本的過程如圖2所示。首先將同類別的原始圖像輸入到生成對抗網(wǎng)絡(luò)GAN的生成器網(wǎng)絡(luò)G中，生成“假冒”圖像G1和G2，接著借助判別器D來判斷輸入的圖像是真實(shí)圖像還是“假冒”圖像。生成器G努力生成類似原始樣本的圖像，力爭判別器D難以區(qū)分真假；而判別器D應(yīng)不斷提高自身性能，有能力鑒別出由生成器G生成的圖像為贗品。生成器G和判別器D的價值函數(shù)如下：

生成器G最小化log（1-D（G（z））），判別器D最大化logD（x），使得最大概率按照訓(xùn)練樣本的標(biāo)簽分類， 生成模型G隱式定義了一個概率分布Pg，希望Pg 收斂到數(shù)據(jù)真實(shí)分布Pdata。

圖2 GAN生成新樣本示意圖

3 結(jié) 語

綜上所述，基于原始樣本的多樣本生成算法是一個值得深入研究探索的問題，具備清晰而明確的理論意義和現(xiàn)實(shí)應(yīng)用意義。雖然研究人員已經(jīng)對相關(guān)問題進(jìn)行了一些研究，取得了一系列成果，但是多樣本的產(chǎn)生方法缺乏全面、深入的理解，尚未出現(xiàn)具有里程碑意義的研究成果。具體而言，本文認(rèn)為，基于原始樣本的多樣本生成問題需要在如下幾個方面展開深入的研究：

（1）在研究多樣本生成算法時，保留原始樣本的本質(zhì)特征，如在人臉識別中，拋棄不必要信息（光照、表情和姿勢）的影響是一項(xiàng)十分有意義的工作。

（2）在合成新樣本時，設(shè)計(jì)合理有效的構(gòu)造元素，使合成的新表示更接近自然亦是一個值得研究的方向。

（3）基于生成對抗網(wǎng)絡(luò)，研究某一類對象的生成新樣本的核心算法是一項(xiàng)有意義的工作。

參考文獻(xiàn)

[1] K Simonyan， A Zisserman.Very deep convolutional networks for large-scale image recognition [Z]. Computer Science， 2014.

[2] C Szegedy，W Lin，Y Jia， et al. Going deeper with convolutions[C]. in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015.

[3] K He，X Zhang，S Ren，et al. Deep residual learning for image recognition[C]. in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2016.

[4] Turk， Matthew， Pentland， et al.Eigenfaces for Recognition[J]. Journal of Cognitive Neuroscience， 2014，3（1）： 71-86.

[5] A Pentland.Looking at People： Sensing for Ubiquitous and Wearable Computing[J].IEEE Transactions on Pattern Analysis & Machine Intelligence， 2000，22（1）： 107-119.

[6] C Liu， H Wechsler.Robust coding schemes for indexing and retrieval from large face databases[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society， 2000，9（1）： 132-137.

[7] T Ojala，M Pietik?inen.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2002，24（7）： 404-420.

[8] T Ahonen， A Hadid， M Pietikainen.Face Description with Local Binary Patterns： Application to Face Recognition[J]. European Conference on Computer Vision， 2004，28（12）： 469-481.

[9] GB Huang， M Mattar， T Berg，et al. Labeled faces in the wild： A database for studying face recognition in unconstrained environments[Z].Month，2008.

[10] OM Parkhi， A Vedaldi， A Zisserman.Deep Face Recognition[C]. British Machine Vision Conference， 2015.

[11] Y Taigman，M Yang， Marc， et al. DeepFace： Closing the Gap to Human-Level Performance in Face Verification[C]. in Conference on Computer Vision and Pattern Recognition，2014.

[12] F Schroff，D Kalenichenko，J Philbin.FaceNet： A unified embedding for face recognition and clustering[C]. in IEEE Conference on Computer Vision & Pattern Recognition，2015.

[13] D Yi，Z Lei， S Liao， et al.Learning face representation from scratch[Z]. Computer Science， 2014.

[14] Y Xu， X Zhu， Z Li， et al.Using the original and ‘symmetrical face’ training samples to perform representation based two-step face recognition[J]. Pattern Recognition， 2013，46（4）： 1151-1158.

[15] Y Xu.Integrate the original face image and its mirror image for face recognition[J]. Neurocomputing， 2014，31（7）： 191-199.

[16] BJ Boom， LJ Spreeuwers， RNJ Veldhuis.Virtual illumination grid for correction of uncontrolled illumination in facial images[J]. Pattern Recognition， 2011，44（9）： 1980-1989.

[17] F Abdolali，S Seyyedsalehi. Improving pose manifold and virtual images using bidirectional neural networks in face recognition using single image per person[Z]. in International Symposium on Artificial Intelligence and Signal Processing，2011.

[18] HT Ho，R Chellappa. Pose-invariant face recognition using Markov random fields[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society， 2013，22（4）： 1573.

[19] Y.-S.， Ryu.，S.-Y.， O..Simple hybrid classifier for face recognition with adaptively generated virtual data[J]. Pattern Recognition Letters， 2012，23（7）： 833-841.

[20] A Wagner，J Wright， A Ganesh，et al.Toward a Practical Face Recognition System： Robust Alignment and Illumination by Sparse Representation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2012，34（2）： 372-386.

[21] Z Liu，X Song，Z Tang.Integrating virtual samples and fuzzy discriminant analysis for sparse representation-based face classification[J]. Journal of Electronic Imaging， 2015，24（2）： 23013.

[22] YJ Song，YG Kim，UD Chang，et al. Face recognition robust to left/right shadows； facial symmetry[J]. Pattern Recognition， 2006，39（8）： 1542-1545.

[23] Z Liu， X Song， Z Tang.Fusing hierarchical multi-scale local binary patterns and virtual mirror samples to perform face recognition[J]. Neural Computing & Applications， 2015，26（8）： 2013-2026.

[24] G Zhang，W Zou，X Zhang，et al. Singular value decomposition based sample diversity and adaptive weighted fusion for face recognition[J]. Digital Signal Processing， 2017，62： 150-156.

[25] K Chatfield，K Simonyan，A V edaldi，et al. Return of the devil in the details： Delving deep into convolutional nets[Z]. Computer science， 2014.

[26] H Yang， I Patras.Mirror， mirror on the wall， tell me， is the error small？ [J]. Der Chirurg； Zeitschrift für alle Gebiete der，2015，69（12）：235-240.

[27] A Krizhevsky， I Sutskever， GE Hinton. ImageNet Classification with Deep Convolutional Neural Networks [J]. Advances in Neural Information Processing Systems， 2012，25（2）： 1097-1105.

[28] G Levi，T Hassner. Age and gender classification using convolutional neural networks[C].in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops，2015.

[29] S Xie， Z Tu. Holistically-nested edge detection[C]. in Proceedings of the IEEE International Conference on Computer Vision，2015.

[30] Y Sun， X Wang， X Tang.Deep Learning Face Representation from Predicting 10，000 Classes[C]. in Computer Vision and Pattern Recognition，2014.

[31] M Jaderberg， K Simonyan，A Vedaldi，et al.Synthetic data and artificial neural networks for natural scene text recognition[Z]. Eprint Arxiv， 2014.

[32] I Goodfellow，J Pougetabadie， M Mirza， et al. Generative adversarial nets[Z]. in Advances in neural information processing systems， 2014.

[33] E Denton，S Chintala，A Szlam. Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks[Z]. Computer science，2015.

[34] S Reed，Z Akata， X Yan，et al. Generative adversarial text to image synthesis[C]. in Proceedings of The 33rd International Conference on Machine Learning，2016.

卷積神經(jīng)網(wǎng)絡(luò)的特性范文第4篇

【關(guān)鍵詞】神經(jīng)網(wǎng)絡(luò)；故障測距；小波包；相對誤差

0 引言

我國礦井配電網(wǎng)多為6kV單側(cè)電源供電系統(tǒng)，采取中性點(diǎn)非有效接地方式，屬于小電流接地系統(tǒng)（NUGS）。饋電回路選用多段短電纜徑向延伸為各種井下高低壓電機(jī)、電氣設(shè)備、照明及各種通信、自動化裝置和儀表、儀器提供電能。由于井下工作環(huán)境惡劣，供電電纜經(jīng)常發(fā)生接地、斷線、短路等故障，據(jù)電力部門統(tǒng)計(jì)，其中單相接地故障的發(fā)生率最高。盡管發(fā)生單相接地故障時，線電壓仍然對稱，暫時不影響對負(fù)荷的連續(xù)供電，但就礦井這類危險易爆場所而言，當(dāng)發(fā)生單相接地故障時，應(yīng)盡快跳閘斷電以確保安全。為此，必須及時對故障點(diǎn)進(jìn)行定位、排除故障、加快恢復(fù)線路供電。

NUGS饋線的故障定位問題一直以來未得到滿意的解決，這與其自身的特點(diǎn)有關(guān)。由于電網(wǎng)變壓器中性點(diǎn)不直接接地，造成單相接地電流無法形成小阻抗回路，故障電流主要由線路對地電容電流提供，其數(shù)值較小，且基波分量幅值故障前后變化不大，使得定位保護(hù)裝置很難準(zhǔn)確進(jìn)行故障選線和定位?？紤]到井下環(huán)境條件和負(fù)荷的特殊性，礦井配電網(wǎng)與傳統(tǒng)意義上的NUGS存在一定的差異：單相接地產(chǎn)生的暫態(tài)分量較穩(wěn)態(tài)分量大得多，暫態(tài)波形畸變嚴(yán)重，應(yīng)研究利用暫態(tài)電氣量進(jìn)行故障測距的可行性；饋電線路分支少、長度短，對測距精度要求高[1]。

鑒于上述原因，本文就井下配電網(wǎng)故障測距問題進(jìn)行研究，以期提高故障測距的精度和可靠性。

1 BP網(wǎng)絡(luò)的結(jié)構(gòu)和算法

BP網(wǎng)絡(luò)結(jié)構(gòu)上類似于多層感知器，是一種多層前饋神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)權(quán)值的訓(xùn)練算法為誤差反向傳播（BP）學(xué)習(xí)算法。如圖1所示為一典型3層BP網(wǎng)絡(luò)模型。

圖1 3層BP網(wǎng)絡(luò)模型

以圖示BP網(wǎng)絡(luò)模型為例說明網(wǎng)絡(luò)的學(xué)習(xí)過程：

（1）初始化。為每個連接權(quán)值wij、wjt、閥值θj、θt賦予（-1，1）區(qū)間的隨機(jī)值。

（2）給定輸入輸出目標(biāo)樣本。給定輸入向量Xp=（x1，x2，...，xn）和期望目標(biāo)向量Tp=（t1，t2，...，tm），p∈1，2，...，P。

（3）計(jì)算網(wǎng)絡(luò)各層的輸出。由輸入樣本、連接權(quán)值、閥值及各層神經(jīng)元傳遞函數(shù)計(jì)算隱含層和輸出層的輸出。

（4）計(jì)算網(wǎng)絡(luò)實(shí)際輸出與期望輸出的一般化誤差。系統(tǒng)的目標(biāo)函數(shù)為：

E=■■■（t■-y■）2=■E■（1）

網(wǎng)絡(luò)通過調(diào)整權(quán)值和閥值使?jié)M足預(yù)先設(shè)定的一個極小值。

（5） 利用目標(biāo)函數(shù)調(diào)整網(wǎng)絡(luò)的權(quán)值和閥值。BP算法按照目標(biāo)函數(shù)梯度的反方向?qū)W(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，使目標(biāo)函數(shù)收斂，即實(shí)際輸出接近目標(biāo)輸出。對于第p個輸入樣本的權(quán)值、閥值，按下式修正，式中？濁為學(xué)習(xí)速率。

？駐w=-？濁■， ？駐θ=-？濁■（2）

對應(yīng)的權(quán)值、閥值按下式調(diào)整，式中為迭代步數(shù)。

w（k+1）=w（k）+？駐wθ（k+1）=θ（k）+？駐θ（3）

（6）隨機(jī)選擇下一組學(xué)習(xí)樣本向量進(jìn)行訓(xùn)練，直到P個樣本對訓(xùn)練完畢。

（7）重新從P個學(xué)習(xí)樣本中隨機(jī)選取一組輸入、目標(biāo)樣本對，返回步驟（3），直到目標(biāo)函數(shù)E收斂于給定值，若訓(xùn)練次數(shù)大于設(shè)定的最大訓(xùn)練次數(shù)，則網(wǎng)絡(luò)不收斂。

由于BP算法學(xué)習(xí)速率為固定值，收斂速度較慢，且可能會產(chǎn)生多個局部極小值，另外網(wǎng)絡(luò)的隱含層層數(shù)和神經(jīng)元數(shù)目的選擇尚無理論指導(dǎo)，因此網(wǎng)絡(luò)具有較大的冗余性。為了克服以上不足，提出了許多改進(jìn)算法，從改進(jìn)途徑上分為兩類：

一類為啟發(fā)式學(xué)習(xí)算法，如動量BP算法、彈性算法、學(xué)習(xí)率可變的BP算法等；另一類為快速優(yōu)化算法，如擬牛頓算法、LM算法等。

2 基于BP小波神經(jīng)網(wǎng)絡(luò)的故障測距

小波包具有正交特性、信號分解后的信息量是完整的，因此利用小波包算法分析信號頻率的分布情況，能夠有效提取信號的暫態(tài)特征。對于電纜線路而言，其暫態(tài)零序電流的自由振蕩頻率一般在1500～3000Hz之間[2-3]。本文利用小波包提取該頻段的暫態(tài)零序電流信號模極大值作為神經(jīng)網(wǎng)絡(luò)模型的輸入，以期實(shí)現(xiàn)高精度的故障測距。

2.1 小波基的選擇

在利用小波包提取模極大值時，小波基的選擇十分重要，選擇不同的小波基對信號進(jìn)行分解，可以突出不同特點(diǎn)的信號特征。Daubechies小波系是信號分析處理中常用的一類小波，具有緊支性、正交性，滿足精確重構(gòu)條件，但由于其不具有對稱性，因而其邊界效應(yīng)會隨尺度的增加而擴(kuò)大，引起分解誤差；Morlet小波常用于信號表示、圖像特征的提取和識別；Mexican hat小波則用于系統(tǒng)辨識。

3次B樣條小波是一種具有線性相位的緊支對稱小波，分頻能力強(qiáng)，頻帶相干小，由于具有對稱性，只要采取合理的延拓方式，其邊界效應(yīng)引起的誤差可忽略不計(jì)。

B樣條基函數(shù)的遞推公式如下：

N■（x）=1，x■≤x≤x■0，x？埸x■，x■N■（x）=■N■（x）+■N■（x）（4）

3次B樣條基函數(shù)N■（x）在xi，xi+4上具有局部支集性，表達(dá)式如（5）所示。

（5）若取參數(shù)x■=i（i=0，1，...，n）為節(jié)點(diǎn)即為均勻B樣條基，再對均勻B樣條基作參數(shù)變換，在每個子區(qū)間內(nèi)以參數(shù)代換，在每個子區(qū)間的值均為u0，1。3次B樣條基函數(shù)的表達(dá)式如式6所示。

由于二進(jìn)小波包變換具有平移不變性，不會引起正交小波包變換在所分析信號不連續(xù)處產(chǎn)生的偽吉布斯現(xiàn)象[4]。故本文利用3次B樣條小波包對短路故障電流進(jìn)行卷積型二進(jìn)小波包分解，以期獲得更顯著的故障特征信息。

N■（x）=■，x■≤x≤x■■+■，x■≤x≤x■■+■，x■≤x≤x■■，x■≤x≤x■0，x？埸x，x■

（5）

N■（u）=■u3■（-3u3+3u2+3u+1）■（3u3-6u2+4）■（-u3+3u2-3u+1） 0≤u≤1（6）

2.2 分解尺度的選擇

如何選擇分解尺度對于零序電流暫態(tài)分量的模極大值提取至關(guān)重要，尺度取得越大，信號與噪聲的表現(xiàn)差異越明顯，越有利于兩者的分離。但分解尺度取得越大，則對應(yīng)的頻帶寬度越窄，采樣點(diǎn)數(shù)過小，不利于下一步的信號分析[5-7]。

由于本文仿真的采樣頻率取1MHz，則Nyquist頻率為5kHz，為提取暫態(tài)零序電流1500～3000Hz頻率段分量，小波包分解層數(shù)為3，考慮小波包頻帶劃分規(guī)則，?。?，3）、（3，7）頻帶的零序電流暫態(tài)分量即可滿足要求。

2.3 BP網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)的選擇

欲利用BP小波神經(jīng)網(wǎng)絡(luò)計(jì)算井下配電網(wǎng)故障測距，必須首先確定BP網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)，如各層的初始權(quán)值、閥值，學(xué)習(xí)速率，各層節(jié)點(diǎn)數(shù)、傳遞函數(shù)等，只有確定了網(wǎng)絡(luò)的最佳配置，才能有效解決所提出的問題[8]。

（1）網(wǎng)絡(luò)層數(shù)的確定。Hecht-Nielsen已經(jīng)證明，在不限制隱層節(jié)點(diǎn)數(shù)的情況下，含有一個隱層的BP網(wǎng)絡(luò)能夠?qū)崿F(xiàn)任意非線性映射。Cybenko指出，當(dāng)隱層傳遞函數(shù)選用S型傳遞函數(shù)時，單隱層足以滿足解決任意判決分類問題的需要，兩個隱層則能夠?qū)崿F(xiàn)輸入圖形的映射。增加隱層數(shù)可以進(jìn)一步提高精度，但同時會增加網(wǎng)絡(luò)權(quán)值的訓(xùn)練時間。另外，增加隱層神經(jīng)元個數(shù)也能降低誤差，訓(xùn)練效果也更易觀察，因此，應(yīng)優(yōu)先考慮增加隱含層神經(jīng)元的個數(shù)。對于本文研究的故障測距問題，網(wǎng)絡(luò)需要較快的收斂速度，因此采用單隱層網(wǎng)絡(luò)。

（2）各層節(jié)點(diǎn)數(shù)目的確定。網(wǎng)絡(luò)輸入層節(jié)點(diǎn)數(shù)等于輸入向量的維數(shù)。由于井下電網(wǎng)大多數(shù)實(shí)時運(yùn)行參數(shù)如負(fù)荷、系統(tǒng)等效阻抗可由監(jiān)控終端獲得，其它隨機(jī)性因素如發(fā)生故障線路、故障時刻可由故障后可測信息準(zhǔn)確識別，不可知變化因素僅包括接地過渡電阻及故障點(diǎn)位置，并且神經(jīng)網(wǎng)絡(luò)的內(nèi)插性能優(yōu)于外推性能，故輸入向量維數(shù)等于3，分別為（3，3）、（3，7）頻帶零序電流暫態(tài)分量的模極大值和故障點(diǎn)過渡電阻值。輸出層節(jié)點(diǎn)數(shù)為1，表示故障點(diǎn)位置。隱含層節(jié)點(diǎn)數(shù)的選擇比較復(fù)雜，需要依據(jù)經(jīng)驗(yàn)和經(jīng)過多次實(shí)驗(yàn)確定，選取過多將導(dǎo)致學(xué)習(xí)時間過長，過少將引起容錯性差，對未經(jīng)學(xué)習(xí)的樣本識別能力低。根據(jù)Hebe準(zhǔn)則可以確定最佳隱含層節(jié)點(diǎn)數(shù)的參考值。另外，也可先令隱含層節(jié)點(diǎn)數(shù)可變，開始時給以較小數(shù)值，學(xué)習(xí)到給定訓(xùn)練次數(shù)最大值，若未達(dá)到收斂精度則再增加節(jié)點(diǎn)數(shù)，直至達(dá)到合理數(shù)值為止。經(jīng)過多次仿真訓(xùn)練，隱層節(jié)點(diǎn)數(shù)為11時，網(wǎng)絡(luò)的訓(xùn)練誤差最小。

（3）初始權(quán)值的選取。初始權(quán)值的選擇對于網(wǎng)絡(luò)能否收斂和訓(xùn)練的速度關(guān)系密切。若權(quán)值選擇過大，會使加權(quán)輸入處于激勵函數(shù)的飽和區(qū)，導(dǎo)致無法進(jìn)行權(quán)值的調(diào)整。威得羅等人提出一種權(quán)值初定策略，選擇權(quán)值的量級為S1的r次方，其中S1為第一層神經(jīng)元數(shù)目，利用此方法可以在較少的訓(xùn)練次數(shù)下獲得滿意的訓(xùn)練結(jié)果。本文選擇的輸入層及隱含層至輸出層的初始權(quán)值均為0.25。

（4）訓(xùn)練算法的選擇。給定一個具體問題，采用何種訓(xùn)練算法對于是否能夠達(dá)到目標(biāo)誤差及網(wǎng)絡(luò)收斂速度的影響很大。就中等規(guī)模的前饋神經(jīng)網(wǎng)絡(luò)而言，LM算法的訓(xùn)練函數(shù)trainlm可以獲得比其它任何一種算法更小的均方誤差，且收斂速度最快，在精度要求較高時，該算法的優(yōu)點(diǎn)尤其突出。本文選擇LM算法對BP網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

（5）學(xué)習(xí)速率的選擇。一般情況下傾向于選擇較小的學(xué)習(xí)速率以保證訓(xùn)練過程的穩(wěn)定性，但是過小的學(xué)習(xí)速率會導(dǎo)致訓(xùn)練時間過長，收斂速度很慢，無法保證網(wǎng)絡(luò)的誤差值跳出誤差曲面的低谷而最終趨于最小誤差，一般選擇范圍在0.01～0.9之間。

3 系統(tǒng)仿真及測距結(jié)果

深井供電系統(tǒng)仿真模型如圖2所示。各模塊參數(shù)如下：進(jìn)線電纜（In line）采用YJV42，線路正序參數(shù)為：R1=0.078/km，L1=0.27mH/km，C1=0.695F/km，零序參數(shù)為：R0=0.106/km，L0=1.223mH/km，C0=0.358F/km；配電電纜（Line）采用YJV32；采區(qū)電纜（Mine line）、負(fù)荷電纜（Load line）采用UPQ，正序參數(shù)為：R1=0.024/km，L1=0.516mH/km，C1=0.308F/km，零序參數(shù)為：R0=0.196/km，L0=3.98mH/km，C0=0.203F/km；采區(qū)變壓器（MineT1）型號為KBSG-200/6/0.69kV，Ud%=4%，I0%=2.5%；隔爆移動變電站（MineT2）選用KBSGZY-315/6/1.2kV，P0=1400W，Pd=2200W。負(fù)荷變壓器采用SL7-100/6/0.4kV。線路長度分別為：進(jìn)線電纜取1km；

配電電纜1、3、4取0.5km；配電電纜2取0.4km；采區(qū)電纜長度均取0.3km；負(fù)荷電纜取0.2km。電源線電壓有效值6.3kV，X/R ratio=7。

考慮配電線路1在不同故障點(diǎn)位置和過渡電阻下發(fā)生單相接地故障（數(shù)據(jù)窗取故障前1ms至故障后4ms共5ms）得到的暫態(tài)零序電流經(jīng)小波包分析后（3，3）、（3，7）頻帶的模極大值（為防止邊界效應(yīng)引起的信號值突變，取前2000個采樣值進(jìn)行模極大值分析）經(jīng)歸一化處理后所形成的訓(xùn)練和測試樣本集，對BP網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并測試網(wǎng)絡(luò)的測距性能。

選取的訓(xùn)練樣本集如下：

（1）過渡電阻值分別為0.01、5、50、100、150、200、250、300、350、400、450、500；

（2）在靠近線路兩端發(fā)生故障時，應(yīng)適當(dāng)減小故障距離以提高測距精度。故障點(diǎn)位置分別為：0.01km、0.02km、0.025km、0.075km、0.125km、0.175km、0.225km、0.25km、0.3km、0.325km、0.375km、0.425km、0.475km、0.48km、0.49km。

組合兩因素可形成12×15=180個訓(xùn)練樣本集。

訓(xùn)練誤差曲線如圖3所示，經(jīng)2794次迭代后誤差收斂于0.00099829，基本達(dá)到了設(shè)定的目標(biāo)誤差0.001。

為檢驗(yàn)訓(xùn)練后BP網(wǎng)絡(luò)的推廣能力即測距效果，采用非訓(xùn)練樣本集進(jìn)行測試，選取的測試樣本集如下圖3：

圖3 BP網(wǎng)絡(luò)訓(xùn)練誤差性能曲線

（1）過渡電阻值分別為25、75、125、175、225、275、325、375、425、475；

（2）故障點(diǎn)位置分別為0.015km、0.05km、0.1km、0.15km、0.2km、0.275km、0.35km、0.4km、0.45km、0.485km。

組合兩因素形成10×10=100個測試樣本集。

對于給定的測試樣本集，經(jīng)BP網(wǎng)絡(luò)前饋運(yùn)算得到的實(shí)際測距結(jié)果及相對誤差分別如表1、表2所示。

其中，L表示實(shí)際故障距離，l表示測量距離。

相對誤差e=（實(shí)際故障距離-測量距離）線路總長×100%。

由表2可知，對于測試樣本集，訓(xùn)練后的BP網(wǎng)絡(luò)測距相對誤差隨過渡電阻值的增加有增大的趨勢，最大誤差達(dá)到了-16.56%，且出現(xiàn)在過渡電阻為475時，同時注意到在故障點(diǎn)接近線路兩端時，由于適當(dāng)增加了訓(xùn)練樣本，測距相對誤差明顯減小，因此，通過增加訓(xùn)練樣本數(shù)量有望進(jìn)一步提高測距精度。

4 結(jié)論

通過研究得出以下結(jié)論：

1）采用小波包提取故障暫態(tài)零序電流的模極大值能有效表征故障時所蘊(yùn)含的物理現(xiàn)象，為準(zhǔn)確進(jìn)行故障測距提供了有效的數(shù)據(jù)。

2）BP神經(jīng)網(wǎng)絡(luò)具有良好的分類及擬合功能，能在獲得大量樣本數(shù)據(jù)的基礎(chǔ)上，訓(xùn)練出符合要求的前饋型網(wǎng)絡(luò)，為煤礦井下電網(wǎng)故障測距提供強(qiáng)有力的手段。從測距相對誤差結(jié)果來看，基于小波分析與BP神經(jīng)網(wǎng)絡(luò)的故障測距方法能基本滿足測距要求。另外，本文下一步的工作將在樣本集數(shù)量、網(wǎng)絡(luò)結(jié)構(gòu)等方面進(jìn)行更為深入的研究。

【參考文獻(xiàn)】

[1]丁恩杰，王超楠，崔連成.礦井配電網(wǎng)輸電線路故障測距方法的研究[J].中國礦業(yè)大學(xué)學(xué)報(bào)，2006，35（3）：311-316.

[2]竇新宇，李春明.小電流接地系統(tǒng)行波測距方法研究[J].電力科學(xué)與工程，2010，26（2）：51-53.

[3]季濤.基于暫態(tài)行波的配電線路故障測距研究[D].濟(jì)南：山東大學(xué)，2006.

[4]姚李孝，趙化時，柯麗芳，等.基于小波相關(guān)性的配電網(wǎng)單相接地故障測距[J].電力自動化設(shè)備，2010，30（1）：71-74.

卷積神經(jīng)網(wǎng)絡(luò)的特性范文第5篇

人工神經(jīng)網(wǎng)絡(luò)作為一種智能化的方法近年來在圖像數(shù)據(jù)壓縮領(lǐng)域得到了一定的研究與應(yīng)用[6]?；谌斯ど窠?jīng)網(wǎng)絡(luò)的數(shù)據(jù)壓縮主要有2個步驟：①學(xué)習(xí)訓(xùn)練，將數(shù)據(jù)送入輸入層作為訓(xùn)練樣本，不斷調(diào)整各層間的連接權(quán)值，從而使得網(wǎng)絡(luò)的輸出均方差達(dá)到最?。虎趬嚎s編碼，將數(shù)據(jù)輸入到訓(xùn)練好的網(wǎng)絡(luò)，壓縮后的數(shù)據(jù)通過隱含層輸出。DEM數(shù)據(jù)具有相關(guān)性和連續(xù)性的特點(diǎn)，即DEM數(shù)據(jù)反映的是地形連續(xù)變化的特征，高程劇烈變化的部分是少有的并且DEM網(wǎng)格中某一點(diǎn)的高程值可以通過鄰域值用非線性函數(shù)表示，這實(shí)質(zhì)上非線性函數(shù)逼近或地形曲面擬合的過程。基于以上特點(diǎn)，學(xué)者們將人工神經(jīng)網(wǎng)絡(luò)引入到DEM數(shù)據(jù)壓縮領(lǐng)域，馮琦等[7]采用BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)DEM數(shù)據(jù)壓縮，該研究特色在于：①采用L-M訓(xùn)練算法提高單隱層網(wǎng)絡(luò)（SHLN）運(yùn)算速率[8-9]；②基于DEM數(shù)據(jù)相關(guān)性特點(diǎn)設(shè)置相對誤差精度指標(biāo)實(shí)現(xiàn)對最優(yōu)BP訓(xùn)練網(wǎng)絡(luò)的選取，在減少結(jié)點(diǎn)數(shù)的同時獲得較高的壓縮比；③該方法解壓過程對于計(jì)算機(jī)硬件依賴性不高，能夠進(jìn)行數(shù)據(jù)的離線壓縮處理。根據(jù)DEM數(shù)據(jù)的連續(xù)性特征，趙鴻森等[10]提出了一種基于RBF神經(jīng)網(wǎng)絡(luò)的壓縮方法，該方法將山脊線、山谷線等地形特征作為樣本點(diǎn)訓(xùn)練集，能夠根據(jù)地形特征自適應(yīng)確定網(wǎng)絡(luò)結(jié)構(gòu)，神經(jīng)網(wǎng)絡(luò)權(quán)值是通過網(wǎng)格點(diǎn)高程值獲得，可獲得較高的壓縮比。

基于小波變換的DEM數(shù)據(jù)壓縮

1.基于DWT的DEM數(shù)據(jù)壓縮

DWT（DiscreteWaveletTransform）適合于處理各種冗余度低、相關(guān)性低的非平穩(wěn)信號的壓縮處理，對于不穩(wěn)定、相關(guān)性差的DEM數(shù)據(jù)壓縮具有較好的效果。DWT對于信號的壓縮是基于其他具有多分辨率分析（MRA）這一特性,即根據(jù)Mallat算法[11]原始信號能夠被逐級分解為高頻和低頻信號，由于高頻分解信號含有絕大都數(shù)信息并且幅值小，通過設(shè)定一定的比例將最小幅值的分解系數(shù)置為0，再通過小波系數(shù)重構(gòu)達(dá)到信號壓縮的目的。經(jīng)過理論分析，原始信號經(jīng)過DWT，重構(gòu)信號與原始信號具有高度的一致性。事實(shí)上重構(gòu)信號與原始信號的差別往往不可忽略，特別是對于DME數(shù)據(jù)的壓縮，壓縮后數(shù)據(jù)相對于原始數(shù)據(jù)而言存在著嚴(yán)重的邊界畸變、失真等問題，必須加以解決。針對這一問題，CHANG[12]等將二維離散小波變換的邊界問題轉(zhuǎn)變?yōu)橐痪S離散小波變換來進(jìn)行處理，研究結(jié)果表明該方法大大減小了邊界失真區(qū)域，在提高壓縮比的同時DEM重建數(shù)據(jù)精度也得以提高。

2.基于IWT的DEM數(shù)據(jù)壓縮

DWT是通過將信號分解系數(shù)直接置0的方式來進(jìn)行壓縮處理，重構(gòu)信號與原始信號不可避免地出現(xiàn)誤差，而基于IWT（IntegerWaveletTransform）信號壓縮，由于小波分解系數(shù)通過有限精度數(shù)（FinitePrecisionNumber）來進(jìn)行精確描述，因而適合于對信號進(jìn)行無損壓縮處理[13]。基于IWT的數(shù)據(jù)壓縮具有以下特點(diǎn)：①壓縮處理很大程度上依賴于多相矩陣因式分解的選擇，而因式分解能否對壓縮后圖像給定一個適當(dāng)?shù)恼`差尺度，取決于圖形迭代函數(shù)；②IWT采用提升方案，并且均為整數(shù)運(yùn)算，數(shù)據(jù)處理的速率得以提高；③IWT完全可逆，既可以實(shí)現(xiàn)有損編碼也可以實(shí)現(xiàn)無損編碼。陳仁喜等[14]將整形小波變換用于DEM數(shù)據(jù)壓縮處理，該方法首先將經(jīng)過預(yù)處理的DEM數(shù)據(jù)進(jìn)行整形小波變換，然后對變換系數(shù)進(jìn)行閾值化處理，最后進(jìn)行量化編碼。該方法最大特點(diǎn)是實(shí)現(xiàn)了數(shù)據(jù)壓縮比和質(zhì)量以及數(shù)據(jù)質(zhì)量和傳輸速度的很好折中，具體為：①量化方法基于SPIHT算法平面?zhèn)魉退枷耄匾畔⒅饕杏诟呶唬瑢⑿〔ㄗ儞Q后的系數(shù)直接去掉后面的n個平面位，該方法在保證數(shù)據(jù)壓縮質(zhì)量的同時提高了壓縮比；②采用基于位平面掃描的算法對量化后的數(shù)據(jù)進(jìn)行壓縮編碼，這使得壓縮后的數(shù)據(jù)具有質(zhì)量漸進(jìn)傳輸特性；③小波變換后各子帶分別進(jìn)行編碼，在解碼過程中可以不對高頻子帶解碼，得到的恢復(fù)數(shù)據(jù)分辨率較低，這有利于對大型DEM數(shù)據(jù)進(jìn)行快速檢索和瀏覽。

3.基于SPIHT小波編碼算法

EMZ（EmbeddedZerotreeWavelet）算法由Shaprio[15]于1993年提出,該算法包括嵌入式和零樹，在零樹結(jié)構(gòu)與逐次逼近量化方法（SAQ）相結(jié)合的基礎(chǔ)上實(shí)現(xiàn)嵌入式編碼。該算法能充分利用小波系數(shù)特點(diǎn)使得輸出的碼流具有嵌入的優(yōu)點(diǎn)，因而在圖像處理[16-17]、生物醫(yī)學(xué)[18]等領(lǐng)域得到廣泛的應(yīng)用研究。但該算法也存在著如在相互獨(dú)立的零樹進(jìn)行編碼時浪費(fèi)大量字節(jié)等缺陷，研究者們也做了一些改進(jìn)[19]。在EMZ算法基礎(chǔ)上發(fā)展而來的SPIHT（SetPartitioninginHierarchicalTrees）[20]算法具有能夠在保證數(shù)據(jù)壓縮質(zhì)量的前提下提高壓縮比，能夠進(jìn)行優(yōu)化嵌入式編碼，均方根誤差和計(jì)算復(fù)雜度低等優(yōu)點(diǎn)，并且數(shù)據(jù)壓縮后具有很好的漸進(jìn)傳輸特性，目前該算法在圖像壓縮領(lǐng)域得到廣泛應(yīng)用。地形特征是影響DEM壓縮質(zhì)量的一個重要因素，平坦地區(qū)數(shù)據(jù)冗余量大而山地地勢高低起伏，數(shù)據(jù)冗余則較小，但就現(xiàn)有的研究方法而言將這兩種地形采用同樣地壓縮比，壓縮結(jié)果不盡如人意，李毅等[21]提出了一種基于SPIHT小波的DEM自適應(yīng)壓縮方法，該方法特點(diǎn)在于：①考慮地形特征，根據(jù)地形的復(fù)雜度進(jìn)行分析以確定數(shù)據(jù)壓縮比，從而確保數(shù)據(jù)可視化質(zhì)量；②自適應(yīng)性編碼，通過才用表征不同尺度的小波高頻系數(shù)和地形尺度特征向量對地形復(fù)雜度進(jìn)行評估，根據(jù)評估結(jié)果自適應(yīng)調(diào)節(jié)編碼算法。但該研究中數(shù)據(jù)壓縮比是根據(jù)地形視覺效果選擇，存在一定的經(jīng)驗(yàn)性，在實(shí)際應(yīng)用中很難得到較為理想的壓縮比。

4.基于M進(jìn)制小波的DEM數(shù)據(jù)壓縮

多分辨率分析是傳統(tǒng)二進(jìn)制小波變換的基本特性，即能夠獲得信號在時間域和頻率域局部化特征，這有利于對圖像局部信息進(jìn)行有效地識別和分析。當(dāng)圖像經(jīng)過多層小波分解時，隨著分解層數(shù)的增加，圖像信息會出現(xiàn)不同程度的丟失，這成為二進(jìn)制小波變換的主要缺陷。在二進(jìn)制小波變換基礎(chǔ)上發(fā)展的M進(jìn)制小波變換具有如下特點(diǎn)：①能夠?qū)D像信號進(jìn)行更加細(xì)致地分解，分解次數(shù)不受限制；②圖像信息更加集中，并能夠精確描述圖像的頻率分布；③圖像重構(gòu)具備較高的精度；④具有對圖像信號相對狹窄的高頻部分進(jìn)行放大處理和對圖像信號壓縮的特性，這克服了正交小波分解所存在的缺陷.DME由于具有海量化數(shù)據(jù)，以及復(fù)雜的地形信息等特點(diǎn)一直是DEM數(shù)據(jù)壓縮的難點(diǎn)，近年來研究者們將M進(jìn)制小波變換引入DME數(shù)據(jù)壓縮領(lǐng)域，王宇宙等[22]提出了一種基于多進(jìn)制小波變換的DEM數(shù)據(jù)壓縮方法，顧及DEM地形因素，將高頻和低頻信息分別進(jìn)行編碼處理是其主要特色，具體化為：①低頻系數(shù)采用差分映射編碼，這充分顧及地面變化的連續(xù)性以及大量數(shù)據(jù)冗余的情形，能夠?qū)Φ皖l信息進(jìn)行無損的壓縮編碼；②并未直接舍棄系數(shù)值較小的高頻小波系數(shù)，而是通過自適應(yīng)對數(shù)量化表，對各個高頻小波系數(shù)子塊分別加以量化處理，能夠獲得較好的壓縮效果。但該方法不足之處在于：對數(shù)量化位數(shù)是根據(jù)壓縮率來進(jìn)行確定，而事實(shí)上壓縮率不能預(yù)先得知，從而量化位數(shù)也就無法精確得獲得，基于具體地形信息的DEM數(shù)據(jù)精確壓縮也就難以實(shí)現(xiàn)。多進(jìn)制小波函數(shù)和尺度函數(shù)的構(gòu)造是基于多進(jìn)制小波DEM數(shù)據(jù)壓縮的難點(diǎn)之一，對此呂?？萚23]構(gòu)造了一種具有插值性質(zhì)的多進(jìn)制小波函數(shù)和尺度函數(shù)，將DEM數(shù)據(jù)轉(zhuǎn)變?yōu)槎S圖像壓縮問題，能夠在保持地形特征基本不變的前提下提高壓縮比。但基于多進(jìn)制DEM數(shù)據(jù)壓縮本質(zhì)上是有損壓縮，細(xì)節(jié)信息的損失不可避免。#p#分頁標(biāo)題#e#

基于組合算法的DEM數(shù)據(jù)壓縮

1.SPHIT算法與小波變換相結(jié)合的DEM數(shù)據(jù)壓縮

整形小波變換（IWT）采用了提升方案（LS），避免了傳統(tǒng)小波的卷積運(yùn)算，并且計(jì)算過程完全在空間域進(jìn)行，計(jì)算復(fù)雜度明顯降低，便于硬件實(shí)現(xiàn)。因此，IWT能夠?qū)τ谌哂喽容^大的DEM數(shù)據(jù)進(jìn)行有效地去相關(guān)性處理，實(shí)現(xiàn)對DEM數(shù)據(jù)的無損或近似無損的壓縮。將IWT與新型編碼方法的代表——SPIHT算法有機(jī)結(jié)合，為DEM數(shù)據(jù)壓縮提供了一種有效方法。田繼輝等[24]提出一種能夠用于應(yīng)急三維GIS的DEM數(shù)據(jù)壓縮方法，該方法特點(diǎn)在于：①根據(jù)壓縮精度要求，實(shí)現(xiàn)DEM數(shù)據(jù)單位轉(zhuǎn)換；②對于每塊DEM數(shù)據(jù)均減去其最小值，在降低了小波變換級數(shù)的同時使得SPIHT編碼級數(shù)也得到降低；③通過設(shè)定一個小波系數(shù)閾值，將高于和低于該閾值的小波系數(shù)，分別進(jìn)行SevenZip和SPIHT算法進(jìn)行處理；④選用Int5／3實(shí)現(xiàn)對DEM數(shù)據(jù)壓縮處理。該方法充分發(fā)揮IWT和SPIHT算法的優(yōu)勢，能夠顧及到地形平坦和起伏較大情形下的壓縮編碼，研究表明該方法取得了較好的壓縮效果，但對于DEM數(shù)據(jù)的邊界問題并未提及，仍需要進(jìn)一步加以研究。

2.基于小波變換與熵編碼相結(jié)合的DEM壓縮算法

該算法實(shí)現(xiàn)主要有3個步驟：①小波變換，即選擇恰當(dāng)?shù)男〔ɑ瘮?shù)對DEM數(shù)據(jù)進(jìn)行小波變換；②量化，經(jīng)過小波變換后數(shù)據(jù)相比原始數(shù)據(jù)而言更加集中，但其數(shù)量大小并未改變，必須采用一定的量化方法進(jìn)行數(shù)據(jù)量化；量化通常有矢量和標(biāo)量量化兩種方法；③編碼，通過將小波變換后的量化數(shù)據(jù)進(jìn)行編碼，將其轉(zhuǎn)化為字符流。就整個小波壓縮流程而言，數(shù)據(jù)經(jīng)過壓縮后邊界失真現(xiàn)象的克服，數(shù)據(jù)壓縮比的提高，以及在于量化和編碼方法的選擇是該壓縮算法的難點(diǎn)所在。DEM數(shù)據(jù)具有不穩(wěn)定、相關(guān)性差、信息熵高，并且DEM在平原地區(qū)具有較大的冗余，而在山區(qū)則冗余度較低等特點(diǎn)，這使得數(shù)據(jù)壓縮比難以得到提高，常占強(qiáng)等[25]利用具有線性相位的雙正交小波變換與混合熵編碼相結(jié)合的方法對山區(qū)DEM數(shù)據(jù)進(jìn)行壓縮處理，具體來說：首先對DEM數(shù)據(jù)進(jìn)行小波變換，通過選取最大分解系數(shù)的1／6作為自適應(yīng)閾值并與硬閾值函數(shù)相結(jié)合，對小波分解后的高頻系數(shù)進(jìn)行處理，能夠使得大約95﹪小波系數(shù)為0；然后將高頻和低頻分解系數(shù)分別采用游程編碼和Huffman編碼；最后再次通過游程解碼和Huffman解碼進(jìn)行數(shù)據(jù)解壓。該研究充分發(fā)揮了小波變換與編碼方法各自的優(yōu)勢，在提高數(shù)據(jù)重建精度的同時獲得了較高的壓縮比，但小波閾值的選取局限于單一的情形，對多種情形的小波閾值的自適應(yīng)確定規(guī)則的研究仍有待于進(jìn)一步深入。

3.紋理優(yōu)化技術(shù)與其他方法相結(jié)合的DEM數(shù)據(jù)壓縮

紋理數(shù)據(jù)作為一種重要的場景數(shù)據(jù)，在對三維DEM數(shù)據(jù)進(jìn)行渲染時一般存在兩個問題：①由于采用分辨率高而且顏色豐富的紋理，從而存消耗急劇增加；②無法有處理決紋理分辨率與視距之間的關(guān)系，即相機(jī)與圖的距離較近時，圖形分辨率較大，相機(jī)與圖形距離較大時，圖形分辨率較小。Mipmap（Multi-imagepyramidmap）技術(shù)能夠很好解決以上問題，該技術(shù)由Willams提出，并很快得到了廣泛的研究和應(yīng)用。從廣義角度上分析，DME數(shù)據(jù)壓縮、傳輸與顯示是一個有機(jī)整體，同屬于DEM數(shù)據(jù)壓縮范疇，即廣義DEM數(shù)據(jù)壓縮。楊曉東等[26]結(jié)合Mipmap紋理優(yōu)化技術(shù)與頂點(diǎn)法向量編碼方法對DEM數(shù)據(jù)進(jìn)行壓縮處理，該研究主要實(shí)現(xiàn)如下功能：①數(shù)據(jù)的漸進(jìn)傳輸和顯示：通過對DEM數(shù)據(jù)進(jìn)行小波變換，分別采用標(biāo)量量化器和EZW對小波系數(shù)進(jìn)行量化和編碼；②DEM數(shù)據(jù)優(yōu)化顯示，采用頂點(diǎn)法向量的計(jì)算和編碼方法并結(jié)合Mipmap紋理優(yōu)化技術(shù)，能夠?qū)δＰ蛿?shù)據(jù)進(jìn)行光照效果的計(jì)算。該研究突破了將DEM數(shù)據(jù)的壓縮、傳輸以及優(yōu)化顯示有機(jī)結(jié)合，突破了現(xiàn)有的DEM數(shù)據(jù)壓縮的固有模式，為該領(lǐng)域提供了一個較好的研究思路。

4.基于判別規(guī)則（指標(biāo)）的DEM數(shù)據(jù)壓縮

TIN由于采用不規(guī)則的空間分布高程采樣點(diǎn)描述地形，在數(shù)據(jù)結(jié)構(gòu)、三角網(wǎng)生成算法等方面相對于排列規(guī)則且結(jié)構(gòu)簡單的Grid數(shù)據(jù)而言，數(shù)據(jù)壓縮方面難度較大。通過預(yù)先定義某一判別規(guī)則（指標(biāo)）來對數(shù)據(jù)量進(jìn)行適當(dāng)?shù)娜∩幔瑥亩鴮?shí)現(xiàn)對DEM數(shù)據(jù)的壓縮，是實(shí)現(xiàn)DEM數(shù)據(jù)壓縮處理的一種有效方法。蔡先華等[27]提出DEM數(shù)據(jù)壓縮地形描述誤差（Ep）這一判別指標(biāo)來實(shí)現(xiàn)對DEM數(shù)據(jù)壓縮，該方法首先在充分考慮DEM高程采用點(diǎn)、地形描述以及數(shù)據(jù)壓縮等誤差相互影響的基礎(chǔ)上，確定數(shù)據(jù)壓縮誤差限值EP0；然后對不是TIN邊界的高程點(diǎn)產(chǎn)生的地形誤差Ep與所給限值進(jìn)行比較，剔除小于該值的高程點(diǎn)，從而實(shí)現(xiàn)DEM數(shù)據(jù)的壓縮。三角網(wǎng)在地形起伏較大的情況下，相鄰法線向量之間夾角較大，而當(dāng)?shù)匦纹教箷r，相鄰法線向量近乎平行。劉春[28]等提出一種基于TIN的DEM數(shù)據(jù)壓縮方法，該方法將相鄰三角形法線間的夾角作為判別依據(jù)，判別閾值步驟如下：①確定大概閾值T，采用該閾值進(jìn)行TIN壓縮；②計(jì)算DEM采樣點(diǎn)高程差的方差S；③將S與壓縮誤差允許值進(jìn)行比較，如果大于該值則適當(dāng)減少閾值T，并重新計(jì)算；反之則增大閾值T并重新計(jì)算直到滿足要求為止。該方法間接地顧及地形特征，并且閾值的選擇是根據(jù)所給點(diǎn)的壓縮誤差指標(biāo)進(jìn)行迭代選擇的，研究表明該方法對TIN數(shù)據(jù)壓縮較為有效，但對于特殊地面模型的壓縮處理仍有待于進(jìn)一步研究。

結(jié)束語