卷積神經網絡的特性
前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇卷積神經網絡的特性范文，相信會為您的寫作帶來幫助，發現更多的寫作思路和靈感。
卷積神經網絡的特性范文第1篇
一、智能裝備簡介
若想提高消防救援隊伍的滅火救援效能，提高裝備的智能化水平是必不可少的一步。消防裝備的配備情況影響著戰術和戰術效果，甚至是直接影響救援成功率的重要因素。因此，提升裝備的智能化水平、改善裝備結構從而提升消防救援隊伍的作戰能力是關系廣大人民群眾生命以及財產安全的重要手段。消防裝備智能化的研究工作任重而道遠。本文著眼于圖像法火焰識別技術，通過研究新技術，探討將其應用于智能消防裝備之中的可行性。
二、卷積神經網絡的簡介
（一）網絡結構。卷積神經網絡功能繁多，其中多層檢測學習神經網是一種多層次的神經監測網絡。其中心模塊為卷積層，主要由隱藏層與最大池采樣層組成，主要功能是特征提取。其中，連接層與傳統多層感應器的隱藏層、邏輯歸類器相對應。卷積神經網絡的輸入特征來源使卷積濾波器，而該神經網絡的每一層都有多個理論上的神經元以及特征圖。在給一個來自卷積和子采樣層的輸入統計濾波后，系統就提取了圖像局部的特征，就可以確定它與其他特征之間的相對方位，上一層的輸出值直接輸入至下一層。通常情況下，我們可以通過特征層來得到卷積層（特征層是指：輸入到隱藏層之間的映射）。（二）局部感受野與權值共享。局部感受野：由于圖像空間的連接是局部性的，因此每個神經元都不需要感測全部圖像，而只需感覺到局部的特征。然后，通過對較高級別感測量的局部神經元進行集成，可以得到整體的信息，并且減少了連接數量。權重分享：不同神經元之間的參數分享可通過降低求解參數，并通過放大器對圖像的放大積獲得多種特征圖。實際上，權重共享圖像上的第一隱藏層的所有神經元由于是在同一卷積上確認的，所以均能在圖像的任意一個位置檢測到毫無差別的特性。他的最主要的功能是能夠通過適應小范圍的圖像和平移從而達到檢測不同位置的目的，也就是良好的不變性平移。（三）卷積層、下采樣層。卷積層：通過去卷積來提取圖像特征，用來強化初始信號原屬性，從而減少噪音。下采樣層：由于研究人員發現圖像下采樣過程中，它能在保留信息的同時降低數據處理量，因此在發現某一特定的特征后，由于這個位置并不重要，所以樣本會擾亂特定的位置。我們只需要知道這個特征與其他特點之間的空間相對方位，就可以處理類似的物體由變形和變型而產生的變化。（四）卷積神經網絡的不足。如果網絡層需要加深，每一個網絡層增加的神經元數量會大幅增加，從而使模型復雜化，增大了調整參數的難度，也增大了過度擬合的風險。此外，在反向傳播過程中，連續迭代會使梯度不斷減小，而梯度一旦歸零，權值便無法更新，導致神經元失效。（五）展望與總結隨著研究人員對卷積神經網絡相關的研究不斷推進，其性能日益強大，復雜度也日益提升。目前，卷積神經網絡的相關研究已經取得了顯著成效。然而，一些人工擾動（如向原圖片中鍵入噪點）仍然會導致圖像的錯誤分類。如何解決這一問題，是今后研究的重點。此外，卷積神經網絡的結構升級仍有很大空間，通過提升網絡結構設計的合理性，可以完善量化分析能力。
三、圖像分割
圖像中包含很多數據，需要分割圖像。然而，精確區分干擾是對整個系統亮度的精確分類和準確劃類的前提。圖像的分析技術是計算機視覺技術的基礎。通過圖像分割、提取特征參量等方法可以將原本的圖像抽象化，從而便于分析和處理。多年以來，圖像的分割技術研究一直是重中之重，研究人員給出了多種分割方法。一般而言，圖像分割是將圖像劃分為不同的區域，給不同的區域賦予不同的權重，從而獲取重要對象的一種技術。特征可能是灰度、顏色、紋理等，目標可能對應一個區或多個地方，這與特殊目的應用程序和特殊目的服務請求程序有關。一般而言，圖像取值分割分析算法大致來說可以再細分為圖形圖像取值分割、邊緣圖像分割、區域分割和重復圖像分析四大個門類。
四、火焰色彩虛擬模型的特征
（一）火焰色彩顏色類型特征。火焰色彩模型一般來說是基于某種火焰色彩類型模式，通過在圖像閾值控制范圍內通過設置某種色彩模型圖像閾值來降噪提取火焰顏色特征圖像。可以用任何提取靜態火焰的特殊像素或者圖案方式來精確描述一個靜態火焰特征。然而，單純地依靠顏色模型來進行火焰識別會導致嚴重的誤判。火焰的顏色范圍是非常大的，所以它很可能與其他物體顏色相近，導致模型將其混為一談。（二）降噪在。火焰發展的初期過程中，是不斷處于移動變化的。又一方面，火焰的全部運動都不會跳躍，也就是火焰滿足相對穩定性。所謂燃燒火災的相對穩定性，是指在火災發生后，燃燒范圍的空間會成一個相對穩定的擴增趨勢擴增。通過分析火災的相對穩定性，可以消滅許多虛假信號。（三）靜態模型。在基于單幀圖像識別的算法中，由于只使用了幾個以火焰為基準的單一形狀特征，因此算法復雜、誤判率很高。因此，一個能夠自主優化識別的模型就顯得十分重要，圖像靜態特征提取的方法如下：由于曲率在人的視覺系統中往往是觀測場景的重要參數，因此提取幾何圖像曲率等參數，并以此描繪火焰圖像；根據測得的數據，描繪連續零曲率以及局部最大曲率、最高曲率正負值等集合特點。（四）動態模型在動態燃燒過程中，產生的火焰具有持續性。此外，根據火焰自身的特性和各種原因，火焰還會不斷發生變化。然而，這種變化并不在單個幀圖像中反映出來，而是在連續的多幀圖像中只反映。因此，提取火焰的動態特征就是分析處理連續多幀圖像。近年來，隨著火災科學的發展，從火焰的隨機狀態中發現了其規則性：1.火焰的面積增長性；2.火焰的形狀相似性；3.火焰的整體移動。基于圖像的火焰識別算法可劃分為動態識別和靜態識別。若將這兩種算法同步進行應用，則定能增加工作效率。火焰形成的重要特點之一便是火焰形狀。對于采集到的ccd火焰圖像，首先進行兩個連續的圖像差分操作，然后通過分割方法獲得連續幀的變化區域，使用掃描窗口得到的像素點數來記述連續幀變化區域。變化區域是指：圖像處理中，在獲得閾值之后，通過對高光度進行科學計算、實驗分析，最終得到的區域。當其他高溫物體移動到相機或離開視野時，所檢測到的目標區域會逐漸擴大，并容易引起干擾，從而造成系統錯誤的報告。因此，需要將數據和其他圖像的關鍵性特征進行一個高強度的結合，再深度進行挖掘。火焰的形狀相似性：圖像之間的類似性通常依賴于已知描述特點之間的差異度。該方法能夠在任意復雜程度上建立相應的類似性量。我們可以對兩個相似的元素進行比較，也可以對兩個相似的場面進行比較，圖像之間的相似性通常意義上是指場景以及結構上的相似性。在一般情況下，圖像的結構相似度往往并不高，因此，我們傾向于選擇更加典型的結構特點進行描述，如區域面積、區域亮度、線段長度等參數。雖然火焰的圖像序列中火焰的邊緣往往是很不穩定的，但圖像的總體變化會被限制在一定范圍內，而且一般的干擾信號模式包含了固定點或者光照變化，因此，在火焰識別的過程中，可以用初始火焰形狀的變化規則與其進行對照。盡管火焰的變化通常呈現出不規則的特性，然而這種不規則在形態、空間分布等方面往往具有某種相似之處，因此，我們可以用連續圖像的結構相似性來進行解析。
五、結語
各種高新技術不斷飛躍式發展，這為我國消防智能化技術的開發以及與外國新型消防設備之間的碰撞提供了一個良好的契機，而消防裝備的智能化已成為一個必然的趨勢。自改革開放至今，我國所研究的有關裝備智能化領域內取得的成果，已經為我們打下了堅實的發展基礎，因此我們更應該加快消防智能化的進程，綜合現有所具備的技術，取其精華去其糟粕，適而用之。由于研究條件和專業方向的局限，本文對智能消防裝備中的火焰識別技術仍然存在不足。此次智能消防裝備的研究方向主要是火焰識別領域，以建立模型的方法進行測算與研究，而對于理論性知識方面的探討仍存在很大的不足。之后的研究可以從其他方面進行深入的探討，探究其對系統化建模會產生哪些方面的影響。
參考文獻：
[1]喻麗春,劉金清.基于改進MaskR-CNN的火焰圖像識別算法[J].計算機工程與應用,2020,964(21):200-204.
[2]肖堃.多層卷積神經網絡深度學習算法可移植性分析[J].哈爾濱工程大學學報,2020,41(03):420-424.
[3]郭昆.基于卷積神經網絡的建筑風格圖像分類的研究[D].武漢理工大學,2017.
[4]徐曉煜.極化合成孔徑雷達艦船檢測方法研究[D].西安電子科技大學,2017.
[5]黃憶旻.基于圖像檢索的導游系統的設計與實現[D].蘇州大學,2016.
[6]宋戈.火災自動檢測技術在無人值守變電站中的應用[D].沈陽理工大學,2010.
[7]葛勇.基于視頻的火災檢測方法研究及實現[D].湖南大學,2009.
卷積神經網絡的特性范文第2篇
摘要:
針對帶鋼表面缺陷檢測系統的速度滯后，精度偏低等問題，在分析成像理論和圖像檢測理論的基礎上，設計并實現了一種帶鋼表面缺陷高速高精度在線檢測系統．該系統首先采用大功率半導體均勻發光激光器技術、高速線掃描成像技術和基于圖形處理器的Gabor紋理濾波技術實現了高速高分辨率的圖像采集和處理，然后采用基于嵌套循環的K－折交叉驗證、信息增益率和BP神經網絡方法構建了高準確率的分類器，以達到對帶鋼表面缺陷高速高精度在線檢測．實驗結果表明，該系統滿足了現有帶鋼生產速度的要求，具有較高的精度和準確率．
關鍵詞:
圖像采集和處理;圖像檢測;Gabor紋理濾波;神經網絡
0引言
鋼鐵企業為了提高競爭力，對帶鋼的生產提出了新的要求，也對帶鋼表面檢測系統提出了更高的要求，既要有更高的檢測速度還要有更加準確的檢測精度［1］．而與此同時，跟隨機器視覺技術的發展，帶鋼表面檢測系統也得到了廣泛的研究與應用［2］．主要研究包括:①光源技術．由于帶鋼檢測對光源要求頻度高、體積小，這限制了傳統光源在其應用［3］，激光具有方向性好、亮度高、體積小等優點，被廣泛應用于帶鋼檢測應用中，國內的徐科等［4］提出熱軋鋼檢測中用綠光作為激光光源，但激光照明需解決均勻性問題．②掃描技術．由于電荷耦合元件能夠實現實時檢測，成為目前研究和應用的主流技術［5］．但是，CCD電荷耦合器需在同步時鐘的控制下，以行為單位一位一位地輸出信息，速度較慢，而互補金屬氧化物半導體光電傳感器采集光信號的同時就可以取出電信號，還能同時處理各單元的圖像信息，速度比CCD電荷耦合器快很多［6］．③圖像處理算法．受限于帶鋼加工過程的特性，帶鋼表面呈現出隨機紋理的特點，對于隨機紋理圖像的處理分析，目前常用的方法有共生矩陣法、頻域濾波法、分形法等．作為頻域濾波法的代表，二維Gabor濾波器有著與生物視覺系統相近的特點［7］，廣泛應用于紋理圖像的處理分析．但是，CPU很難滿足現在的帶鋼檢測的實時要求［8］．④分類算法．特征選擇的主流算法是主成分分析和信息增益．主成分分析存在特征向量方向不一致的問題，而且如何確定主成分存在主觀性［9］．信息增益可以衡量特征的優劣，利用它可對特征進行排序，方便后面的特征選擇，但信息增益適用于離散特征，信息增益率既適用于離散特征也適用于連續特征［10］，被廣泛應用于特征選擇的過程中．圖像分類算法主流算法包括支持向量機和BP神經網絡．支持向量機不適用于大樣本的分類問題［11］．BP神經網絡方法具有能夠解決非線性分類問題，對噪聲不敏感等優點，被廣泛應用于帶鋼檢測中，如王成明等［12］提出的基于BP神經網絡的帶鋼表面質量檢測方法等，但是BP神經網絡的超參的設定往往具有隨機性，這嚴重影響了分類效果［13]．本文首先介紹了帶鋼表面缺陷高速高分辨率成像系統的設計，針對光源的不均勻性、圖像處理速度慢等問題，提出改進方法，然后介紹了分類器的構建，針對樣本劃分的隨機性、特征選擇的隨機性以及BP神經網絡超參設定的隨機性問題，做出改進，最后介紹試驗結果．
1帶鋼表面缺陷高速高分辨率的成像系統的設計
1)大功率半導體均勻發光激光器技術．激光能夠保證帶鋼表面缺陷的檢出率［14］，本系統選用808nm半導體激光器作為照明源，出光功率可達30W，亮度可達1500流明．激光照明需解決均勻性的問題，本文采用了基于鮑威爾棱鏡的激光線發生辦法，解決了激光照明的均勻性問題，其光路如圖1所示．該方法首先在激光聚焦位置放置圓形球面透鏡，負責將發散的激光束匯聚成準平行光，同時控制光柱的粗細，然后，利用鮑威爾棱鏡的擴散效果對圓柱的一個方向進行擴束，最終形成激光線．為保證亮度及寬度的適應性，激光器出光口距離圓透鏡、鮑威爾棱鏡的距離可以精密調整．為了降低反射亮度損失，在透鏡表面鍍上808±5nm的T≥99%的增透膜．
2)基于GPU的Gabor紋理濾波技術．二維Ga-bor濾波器具有易于調諧方向、徑向頻率帶寬及中心頻率等特征，本文采用該方法來進行圖像處理，二維Gabor函數為guv(x，y)=k2σ2exp－N2(x2+y2)2σ[]2×expi(k•()xy[])－exp－σ2{()}2(1)其中:k=kxk()y=kvcosψμkvsinψ()μ;kv=2－v+22π;ψμ=μπN;v的取值決定了Gabor濾波的波長;μ的取值表示Gabor核函數的方向;N為總的方向數．設f(x，y)為圖像函數，guv(x，y)為卷積函數，則卷積輸出N(u，v)可表示為N(u，v)=f(x，y)*guv(x，y)(2)二維Gabor濾波算法計算量較大，為了保證了帶鋼表面缺陷檢測的實時性，采用基于GPU的并行處理架構，其計算流程如圖2所示．GPU的算法分為兩個流程:訓練過程主要針對無缺陷圖像進行，通過訓練完成紋理圖像的背景建模，一方面消除背景變化帶來的干擾，另一方面形成有效的Gabor卷積參數，以便在檢測過程中得到最優的檢出效果．檢測過程對實際拍攝的缺陷圖像進行分析，首先按照GPU的核心數和緩存大小對圖像進行分解，本文所有GPU的核心數為1024，顯存2G，因此將原始圖像分解為1000塊，分別加載到1000個核心中，同時并發運行卷積運算．最后將各個窗口的卷積結果合并到一起，得到完成的濾波結果，最后借助于背景模式，將背景的干擾消除，得到干凈的缺陷區域．
3)成像系統．根據缺陷檢測的精度要求(1800m/min的檢測速度，0．25mm的精度)，帶鋼的規格要求(1900mm規格)，對帶鋼進行成像系統設計．基于互補金屬氧化物半導體(CMOS)的成像芯片具有速度快，用電低等優勢．選用兩個4K線掃描CMOS相機作為成像核心器件，選用CameraLinkFull接口作為數據輸出．兩個4K掃描中間重疊100mm作為圖像拼接區．兩組線激光光源與線掃描組成系統的主要成像模塊．成像系統結構如圖3所示．
2構建分類器
檢測缺陷類別及其特征描述如表1所示．
1)訓練集和樣本集劃分．主要缺陷類別有5個，每個類別收集樣本7000，共計35000個樣本．為了避免訓練集和樣本集劃分的盲目性，采用10－折交叉驗證的方式劃分訓練集和測試集，即將樣本集分成10份，從中選1份為測試集，剩下的為訓練集，如圖4所示，究竟選擇哪一份作為測試集，需在后面的嵌套循環中實現．
2)特征選擇．缺陷區域的長度、寬度、面積、區域對比度等共計138個特征形成初始特征集合，利用信息增益率來對各個特征排序．設樣本集T的某個特征子集S中，相異值構成集合A，集合A把特征子集S劃分為多個子集{S1，S2，Sv，…}，|Sv|、|S|為集和大小，信息增益率的公式為Gainration(S，A)=Gain(S，A)Intrinsiclnfo(S，A)(3)式中Gain(S，A)為信息增益，是分裂前的信息減去分裂后的信息，公式為Gain(S，A)=InfoBefore(S)－InfoAfter(S)=Entropy(S)－∑v∈Values(A)|Sv||S|Entropy(Sv)(4)式中Entropy(S)為集合S的熵，公式為Entropy(S)=Entropy(p1，p2，…，pm)=－∑mi=1pilogpi(5)式中pi為第i個類別的概率．式(3)中，Intrinsiclnfo(S，A)為內在信息，公式為Intrinsiclnfo(S，A)=∑v∈Values(A)|Sv||S|log(|Sv||S|)(6)利用信息增益率對特征進行排序，再利用循環(從1到138循環)實現最優的特征個數的確定．
3)BP神經網絡隱含層節點數的確定．BP神經網絡應用到帶鋼表面質量檢測上具有很多優勢，但也存在一些問題，主要體現在隱含層節點數選取的盲目性和初始權值選取的隨機性．對于隱含層節點數確定問題，利用隱含層節點數常用計算公式［15］(2(m+n)+1，n+槡m+a，log2n，n為輸入層節點數，m為輸出層節點數，a為的［1，10］常數)求得節點數的可能取值集合n1，求得該集合最大值n1－max和最小值n1－min，從n1－min開始到n1－max，利用循環，節點數逐個增加，確定最優的隱含層節點數［16］;
4)BP神經網絡初始權值的選取．當隱含層節點數確定后，需要確定輸入層和隱含層之間、隱含層和輸出層之間的初始權值．首先生成10組隨機數數組，利用循環確定最優的隨機數數組．
5)判別標準和嵌套循環．上述各循環中，分類效果好與壞的判別標準是分類的總體精度，公式為OA=∑niin(7)式中:nii為樣本被預測為類別i，n為樣本個數．上述各循環組合在一起就是一個嵌套循環，其N－S盒圖如圖5所示，最外層是測試集和訓練集的10折交叉驗證，第1層是確定最優的特征數，第3層是確定最優的隱含層節點數，第4、5層是確定最優的輸入層和隱含層、隱含層和輸出層的初始權值［17－20］.經以上循環，確定D3作為測試集，最優特征數為23個，最優的隱含層節點數是46個，同時也確定了最優的初始權值，對應的3層BP神經網絡的網絡模型如圖6所示．
3實驗結果
1)鮑威爾棱鏡與柱透鏡進行對比在實際工作距離1．5m處，采用0．1m為間隔使用光功率計測試光源功率，如圖7所示，橫軸為測試點，縱軸為測試點的光功率．實驗表明，鮑威爾棱鏡均勻性優于柱透鏡．
2)Gabor濾波方法與其他方法比較將動態閾值法+Blob分析法(方法A)和灰度共生矩陣紋理背景消除法(方法B)兩種方法與Gabor濾波方法進行比較，如圖8所示．由于缺陷與背景灰度相近(圖(a))，致使方法A缺陷丟失(圖(b))，由于缺陷與背景紋理相近(圖(d))，致使方法B產生噪聲(圖(e))，Gabor方法取得了不錯的效果(圖(e)、(圖(f)))．
3)GPU與CPU比較以4096×4096的圖像為例，選10幅有代表性圖像，利用CPU(最新的inteli7－2600處理器，4核8線程，2．6GHz，內存8G)和GPU(nVidiaGTX970，4G緩存顯卡)進行Ga-bor運算，計算時間如表2所示，GPU計算效率明顯優于CPU，其中CPU的平均耗時為290．4ms，而GPU的平均耗時為31．7ms．
4)檢測效果在產線速度為1775m/min，最小檢測缺陷的尺寸為0．25mm的檢測系統中，對帶鋼的主要4種類型缺陷進行檢測統計，檢測結果如表3所示．可計算出整體檢出率99．9%，檢測準確率99．4%．
4結論
本文提出將基于鮑威爾棱鏡的大功率激光器應用到光源的設計中，保證光源光照的均勻性;提出了新的帶鋼表面缺陷檢測系統的成像系統結構設計，保證了快速、高精度的生成圖像;提出了基于GPU的二維Gabor濾波圖像處理的算法，滿足了實時處理的要求;提出了基于嵌套循環的分類器擇優算法，避免了樣本集選擇、特征選擇和BP神經網絡參數設定的盲目性．借助上述技術，系統實現了較好的效果，滿足當前帶鋼生產的檢測需求．
參考文獻:
［1］張長富．中國鋼鐵工業運行情況和發展展望［J］．中國鋼鐵業，2013(4):5－8．
［2］劉彩章．基于機器視覺的帶鋼表面缺陷成像系統理論與實驗研究［D］．武漢:武漢科技大學，2012:2－4．
［3］高瑀含，安志勇，李娜娜等．高斯光束整形系統的光學設計［J］．光學精密工程，2011，19(7):1464－1471．
［4］徐科，楊朝霖，周鵬．熱軋帶鋼表面缺陷在線檢測的方法與工業應用［J］．機械工程學報，2009，45(4):111－114．
［5］李霞．基于CCD的鋼板測寬儀系統設計［D］．秦皇島:燕山大學，2014:5－10．
［6］石東新，傅新宇，張遠．CMOS與CCD性能及高清應用比較［J］．通訊技術，2010，43(12):174－179．
［7］高梓瑞．Gabor濾波器在紋理分析中的應用研究［D］．武漢:武漢理工大學，2012:6－10．
［8］王成順．表面缺陷檢測GPU并行圖像處理技術［D］．合肥:合肥工業大學，2012:3－6．
［9］徐永智，華慧川．對主成分分析三點不足的改進［J］．科技管理研究，2009(6):128－130．
［10］李佳龍，閻威武，白曉慧，等．基于數據驅動與信息增益率多指標決策模型的生活飲用水水質評估［J］．大連理工大學學報，2016，56(1):92－96．
［11］張曉雷．支持向量機若干問題的研究［D］．北京:清華大學，2012:1－20．
［12］王成明，顏云輝，李駿，等．基于BP神經網絡的冷軋帶鋼表面質量檢測研究［J］．機械設計與制造，2007(6):106－108．
［13］高正中，張曉燕，龔群英．基于BP神經網絡的超聲波流量計的設計［J］．現代電子技術，2016，39(16):6－9．
［14］周洋，何平安，蔣千年等．激光束整形光學系統的設計與研究［J］．光學與光電技術，2006，4(2):26－28．
［15］飛思科技產品研發中心．神經網絡理論與Matlab7實現［M］．北京:電子工業出版社，2005．
［16］沈花玉，王兆霞，高成耀等．BP神經網絡隱含層單元數的確定［J］．天津理工大學學報，2008，24(5):13－15．
［17］文冬林．BP神經網絡中一種逃離局部極小點的方法研究［D］．貴陽:貴州大學，2008．
［18］甘勝豐．帶鋼表面缺陷圖像檢測與分類方法研究［D］．北京:中國地質大學，2013:3－20．
［19］吳彬彬．機器視覺方法在帶鋼表面缺陷檢測中的應用研究［D］．武漢:武漢科技大學，2015:4－50．
卷積神經網絡的特性范文第3篇
關鍵詞：卷積神經網絡；人臉識別；大樣本；對抗生成網絡
中圖分類號：TP391 文獻標識碼：A 文章編號：2095-1302（2017）07-00-04
0 引 言
近幾年，基于大量訓練數據的卷積神經網絡（Convolutional Neural Networks，CNN）在目標檢測、目標識別、顯著性檢測、行為識別、人臉識別和對象分割等計算機視覺領域取得了舉世矚目的成果。這些令人鼓舞的成績主要歸功于以下幾點：
（1）將大量有標簽的數據作為訓練集，學習出具有百萬參數的模型，從而使卷積神經網絡能夠有效提取對象的本質特征；
（2）不斷改進性能優異的網絡結構，如Very Deep VGG Network[1]，Google Inception Network[2]和Deep Residual Networks[3]等；
（3）各種并行計算硬件設備（如GPU）的支持，大大提高了CNN訓練模型的效率。其中，將標簽的大量數據作為訓練集起著至關重要的作用。
本文以人臉識別為例，討論和綜述多樣本算法的研究現狀和發展方向。
有效的特征是目標識別的關鍵，對人臉識別問題來說亦如此。傳統的主成分分析（Principal Component Analysis，PCA）[4，5]，線性區分分析（Linear Discriminant Analysis， LDA）[6]和局部二值模式化（Local Binary Pattern，LBP）[7，8]等取得了不錯的成績。基于傳統特征的人臉識別受限于環境，此類特征作用在復雜或者背景多變的人臉圖像時，其識別性能往往大幅下降，如在LFW數據集上其識別率驟然下降[9]。
采用CNN作為特征提取模型，主要考慮到該模型的所有處理層，包括像素級別的輸入層，均可從數據中學習到可調節的參數。即CNN能自喲喲笫據中學習特征，無需人工設計特征。合理有效的特征需從大量數據和大量參數中自動學習獲取，從而達到優秀的識別性能。基于卷積神經網絡的世界領先方法均使用了上百萬的數據，其中最具有代表性的如VGG-Face網絡需要260萬個人臉圖像樣本進行訓練[10]，Facebook的DeepFace網絡需要440萬個有標簽的人臉圖像樣本訓練[11]。而Google更使用了2億樣本數據來訓練FaceNet網絡[12]。
1 多樣本獲取現狀
如引言所述，有效合理的特征是目標識別的關鍵，而CNN能從大量有標簽的數據中自動學習圖像的本質特征。獲得圖像特征的關鍵因素是有標簽的大數據。因此許多研究的前提工作均聚焦在人工獲取數據和給數據加標簽方面。然而，獲取百萬級的數據并非易事。大數據獲取需要人工從網上下載、處理，然后給數據添加標簽，耗費大量的人力物力。雖然也有一些公開免費的數據集，且收集該類數據相對比較容易，如CASIA-WebFace[13]，有49萬個圖像，但遠少于Facebook和Google的數據集。在這種情況下，缺乏大量樣本直接阻礙了深度學習方法的使用，成為阻礙提高檢測率和識別率的瓶頸。除了深度學習技術提取特征需要大量樣本外，已有研究證明[14-19]，基于傳統方法的技術同樣需要大量樣本作為支撐。在這種形勢下，通過圖像處理與機器學習技術自動增加樣本集已成為必要手段。
無論基于傳統方法的識別問題，還是基于深度學習的識別問題，大量有標簽的數據作為訓練集在算法中起著舉足輕重的作用。如果樣本不足，算法往往過擬合，無法提高算法的性能。為了獲得更多樣本，一些研究工作從網絡上獲取數據，例如在IMDb上，已經把9萬有標簽的數據集擴大到了26萬 [10]。除此之外，Facebook獲取了440萬個有標簽的人臉進行DeepFace網絡訓練[11]，而Google使用2億個數據訓練FaceNet網絡[12]。
目前獲取方法具有如下局限：
（1）現有方法耗時耗力，需要經費支持。獲取百萬級的數據并非易事。大數據獲取需要人工從網上下載、處理，然后給數據添加標簽，耗費大量的人力物力。這種情況下，只有像Facebook和Google這樣的大公司會收集大量有標簽的數據進行網絡訓練。而大多數情況下的數據收集涉及個人隱私與財力物力等問題，對于一般的小公司或科研院所而言，收集數據普遍難度較大。
（2）收集特殊圖片困難。對于一些特殊的圖像，如醫學圖像，遙感圖像，現實中數量本身就少，加之無法直接從網上獲取，因此小樣本很容易導致過擬合。
2 樣本集擴大算法研究現狀
2.1 基于傳統方法的多樣本算法研究現狀
對于傳統的樣本生成算法，如果數據集中有足夠的訓練樣本，均可得到比較滿意的識別結果，但在現實的人臉數據庫中，人臉的數據樣本卻是有限的。文獻[20]表明，增加圖像樣本的數量可以較大幅度提高識別的準確率。
為了增加樣本數量，提高識別準確率，科研工作者已做了大量工作。其中，借助原始樣本產生虛擬樣本是一種有效的增加數據集方法。這種方法大致分為如下幾類：
（1）通過人臉圖像的對稱性來得到原始樣本的虛擬樣本，如Xu[14，15]和Liu等[21]提出借助原始圖像的“對稱臉”和“鏡像臉”產生虛擬樣本，從而擴大數據集并提高人臉識別的正確率，Song[22]也提出相應的算法來改進人臉識別的性能；
（2）通過改變圖像的光照、姿勢和表情等來產生虛擬樣本，例如Boom等用一種稱為VIG的方法對未知光照情況進行建模[16]，Abdolali[17]和Ho[18]等提出了類似的算法擴大數據集；
（3）基于人臉圖像自身的特征生成虛擬樣本，Ryu等根據原始樣本的分布來產生虛擬樣本[19]，Liu等也根據圖像本身特性來產生虛擬樣本[23]。
（4）基于數學的多樣本產生方法，如Zhang等提出利用奇異值分解的方法獲得基于原始樣本的虛擬樣本[24]。借助圖像合成方法生成的新樣本如圖1所示。
圖1 借助圖像合成方法生成新樣本
除了借助圖像處理方法獲得原始樣本的新樣本外，還可以利用圖像合成算法獲取多樣本，本研究做了相關實驗，其結果如圖1所示。假設數據集中有c類人臉圖像，每類有ni個樣本，令表示第i類中的第j個樣本，這里i=1，2，…，c，j=1，2，…，ni，h和w分別代表樣本xij的高和寬（均為像素值）。用X=[X1，X2，…，Xc]代表所有樣本，則Xi=[xi1，xi2，…，xini]，i=1，2，…，c代表第i類樣本。則有：
其中， P（Xi）代表所生成的第i類新樣本， f（g）表示圖像處理函數，代表多個樣本的串聯，即將多個樣本聯合起來得到一個類別的新樣本。
2.2 基于深度學習的多樣本生成算法研究現狀
大量有標簽的訓練數據是機器學習成功的關鍵，尤其對于強大的深度學習技術，大數據集能提高CNN的性能，防止過擬合[25]。為了擴充數據集，已有一些工作在不改變圖像語義的情況下進行，如水平鏡像[26]、不同尺度的剪裁[27，28]、旋轉[29]和光照變化[27]等傳統方法。
DeepID[30]采取了增大數據集手法來訓練網絡，只有大的數據集才能使得卷積神經網絡訓練得更加充分，該研究采用兩種方法增大數據集：
（1）選擇采集好的數據，即映入CelebFaces數據集。
（2）將原始數據集中的圖片多尺度、多通道、多區域的切分，然后分別進行訓練，再把得到的向量串聯起來，即得到最后的向量。
以上方法僅局限于相對簡單的圖像處理技術，該類方法生成的多樣本具有一定的局限性。比如，真正意義上的旋轉應按一定的角度進行3D旋轉，而不僅僅是圖像本身的角度旋轉。合成數據能一定程度上解決以上問題，如Shotton等通過隨機森林合成3D深度數據來估計人體姿勢，Jaderberg等使用合成數據來訓練CNN模型識別自然場景下的文字[31]。這些研究的結果均優于使用剪裁，旋轉等傳統方法。但使用3D合成圖像比較復雜，需要較多的前期工作。
近年來，借助生成對抗網絡（Generative Adversarial Networks，GANs）來生成原始樣本的方法吸引了很多學者。2014年6月，Goodfellow 等發表了論文《Generative Adversarial Nets》[32]，文中詳盡介紹了GANs的原理、優點及其在圖像生成方面的應用，標志著GANs的誕生。早期的GANs模型存在許多問題，如GANs網絡不穩定，甚至有時該網絡永遠不會開始學習，生成的結果無法令人滿意。文獻[32]中生成器生成的圖片十分模糊，針對此問題，Denton等提出一個被稱為 LAPGANs的模型[33]，該模型用多個卷積神經網絡連續生成圖像，這些新圖像的清晰度不斷提高，最終得到高分辨率圖像。GANs除了基于圖像生成圖像外，還可以通過文字生成圖像，如文獻[34]搭起了文本到圖像的橋梁，通過GANs將文本直接轉換成對的圖像。文獻[35]將GAN應用于超分辨率中，該文獻提出了全新的損失函數，使得 GANs 能對大幅降采樣后的圖像恢復其生動紋理和小顆粒細節。另外，Radford 等提出了名為DCGANs的網絡[36]，該文獻指出，用大數據集訓練出的 GANs 能學習一整套層級的特征，并具有比其他無監督學習模型更好的效果。以上方法均為基于一大類原始樣本生成另一大類圖像。
基于GAN生成樣本的過程如圖2所示。首先將同類別的原始圖像輸入到生成對抗網絡GAN的生成器網絡G中，生成“假冒”圖像G1和G2，接著借助判別器D來判斷輸入的圖像是真實圖像還是“假冒”圖像。生成器G努力生成類似原始樣本的圖像，力爭判別器D難以區分真假；而判別器D應不斷提高自身性能，有能力鑒別出由生成器G生成的圖像為贗品。生成器G和判別器D的價值函數如下：
生成器G最小化log（1-D（G（z））），判別器D最大化logD（x），使得最大概率按照訓練樣本的標簽分類， 生成模型G隱式定義了一個概率分布Pg，希望Pg 收斂到數據真實分布Pdata。
圖2 GAN生成新樣本示意圖
3 結 語
綜上所述，基于原始樣本的多樣本生成算法是一個值得深入研究探索的問題，具備清晰而明確的理論意義和現實應用意義。雖然研究人員已經對相關問題進行了一些研究，取得了一系列成果，但是多樣本的產生方法缺乏全面、深入的理解，尚未出現具有里程碑意義的研究成果。具體而言，本文認為，基于原始樣本的多樣本生成問題需要在如下幾個方面展開深入的研究：
（1）在研究多樣本生成算法時，保留原始樣本的本質特征，如在人臉識別中，拋棄不必要信息（光照、表情和姿勢）的影響是一項十分有意義的工作。
（2）在合成新樣本時，設計合理有效的構造元素，使合成的新表示更接近自然亦是一個值得研究的方向。
（3）基于生成對抗網絡，研究某一類對象的生成新樣本的核心算法是一項有意義的工作。
參考文獻
[1] K Simonyan， A Zisserman.Very deep convolutional networks for large-scale image recognition [Z]. Computer Science， 2014.
[2] C Szegedy，W Lin，Y Jia， et al. Going deeper with convolutions[C]. in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015.
[3] K He，X Zhang，S Ren，et al. Deep residual learning for image recognition[C]. in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2016.
[4] Turk， Matthew， Pentland， et al.Eigenfaces for Recognition[J]. Journal of Cognitive Neuroscience， 2014，3（1）： 71-86.
[5] A Pentland.Looking at People： Sensing for Ubiquitous and Wearable Computing[J].IEEE Transactions on Pattern Analysis & Machine Intelligence， 2000，22（1）： 107-119.
[6] C Liu， H Wechsler.Robust coding schemes for indexing and retrieval from large face databases[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society， 2000，9（1）： 132-137.
[7] T Ojala，M Pietik?inen.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2002，24（7）： 404-420.
[8] T Ahonen， A Hadid， M Pietikainen.Face Description with Local Binary Patterns： Application to Face Recognition[J]. European Conference on Computer Vision， 2004，28（12）： 469-481.
[9] GB Huang， M Mattar， T Berg，et al. Labeled faces in the wild： A database for studying face recognition in unconstrained environments[Z].Month，2008.
[10] OM Parkhi， A Vedaldi， A Zisserman.Deep Face Recognition[C]. British Machine Vision Conference， 2015.
[11] Y Taigman，M Yang， Marc， et al. DeepFace： Closing the Gap to Human-Level Performance in Face Verification[C]. in Conference on Computer Vision and Pattern Recognition，2014.
[12] F Schroff，D Kalenichenko，J Philbin.FaceNet： A unified embedding for face recognition and clustering[C]. in IEEE Conference on Computer Vision & Pattern Recognition，2015.
[13] D Yi，Z Lei， S Liao， et al.Learning face representation from scratch[Z]. Computer Science， 2014.
[14] Y Xu， X Zhu， Z Li， et al.Using the original and ‘symmetrical face’ training samples to perform representation based two-step face recognition[J]. Pattern Recognition， 2013，46（4）： 1151-1158.
[15] Y Xu.Integrate the original face image and its mirror image for face recognition[J]. Neurocomputing， 2014，31（7）： 191-199.
[16] BJ Boom， LJ Spreeuwers， RNJ Veldhuis.Virtual illumination grid for correction of uncontrolled illumination in facial images[J]. Pattern Recognition， 2011，44（9）： 1980-1989.
[17] F Abdolali，S Seyyedsalehi. Improving pose manifold and virtual images using bidirectional neural networks in face recognition using single image per person[Z]. in International Symposium on Artificial Intelligence and Signal Processing，2011.
[18] HT Ho，R Chellappa. Pose-invariant face recognition using Markov random fields[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society， 2013，22（4）： 1573.
[19] Y.-S.， Ryu.，S.-Y.， O..Simple hybrid classifier for face recognition with adaptively generated virtual data[J]. Pattern Recognition Letters， 2012，23（7）： 833-841.
[20] A Wagner，J Wright， A Ganesh，et al.Toward a Practical Face Recognition System： Robust Alignment and Illumination by Sparse Representation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2012，34（2）： 372-386.
[21] Z Liu，X Song，Z Tang.Integrating virtual samples and fuzzy discriminant analysis for sparse representation-based face classification[J]. Journal of Electronic Imaging， 2015，24（2）： 23013.
[22] YJ Song，YG Kim，UD Chang，et al. Face recognition robust to left/right shadows； facial symmetry[J]. Pattern Recognition， 2006，39（8）： 1542-1545.
[23] Z Liu， X Song， Z Tang.Fusing hierarchical multi-scale local binary patterns and virtual mirror samples to perform face recognition[J]. Neural Computing & Applications， 2015，26（8）： 2013-2026.
[24] G Zhang，W Zou，X Zhang，et al. Singular value decomposition based sample diversity and adaptive weighted fusion for face recognition[J]. Digital Signal Processing， 2017，62： 150-156.
[25] K Chatfield，K Simonyan，A V edaldi，et al. Return of the devil in the details： Delving deep into convolutional nets[Z]. Computer science， 2014.
[26] H Yang， I Patras.Mirror， mirror on the wall， tell me， is the error small？ [J]. Der Chirurg； Zeitschrift für alle Gebiete der，2015，69（12）：235-240.
[27] A Krizhevsky， I Sutskever， GE Hinton. ImageNet Classification with Deep Convolutional Neural Networks [J]. Advances in Neural Information Processing Systems， 2012，25（2）： 1097-1105.
[28] G Levi，T Hassner. Age and gender classification using convolutional neural networks[C].in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops，2015.
[29] S Xie， Z Tu. Holistically-nested edge detection[C]. in Proceedings of the IEEE International Conference on Computer Vision，2015.
[30] Y Sun， X Wang， X Tang.Deep Learning Face Representation from Predicting 10，000 Classes[C]. in Computer Vision and Pattern Recognition，2014.
[31] M Jaderberg， K Simonyan，A Vedaldi，et al.Synthetic data and artificial neural networks for natural scene text recognition[Z]. Eprint Arxiv， 2014.
[32] I Goodfellow，J Pougetabadie， M Mirza， et al. Generative adversarial nets[Z]. in Advances in neural information processing systems， 2014.
[33] E Denton，S Chintala，A Szlam. Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks[Z]. Computer science，2015.
[34] S Reed，Z Akata， X Yan，et al. Generative adversarial text to image synthesis[C]. in Proceedings of The 33rd International Conference on Machine Learning，2016.
卷積神經網絡的特性范文第4篇
【關鍵詞】神經網絡；故障測距；小波包；相對誤差
0 引言
我國礦井配電網多為6kV單側電源供電系統，采取中性點非有效接地方式，屬于小電流接地系統（NUGS）。饋電回路選用多段短電纜徑向延伸為各種井下高低壓電機、電氣設備、照明及各種通信、自動化裝置和儀表、儀器提供電能。由于井下工作環境惡劣，供電電纜經常發生接地、斷線、短路等故障，據電力部門統計，其中單相接地故障的發生率最高。盡管發生單相接地故障時，線電壓仍然對稱，暫時不影響對負荷的連續供電，但就礦井這類危險易爆場所而言，當發生單相接地故障時，應盡快跳閘斷電以確保安全。為此，必須及時對故障點進行定位、排除故障、加快恢復線路供電。
NUGS饋線的故障定位問題一直以來未得到滿意的解決，這與其自身的特點有關。由于電網變壓器中性點不直接接地，造成單相接地電流無法形成小阻抗回路，故障電流主要由線路對地電容電流提供，其數值較小，且基波分量幅值故障前后變化不大，使得定位保護裝置很難準確進行故障選線和定位。考慮到井下環境條件和負荷的特殊性，礦井配電網與傳統意義上的NUGS存在一定的差異：單相接地產生的暫態分量較穩態分量大得多，暫態波形畸變嚴重，應研究利用暫態電氣量進行故障測距的可行性；饋電線路分支少、長度短，對測距精度要求高[1]。
鑒于上述原因，本文就井下配電網故障測距問題進行研究，以期提高故障測距的精度和可靠性。
1 BP網絡的結構和算法
BP網絡結構上類似于多層感知器，是一種多層前饋神經網絡，網絡權值的訓練算法為誤差反向傳播（BP）學習算法。如圖1所示為一典型3層BP網絡模型。
圖1 3層BP網絡模型
以圖示BP網絡模型為例說明網絡的學習過程：
（1）初始化。為每個連接權值wij、wjt、閥值θj、θt賦予（-1，1）區間的隨機值。
（2）給定輸入輸出目標樣本。給定輸入向量Xp=（x1，x2，...，xn）和期望目標向量Tp=（t1，t2，...，tm），p∈1，2，...，P。
（3）計算網絡各層的輸出。由輸入樣本、連接權值、閥值及各層神經元傳遞函數計算隱含層和輸出層的輸出。
（4）計算網絡實際輸出與期望輸出的一般化誤差。系統的目標函數為：
E=■■■（t■-y■）2=■E■（1）
網絡通過調整權值和閥值使滿足預先設定的一個極小值。
（5） 利用目標函數調整網絡的權值和閥值。BP算法按照目標函數梯度的反方向對網絡參數進行調整，使目標函數收斂，即實際輸出接近目標輸出。對于第p個輸入樣本的權值、閥值，按下式修正，式中？濁為學習速率。
？駐w=-？濁■， ？駐θ=-？濁■（2）
對應的權值、閥值按下式調整，式中為迭代步數。
w（k+1）=w（k）+？駐wθ（k+1）=θ（k）+？駐θ（3）
（6）隨機選擇下一組學習樣本向量進行訓練，直到P個樣本對訓練完畢。
（7）重新從P個學習樣本中隨機選取一組輸入、目標樣本對，返回步驟（3），直到目標函數E收斂于給定值，若訓練次數大于設定的最大訓練次數，則網絡不收斂。
由于BP算法學習速率為固定值，收斂速度較慢，且可能會產生多個局部極小值，另外網絡的隱含層層數和神經元數目的選擇尚無理論指導，因此網絡具有較大的冗余性。為了克服以上不足，提出了許多改進算法，從改進途徑上分為兩類：
一類為啟發式學習算法，如動量BP算法、彈性算法、學習率可變的BP算法等；另一類為快速優化算法，如擬牛頓算法、LM算法等。
2 基于BP小波神經網絡的故障測距
小波包具有正交特性、信號分解后的信息量是完整的，因此利用小波包算法分析信號頻率的分布情況，能夠有效提取信號的暫態特征。對于電纜線路而言，其暫態零序電流的自由振蕩頻率一般在1500～3000Hz之間[2-3]。本文利用小波包提取該頻段的暫態零序電流信號模極大值作為神經網絡模型的輸入，以期實現高精度的故障測距。
2.1 小波基的選擇
在利用小波包提取模極大值時，小波基的選擇十分重要，選擇不同的小波基對信號進行分解，可以突出不同特點的信號特征。Daubechies小波系是信號分析處理中常用的一類小波，具有緊支性、正交性，滿足精確重構條件，但由于其不具有對稱性，因而其邊界效應會隨尺度的增加而擴大，引起分解誤差；Morlet小波常用于信號表示、圖像特征的提取和識別；Mexican hat小波則用于系統辨識。
3次B樣條小波是一種具有線性相位的緊支對稱小波，分頻能力強，頻帶相干小，由于具有對稱性，只要采取合理的延拓方式，其邊界效應引起的誤差可忽略不計。
B樣條基函數的遞推公式如下：
N■（x）=1，x■≤x≤x■0，x？埸x■，x■N■（x）=■N■（x）+■N■（x）（4）
3次B樣條基函數N■（x）在xi，xi+4上具有局部支集性，表達式如（5）所示。
（5）若取參數x■=i（i=0，1，...，n）為節點即為均勻B樣條基，再對均勻B樣條基作參數變換，在每個子區間內以參數代換，在每個子區間的值均為u0，1。3次B樣條基函數的表達式如式6所示。
由于二進小波包變換具有平移不變性，不會引起正交小波包變換在所分析信號不連續處產生的偽吉布斯現象[4]。故本文利用3次B樣條小波包對短路故障電流進行卷積型二進小波包分解，以期獲得更顯著的故障特征信息。
N■（x）=■，x■≤x≤x■■+■，x■≤x≤x■■+■，x■≤x≤x■■，x■≤x≤x■0，x？埸x，x■
（5）
N■（u）=■u3■（-3u3+3u2+3u+1）■（3u3-6u2+4）■（-u3+3u2-3u+1） 0≤u≤1（6）
2.2 分解尺度的選擇
如何選擇分解尺度對于零序電流暫態分量的模極大值提取至關重要，尺度取得越大，信號與噪聲的表現差異越明顯，越有利于兩者的分離。但分解尺度取得越大，則對應的頻帶寬度越窄，采樣點數過小，不利于下一步的信號分析[5-7]。
由于本文仿真的采樣頻率取1MHz，則Nyquist頻率為5kHz，為提取暫態零序電流1500～3000Hz頻率段分量，小波包分解層數為3，考慮小波包頻帶劃分規則，取（3，3）、（3，7）頻帶的零序電流暫態分量即可滿足要求。
2.3 BP網絡結構參數的選擇
欲利用BP小波神經網絡計算井下配電網故障測距，必須首先確定BP網絡的結構和參數，如各層的初始權值、閥值，學習速率，各層節點數、傳遞函數等，只有確定了網絡的最佳配置，才能有效解決所提出的問題[8]。
（1）網絡層數的確定。Hecht-Nielsen已經證明，在不限制隱層節點數的情況下，含有一個隱層的BP網絡能夠實現任意非線性映射。Cybenko指出，當隱層傳遞函數選用S型傳遞函數時，單隱層足以滿足解決任意判決分類問題的需要，兩個隱層則能夠實現輸入圖形的映射。增加隱層數可以進一步提高精度，但同時會增加網絡權值的訓練時間。另外，增加隱層神經元個數也能降低誤差，訓練效果也更易觀察，因此，應優先考慮增加隱含層神經元的個數。對于本文研究的故障測距問題，網絡需要較快的收斂速度，因此采用單隱層網絡。
（2）各層節點數目的確定。網絡輸入層節點數等于輸入向量的維數。由于井下電網大多數實時運行參數如負荷、系統等效阻抗可由監控終端獲得，其它隨機性因素如發生故障線路、故障時刻可由故障后可測信息準確識別，不可知變化因素僅包括接地過渡電阻及故障點位置，并且神經網絡的內插性能優于外推性能，故輸入向量維數等于3，分別為（3，3）、（3，7）頻帶零序電流暫態分量的模極大值和故障點過渡電阻值。輸出層節點數為1，表示故障點位置。隱含層節點數的選擇比較復雜，需要依據經驗和經過多次實驗確定，選取過多將導致學習時間過長，過少將引起容錯性差，對未經學習的樣本識別能力低。根據Hebe準則可以確定最佳隱含層節點數的參考值。另外，也可先令隱含層節點數可變，開始時給以較小數值，學習到給定訓練次數最大值，若未達到收斂精度則再增加節點數，直至達到合理數值為止。經過多次仿真訓練，隱層節點數為11時，網絡的訓練誤差最小。
（3）初始權值的選取。初始權值的選擇對于網絡能否收斂和訓練的速度關系密切。若權值選擇過大，會使加權輸入處于激勵函數的飽和區，導致無法進行權值的調整。威得羅等人提出一種權值初定策略，選擇權值的量級為S1的r次方，其中S1為第一層神經元數目，利用此方法可以在較少的訓練次數下獲得滿意的訓練結果。本文選擇的輸入層及隱含層至輸出層的初始權值均為0.25。
（4）訓練算法的選擇。給定一個具體問題，采用何種訓練算法對于是否能夠達到目標誤差及網絡收斂速度的影響很大。就中等規模的前饋神經網絡而言，LM算法的訓練函數trainlm可以獲得比其它任何一種算法更小的均方誤差，且收斂速度最快，在精度要求較高時，該算法的優點尤其突出。本文選擇LM算法對BP網絡進行訓練。
（5）學習速率的選擇。一般情況下傾向于選擇較小的學習速率以保證訓練過程的穩定性，但是過小的學習速率會導致訓練時間過長，收斂速度很慢，無法保證網絡的誤差值跳出誤差曲面的低谷而最終趨于最小誤差，一般選擇范圍在0.01～0.9之間。
3 系統仿真及測距結果
深井供電系統仿真模型如圖2所示。各模塊參數如下：進線電纜（In line）采用YJV42，線路正序參數為：R1=0.078/km，L1=0.27mH/km，C1=0.695F/km，零序參數為：R0=0.106/km，L0=1.223mH/km，C0=0.358F/km；配電電纜（Line）采用YJV32；采區電纜（Mine line）、負荷電纜（Load line）采用UPQ，正序參數為：R1=0.024/km，L1=0.516mH/km，C1=0.308F/km，零序參數為：R0=0.196/km，L0=3.98mH/km，C0=0.203F/km；采區變壓器（MineT1）型號為KBSG-200/6/0.69kV，Ud%=4%，I0%=2.5%；隔爆移動變電站（MineT2）選用KBSGZY-315/6/1.2kV，P0=1400W，Pd=2200W。負荷變壓器采用SL7-100/6/0.4kV。線路長度分別為：進線電纜取1km；
配電電纜1、3、4取0.5km；配電電纜2取0.4km；采區電纜長度均取0.3km；負荷電纜取0.2km。電源線電壓有效值6.3kV，X/R ratio=7。
考慮配電線路1在不同故障點位置和過渡電阻下發生單相接地故障（數據窗取故障前1ms至故障后4ms共5ms）得到的暫態零序電流經小波包分析后（3，3）、（3，7）頻帶的模極大值（為防止邊界效應引起的信號值突變，取前2000個采樣值進行模極大值分析）經歸一化處理后所形成的訓練和測試樣本集，對BP網絡進行訓練，并測試網絡的測距性能。
選取的訓練樣本集如下：
（1）過渡電阻值分別為0.01、5、50、100、150、200、250、300、350、400、450、500；
（2）在靠近線路兩端發生故障時，應適當減小故障距離以提高測距精度。故障點位置分別為：0.01km、0.02km、0.025km、0.075km、0.125km、0.175km、0.225km、0.25km、0.3km、0.325km、0.375km、0.425km、0.475km、0.48km、0.49km。
組合兩因素可形成12×15=180個訓練樣本集。
訓練誤差曲線如圖3所示，經2794次迭代后誤差收斂于0.00099829，基本達到了設定的目標誤差0.001。
為檢驗訓練后BP網絡的推廣能力即測距效果，采用非訓練樣本集進行測試，選取的測試樣本集如下圖3：
圖3 BP網絡訓練誤差性能曲線
（1）過渡電阻值分別為25、75、125、175、225、275、325、375、425、475；
（2）故障點位置分別為0.015km、0.05km、0.1km、0.15km、0.2km、0.275km、0.35km、0.4km、0.45km、0.485km。
組合兩因素形成10×10=100個測試樣本集。
對于給定的測試樣本集，經BP網絡前饋運算得到的實際測距結果及相對誤差分別如表1、表2所示。
其中，L表示實際故障距離，l表示測量距離。
相對誤差e=（實際故障距離-測量距離）線路總長×100%。
由表2可知，對于測試樣本集，訓練后的BP網絡測距相對誤差隨過渡電阻值的增加有增大的趨勢，最大誤差達到了-16.56%，且出現在過渡電阻為475時，同時注意到在故障點接近線路兩端時，由于適當增加了訓練樣本，測距相對誤差明顯減小，因此，通過增加訓練樣本數量有望進一步提高測距精度。
4 結論
通過研究得出以下結論：
1）采用小波包提取故障暫態零序電流的模極大值能有效表征故障時所蘊含的物理現象，為準確進行故障測距提供了有效的數據。
2）BP神經網絡具有良好的分類及擬合功能，能在獲得大量樣本數據的基礎上，訓練出符合要求的前饋型網絡，為煤礦井下電網故障測距提供強有力的手段。從測距相對誤差結果來看，基于小波分析與BP神經網絡的故障測距方法能基本滿足測距要求。另外，本文下一步的工作將在樣本集數量、網絡結構等方面進行更為深入的研究。
【參考文獻】
[1]丁恩杰，王超楠，崔連成.礦井配電網輸電線路故障測距方法的研究[J].中國礦業大學學報，2006，35（3）：311-316.
[2]竇新宇，李春明.小電流接地系統行波測距方法研究[J].電力科學與工程，2010，26（2）：51-53.
[3]季濤.基于暫態行波的配電線路故障測距研究[D].濟南：山東大學，2006.
[4]姚李孝，趙化時，柯麗芳，等.基于小波相關性的配電網單相接地故障測距[J].電力自動化設備，2010，30（1）：71-74.
卷積神經網絡的特性范文第5篇
人工神經網絡作為一種智能化的方法近年來在圖像數據壓縮領域得到了一定的研究與應用[6]。基于人工神經網絡的數據壓縮主要有2個步驟：①學習訓練，將數據送入輸入層作為訓練樣本，不斷調整各層間的連接權值，從而使得網絡的輸出均方差達到最小；②壓縮編碼，將數據輸入到訓練好的網絡，壓縮后的數據通過隱含層輸出。DEM數據具有相關性和連續性的特點，即DEM數據反映的是地形連續變化的特征，高程劇烈變化的部分是少有的并且DEM網格中某一點的高程值可以通過鄰域值用非線性函數表示，這實質上非線性函數逼近或地形曲面擬合的過程。基于以上特點，學者們將人工神經網絡引入到DEM數據壓縮領域，馮琦等[7]采用BP神經網絡實現DEM數據壓縮，該研究特色在于：①采用L-M訓練算法提高單隱層網絡（SHLN）運算速率[8-9]；②基于DEM數據相關性特點設置相對誤差精度指標實現對最優BP訓練網絡的選取，在減少結點數的同時獲得較高的壓縮比；③該方法解壓過程對于計算機硬件依賴性不高，能夠進行數據的離線壓縮處理。根據DEM數據的連續性特征，趙鴻森等[10]提出了一種基于RBF神經網絡的壓縮方法，該方法將山脊線、山谷線等地形特征作為樣本點訓練集，能夠根據地形特征自適應確定網絡結構，神經網絡權值是通過網格點高程值獲得，可獲得較高的壓縮比。
基于小波變換的DEM數據壓縮
1.基于DWT的DEM數據壓縮
DWT（DiscreteWaveletTransform）適合于處理各種冗余度低、相關性低的非平穩信號的壓縮處理，對于不穩定、相關性差的DEM數據壓縮具有較好的效果。DWT對于信號的壓縮是基于其他具有多分辨率分析（MRA）這一特性,即根據Mallat算法[11]原始信號能夠被逐級分解為高頻和低頻信號，由于高頻分解信號含有絕大都數信息并且幅值小，通過設定一定的比例將最小幅值的分解系數置為0，再通過小波系數重構達到信號壓縮的目的。經過理論分析，原始信號經過DWT，重構信號與原始信號具有高度的一致性。事實上重構信號與原始信號的差別往往不可忽略，特別是對于DME數據的壓縮，壓縮后數據相對于原始數據而言存在著嚴重的邊界畸變、失真等問題，必須加以解決。針對這一問題，CHANG[12]等將二維離散小波變換的邊界問題轉變為一維離散小波變換來進行處理，研究結果表明該方法大大減小了邊界失真區域，在提高壓縮比的同時DEM重建數據精度也得以提高。
2.基于IWT的DEM數據壓縮
DWT是通過將信號分解系數直接置0的方式來進行壓縮處理，重構信號與原始信號不可避免地出現誤差，而基于IWT（IntegerWaveletTransform）信號壓縮，由于小波分解系數通過有限精度數（FinitePrecisionNumber）來進行精確描述，因而適合于對信號進行無損壓縮處理[13]。基于IWT的數據壓縮具有以下特點：①壓縮處理很大程度上依賴于多相矩陣因式分解的選擇，而因式分解能否對壓縮后圖像給定一個適當的誤差尺度，取決于圖形迭代函數；②IWT采用提升方案，并且均為整數運算，數據處理的速率得以提高；③IWT完全可逆，既可以實現有損編碼也可以實現無損編碼。陳仁喜等[14]將整形小波變換用于DEM數據壓縮處理，該方法首先將經過預處理的DEM數據進行整形小波變換，然后對變換系數進行閾值化處理，最后進行量化編碼。該方法最大特點是實現了數據壓縮比和質量以及數據質量和傳輸速度的很好折中，具體為：①量化方法基于SPIHT算法平面傳送思想，重要信息主要集中于高位，將小波變換后的系數直接去掉后面的n個平面位，該方法在保證數據壓縮質量的同時提高了壓縮比；②采用基于位平面掃描的算法對量化后的數據進行壓縮編碼，這使得壓縮后的數據具有質量漸進傳輸特性；③小波變換后各子帶分別進行編碼，在解碼過程中可以不對高頻子帶解碼，得到的恢復數據分辨率較低，這有利于對大型DEM數據進行快速檢索和瀏覽。
3.基于SPIHT小波編碼算法
EMZ（EmbeddedZerotreeWavelet）算法由Shaprio[15]于1993年提出,該算法包括嵌入式和零樹，在零樹結構與逐次逼近量化方法（SAQ）相結合的基礎上實現嵌入式編碼。該算法能充分利用小波系數特點使得輸出的碼流具有嵌入的優點，因而在圖像處理[16-17]、生物醫學[18]等領域得到廣泛的應用研究。但該算法也存在著如在相互獨立的零樹進行編碼時浪費大量字節等缺陷，研究者們也做了一些改進[19]。在EMZ算法基礎上發展而來的SPIHT（SetPartitioninginHierarchicalTrees）[20]算法具有能夠在保證數據壓縮質量的前提下提高壓縮比，能夠進行優化嵌入式編碼，均方根誤差和計算復雜度低等優點，并且數據壓縮后具有很好的漸進傳輸特性，目前該算法在圖像壓縮領域得到廣泛應用。地形特征是影響DEM壓縮質量的一個重要因素，平坦地區數據冗余量大而山地地勢高低起伏，數據冗余則較小，但就現有的研究方法而言將這兩種地形采用同樣地壓縮比，壓縮結果不盡如人意，李毅等[21]提出了一種基于SPIHT小波的DEM自適應壓縮方法，該方法特點在于：①考慮地形特征，根據地形的復雜度進行分析以確定數據壓縮比，從而確保數據可視化質量；②自適應性編碼，通過才用表征不同尺度的小波高頻系數和地形尺度特征向量對地形復雜度進行評估，根據評估結果自適應調節編碼算法。但該研究中數據壓縮比是根據地形視覺效果選擇，存在一定的經驗性，在實際應用中很難得到較為理想的壓縮比。
4.基于M進制小波的DEM數據壓縮
多分辨率分析是傳統二進制小波變換的基本特性，即能夠獲得信號在時間域和頻率域局部化特征，這有利于對圖像局部信息進行有效地識別和分析。當圖像經過多層小波分解時，隨著分解層數的增加，圖像信息會出現不同程度的丟失，這成為二進制小波變換的主要缺陷。在二進制小波變換基礎上發展的M進制小波變換具有如下特點：①能夠對圖像信號進行更加細致地分解，分解次數不受限制；②圖像信息更加集中，并能夠精確描述圖像的頻率分布；③圖像重構具備較高的精度；④具有對圖像信號相對狹窄的高頻部分進行放大處理和對圖像信號壓縮的特性，這克服了正交小波分解所存在的缺陷.DME由于具有海量化數據，以及復雜的地形信息等特點一直是DEM數據壓縮的難點，近年來研究者們將M進制小波變換引入DME數據壓縮領域，王宇宙等[22]提出了一種基于多進制小波變換的DEM數據壓縮方法，顧及DEM地形因素，將高頻和低頻信息分別進行編碼處理是其主要特色，具體化為：①低頻系數采用差分映射編碼，這充分顧及地面變化的連續性以及大量數據冗余的情形，能夠對低頻信息進行無損的壓縮編碼；②并未直接舍棄系數值較小的高頻小波系數，而是通過自適應對數量化表，對各個高頻小波系數子塊分別加以量化處理，能夠獲得較好的壓縮效果。但該方法不足之處在于：對數量化位數是根據壓縮率來進行確定，而事實上壓縮率不能預先得知，從而量化位數也就無法精確得獲得，基于具體地形信息的DEM數據精確壓縮也就難以實現。多進制小波函數和尺度函數的構造是基于多進制小波DEM數據壓縮的難點之一，對此呂希奎等[23]構造了一種具有插值性質的多進制小波函數和尺度函數，將DEM數據轉變為二維圖像壓縮問題，能夠在保持地形特征基本不變的前提下提高壓縮比。但基于多進制DEM數據壓縮本質上是有損壓縮，細節信息的損失不可避免。#p#分頁標題#e#
基于組合算法的DEM數據壓縮
1.SPHIT算法與小波變換相結合的DEM數據壓縮
整形小波變換（IWT）采用了提升方案（LS），避免了傳統小波的卷積運算，并且計算過程完全在空間域進行，計算復雜度明顯降低，便于硬件實現。因此，IWT能夠對于冗余度較大的DEM數據進行有效地去相關性處理，實現對DEM數據的無損或近似無損的壓縮。將IWT與新型編碼方法的代表——SPIHT算法有機結合，為DEM數據壓縮提供了一種有效方法。田繼輝等[24]提出一種能夠用于應急三維GIS的DEM數據壓縮方法，該方法特點在于：①根據壓縮精度要求，實現DEM數據單位轉換；②對于每塊DEM數據均減去其最小值，在降低了小波變換級數的同時使得SPIHT編碼級數也得到降低；③通過設定一個小波系數閾值，將高于和低于該閾值的小波系數，分別進行SevenZip和SPIHT算法進行處理；④選用Int5／3實現對DEM數據壓縮處理。該方法充分發揮IWT和SPIHT算法的優勢，能夠顧及到地形平坦和起伏較大情形下的壓縮編碼，研究表明該方法取得了較好的壓縮效果，但對于DEM數據的邊界問題并未提及，仍需要進一步加以研究。
2.基于小波變換與熵編碼相結合的DEM壓縮算法
該算法實現主要有3個步驟：①小波變換，即選擇恰當的小波基函數對DEM數據進行小波變換；②量化，經過小波變換后數據相比原始數據而言更加集中，但其數量大小并未改變，必須采用一定的量化方法進行數據量化；量化通常有矢量和標量量化兩種方法；③編碼，通過將小波變換后的量化數據進行編碼，將其轉化為字符流。就整個小波壓縮流程而言，數據經過壓縮后邊界失真現象的克服，數據壓縮比的提高，以及在于量化和編碼方法的選擇是該壓縮算法的難點所在。DEM數據具有不穩定、相關性差、信息熵高，并且DEM在平原地區具有較大的冗余，而在山區則冗余度較低等特點，這使得數據壓縮比難以得到提高，常占強等[25]利用具有線性相位的雙正交小波變換與混合熵編碼相結合的方法對山區DEM數據進行壓縮處理，具體來說：首先對DEM數據進行小波變換，通過選取最大分解系數的1／6作為自適應閾值并與硬閾值函數相結合，對小波分解后的高頻系數進行處理，能夠使得大約95﹪小波系數為0；然后將高頻和低頻分解系數分別采用游程編碼和Huffman編碼；最后再次通過游程解碼和Huffman解碼進行數據解壓。該研究充分發揮了小波變換與編碼方法各自的優勢，在提高數據重建精度的同時獲得了較高的壓縮比，但小波閾值的選取局限于單一的情形，對多種情形的小波閾值的自適應確定規則的研究仍有待于進一步深入。
3.紋理優化技術與其他方法相結合的DEM數據壓縮
紋理數據作為一種重要的場景數據，在對三維DEM數據進行渲染時一般存在兩個問題：①由于采用分辨率高而且顏色豐富的紋理，從而存消耗急劇增加；②無法有處理決紋理分辨率與視距之間的關系，即相機與圖的距離較近時，圖形分辨率較大，相機與圖形距離較大時，圖形分辨率較小。Mipmap（Multi-imagepyramidmap）技術能夠很好解決以上問題，該技術由Willams提出，并很快得到了廣泛的研究和應用。從廣義角度上分析，DME數據壓縮、傳輸與顯示是一個有機整體，同屬于DEM數據壓縮范疇，即廣義DEM數據壓縮。楊曉東等[26]結合Mipmap紋理優化技術與頂點法向量編碼方法對DEM數據進行壓縮處理，該研究主要實現如下功能：①數據的漸進傳輸和顯示：通過對DEM數據進行小波變換，分別采用標量量化器和EZW對小波系數進行量化和編碼；②DEM數據優化顯示，采用頂點法向量的計算和編碼方法并結合Mipmap紋理優化技術，能夠對模型數據進行光照效果的計算。該研究突破了將DEM數據的壓縮、傳輸以及優化顯示有機結合，突破了現有的DEM數據壓縮的固有模式，為該領域提供了一個較好的研究思路。
4.基于判別規則（指標）的DEM數據壓縮
TIN由于采用不規則的空間分布高程采樣點描述地形，在數據結構、三角網生成算法等方面相對于排列規則且結構簡單的Grid數據而言，數據壓縮方面難度較大。通過預先定義某一判別規則（指標）來對數據量進行適當的取舍，從而實現對DEM數據的壓縮，是實現DEM數據壓縮處理的一種有效方法。蔡先華等[27]提出DEM數據壓縮地形描述誤差（Ep）這一判別指標來實現對DEM數據壓縮，該方法首先在充分考慮DEM高程采用點、地形描述以及數據壓縮等誤差相互影響的基礎上，確定數據壓縮誤差限值EP0；然后對不是TIN邊界的高程點產生的地形誤差Ep與所給限值進行比較，剔除小于該值的高程點，從而實現DEM數據的壓縮。三角網在地形起伏較大的情況下，相鄰法線向量之間夾角較大，而當地形平坦時，相鄰法線向量近乎平行。劉春[28]等提出一種基于TIN的DEM數據壓縮方法，該方法將相鄰三角形法線間的夾角作為判別依據，判別閾值步驟如下：①確定大概閾值T，采用該閾值進行TIN壓縮；②計算DEM采樣點高程差的方差S；③將S與壓縮誤差允許值進行比較，如果大于該值則適當減少閾值T，并重新計算；反之則增大閾值T并重新計算直到滿足要求為止。該方法間接地顧及地形特征，并且閾值的選擇是根據所給點的壓縮誤差指標進行迭代選擇的，研究表明該方法對TIN數據壓縮較為有效，但對于特殊地面模型的壓縮處理仍有待于進一步研究。
結束語
