前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇卷積神經(jīng)網(wǎng)絡(luò)的深度范文，相信會為您的寫作帶來幫助，發(fā)現(xiàn)更多的寫作思路和靈感。

卷積神經(jīng)網(wǎng)絡(luò)的深度范文第1篇

【關(guān)鍵詞】圖像分類深度 卷積神經(jīng)網(wǎng)絡(luò) 加權(quán)壓縮近鄰

1 研究背景

手寫數(shù)字識別是一個經(jīng)典的模式識別問題。從0 到9這10 個阿拉伯?dāng)?shù)字組成。由于其類別數(shù)比較小，它在些運(yùn)算量很大或者比較復(fù)雜的算法中比較容易實現(xiàn)。所以，在模式識別中數(shù)字識別一直都是熱門的實驗對象。卷積神經(jīng)網(wǎng)絡(luò) （Convolutional Neural Networks，CNN），在手寫體識別中有著良好的性能。卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)元是局部連接，神經(jīng)元之間能夠共享權(quán)值。深度卷積神經(jīng)網(wǎng)絡(luò)不但可以解決淺層學(xué)習(xí)結(jié)構(gòu)無法自動提取圖像特征的問題，并且提高了分類的泛化能力和準(zhǔn)確度。

2 深度卷積神經(jīng)網(wǎng)絡(luò)

深度卷積神經(jīng)網(wǎng)絡(luò)是一種具有多層監(jiān)督的神經(jīng)網(wǎng)絡(luò)，隱含層中的卷積層和池采樣層是實現(xiàn)深度卷積神經(jīng)網(wǎng)絡(luò)提取特征的核心模塊，并通過使用梯度下降算法最小化損失函數(shù)來進(jìn)行權(quán)重參數(shù)逐層反向調(diào)節(jié)，再經(jīng)過迭代訓(xùn)練提高分類精確度。

深度卷積神經(jīng)網(wǎng)絡(luò)的首層是輸入層，之后是若干個卷積層和若干個子采樣層和分類器。分類器一般采用Softmax，再由分類器去輸出相應(yīng)的分類結(jié)果。正常情況下，一個卷積后面都跟一個子采樣層?；诰矸e層里權(quán)值共享和局部連接的特性，可以簡化網(wǎng)絡(luò)的樣本訓(xùn)練參數(shù)。運(yùn)算之后，獲得的結(jié)果通過激活函數(shù)輸出得到特征圖像，再將輸出值作為子采樣層的輸入數(shù)據(jù)。為了實現(xiàn)縮放、平移和扭曲保持不變，在子采樣層中將之前一層對應(yīng)的特征圖中相鄰特征通過池化操作合并成一個特征，減少特征分辨率。這樣，輸入的數(shù)據(jù)就可以立即傳送到第一個卷積層，反復(fù)進(jìn)行特征學(xué)習(xí)。將被標(biāo)記的樣本輸入到Softmax分類器中。

CNN 能夠簡化網(wǎng)絡(luò)的樣本訓(xùn)練參數(shù)，降低計算難度。這些良好的性能是網(wǎng)絡(luò)在有監(jiān)督方式下學(xué)會的，網(wǎng)絡(luò)的結(jié)構(gòu)主要有局部連接和權(quán)值共享兩個特點：

2.1 局部連接

深度卷積神經(jīng)網(wǎng)絡(luò)中，層與層之間的神經(jīng)元節(jié)點是局部連接，不像BP 神經(jīng)網(wǎng)絡(luò)中的連接為全連接。深度卷積神經(jīng)網(wǎng)絡(luò)利用局部空間的相關(guān)性將相鄰層的神經(jīng)元節(jié)點連接相鄰的上一層神經(jīng)元節(jié)點。

2.2 權(quán)重共享

在深度卷積神經(jīng)網(wǎng)絡(luò)中，卷積層中每一個卷積濾波器共享相同參數(shù)并重復(fù)作用，卷積輸入的圖像，再將卷積的結(jié)果變?yōu)檩斎雸D像的特征圖。之后提取出圖像的部分特征。

在得到圖像的卷積特征之后，需要用最大池采樣方法對卷積特征進(jìn)行降維。用若干個n×n 的不相交區(qū)域來劃分卷積特征，降維后的卷積特征會被這些區(qū)域中最大的或平均特征來表示。降維后的特征更方便進(jìn)行分類。

3 實驗結(jié)果

為了驗證卷積神經(jīng)網(wǎng)絡(luò)的有效性，本實驗中使用以最經(jīng)典的MNIST 和USPS 庫這兩個識別庫作為評測標(biāo)準(zhǔn)。手寫數(shù)字MNIST數(shù)據(jù)庫有集60000 個訓(xùn)練樣本集，和10000 個測試，每個樣本向量為28×28=784維表示。手寫數(shù)字USPS 數(shù)據(jù)庫含有7291 個訓(xùn)練樣本和2007 個測試樣本，每個樣本向量為16×16=256 維。

表1給出了卷積神經(jīng)網(wǎng)絡(luò)在MNIST 和USPS 庫上的識別結(jié)果。從表1中可知，深度卷積神經(jīng)網(wǎng)絡(luò)對MNSIT 庫識別率能夠達(dá)到97.89%，與用BP 算法得到的識別率94.26%相比，提高了兩個多百分點。對USPS 庫識別率能夠達(dá)到94.34%，與用BP 算法得到的識別率91.28%相比，也提高了三個多百分點。

因此，使用深度卷積神經(jīng)網(wǎng)絡(luò)算法訓(xùn)練在圖像識別中獲得更高識別率。因此，深度卷積神經(jīng)網(wǎng)絡(luò)在識別手寫體字符時有著較好的分類效果。

4 總結(jié)

本文介紹深度卷積神經(jīng)網(wǎng)絡(luò)的理論知識、算法技術(shù)和算法的結(jié)構(gòu)包括局部連接、權(quán)重共享、最大池采樣以及分類器Softmax。本文通過深度卷積神經(jīng)網(wǎng)絡(luò)對兩組手寫識別庫實驗來驗證CNN 有著較低的出錯率。

參考文獻(xiàn)

[1]趙元慶，吳華.多尺度特征和神經(jīng)網(wǎng)絡(luò)相融合的手寫體數(shù)字識別簡介[J].計算機(jī)科學(xué)，2013，40（08）：316-318.

[2]王強(qiáng).基于CNN的字符識別方法研究[D].天津師范大學(xué)，2014.

[3]Krizhevsky A，Sutskever I，Hinton G E.ImageNet Classification with Deep Convolutional Neural Networks.Advances in Neural Information Processing Systems，2012，25（02），1097-1105.

[4]郝紅衛(wèi)， 蔣蓉蓉.基于最近鄰規(guī)則的神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本選擇方法[J].自動化學(xué)報，2007，33（12）：1247-1251.

作者簡介

關(guān)鑫（1982-），男，黑龍江省佳木斯市人。碩士研究生學(xué)歷?，F(xiàn)為中國電子科技集團(tuán)公司第五十四研究所工程師。研究方向為計算機(jī)軟件工程。

卷積神經(jīng)網(wǎng)絡(luò)的深度范文第2篇

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；圖像處理；訓(xùn)練時間

中圖分類號：TP18 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2016）33-0167-04

如今在機(jī)器學(xué)習(xí)領(lǐng)域中，深度學(xué)習(xí)方法已經(jīng)占據(jù)了相當(dāng)重要的地位，通過模仿人X學(xué)習(xí)方式構(gòu)造模型，在圖像、文本、語音處理方面取得了顯著成果[1]。目前應(yīng)用較為廣泛的深度學(xué)習(xí)模型包含多層感知器模型（MLP）[2]，卷積神經(jīng)網(wǎng)絡(luò)模型和限制性玻爾茲曼機(jī)模型等[4]。多層感知器[2]網(wǎng)絡(luò)結(jié)構(gòu)的神經(jīng)節(jié)點一般分層排列，主要由輸入層，輸出層和一些隱層組成，同層之間的神經(jīng)元節(jié)點無連接，相鄰的兩層神經(jīng)元進(jìn)行全連接，前一層的神經(jīng)元的輸出作為后一層神經(jīng)元的輸入，但本身此種算法存在著一些問題，那就是它的學(xué)習(xí)速度非常慢，其中一個原因就是由于層與層之間進(jìn)行全連接，所以它所需要訓(xùn)練的參數(shù)的規(guī)模是非常大的，所以對其進(jìn)行改進(jìn)，產(chǎn)生了卷積神經(jīng)網(wǎng)絡(luò)模型。卷積神經(jīng)網(wǎng)絡(luò)模型在圖像識別方面的應(yīng)用十分廣泛[5，8，9]。從它的結(jié)構(gòu)上來看，層與層之間的神經(jīng)元節(jié)點采用局部連接模式，而并非MLP的全連接模型，這樣就降低了需要訓(xùn)練的參數(shù)的規(guī)模。而在它卷積層中，它的每一個濾波器作為卷積核重復(fù)作用于整個輸入圖像中，對其進(jìn)行卷積，而得出的結(jié)果作為輸入圖像的特征圖[6]，這樣就提取出了圖像的局部特征。而由于每一個卷積濾波器共享相同的參數(shù)，這樣也就大大降低了訓(xùn)練參數(shù)的時間成本。而本文，以卷積神經(jīng)網(wǎng)絡(luò)為研究對象，在其模型的基礎(chǔ)上通過對其結(jié)構(gòu)中卷積核也就是濾波器的大小進(jìn)行調(diào)整并結(jié)合卷積核個數(shù)調(diào)整和gpu加速等已有的訓(xùn)練提速方法，達(dá)到降低訓(xùn)練時間并且對識別結(jié)果并無太大影響的目的。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)在MLP的基礎(chǔ)上，已經(jīng)對結(jié)構(gòu)進(jìn)行了優(yōu)化，通過層與層之間的局部連接以及權(quán)值共享等方式對要訓(xùn)練的參數(shù)的進(jìn)行了大幅減低。

1.1局部連接

BP神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元在本層中呈線性排列狀態(tài)，層與層之間進(jìn)行全連接，而在卷積神經(jīng)網(wǎng)絡(luò)中，為了減少每層之間的可訓(xùn)練參數(shù)數(shù)量，對連接方式進(jìn)行了修改，相對于BP神經(jīng)網(wǎng)絡(luò)的全連接，卷積神經(jīng)網(wǎng)絡(luò)采取了局部連接的連接方式[7]，也就是說按照某種關(guān)聯(lián)因素，本層的神經(jīng)元只會與上層的部分神經(jīng)元進(jìn)行連接。

2.2 權(quán)值共享

在CNN中，卷積層中的卷積核也就是濾波器，重復(fù)作用在輸入圖像上，對其進(jìn)行卷積，最后的輸出作為他的特征圖，由于每個濾波器共享相同的參數(shù)，所以說他們的權(quán)重矩陣以及偏置項是相同的。

我們從上圖看出，相同箭頭連線的權(quán)值是共享的，這樣在原有的局部連接的基礎(chǔ)上我們又降低了每層需要訓(xùn)練的參數(shù)的數(shù)量。

2.3卷積過程

特征圖是通過濾波器按照特定的步長，對輸入圖像進(jìn)行濾波，也就是說我們用一個線性的卷積核對輸入圖像進(jìn)行卷積然后附加一個偏置項，最后對神經(jīng)元進(jìn)行激活。如果我們設(shè)第k層的特征圖記為[hk]，權(quán)重矩陣記為[Wk]，偏置項記為[bk]，那么卷積過程的公式如下所示（雙曲函數(shù)tanh作為神經(jīng)元的激活函數(shù)）：

2.4 最大池采樣

通過了局部連接與權(quán)值共享等減少連接參數(shù)的方式卷積神經(jīng)網(wǎng)絡(luò)中還有另外一個重要的概念那就是最大池采樣方法，它是一種非線性的采樣方法。最大池采樣法在對減少訓(xùn)練參數(shù)數(shù)量的作用體現(xiàn)在兩個方面：

1 ）它減小了來自m-1層的計算復(fù)雜度。

2 ）池化的單元具有平移不變性，所以即使圖像在濾波后有小的位移，經(jīng)過池化的特征依然會保持不變。

3卷積神經(jīng)網(wǎng)絡(luò)整體構(gòu)造以及減少訓(xùn)練時間的方法

3.1使用GPU加速

本次論文實驗中，使用了theano庫在python環(huán)境下實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)模型，在lenet手寫數(shù)字識別模型上進(jìn)行改進(jìn)，由于theano庫本身支持GPU加速，所以在訓(xùn)練速度上實現(xiàn)了大幅度的提高。

3.2 數(shù)據(jù)集的預(yù)處理

本次實驗使用的兩個數(shù)據(jù)集是mnist手寫數(shù)字庫以及cifar_10庫

Mnist手寫數(shù)字庫具有60000張訓(xùn)練集以及10000張測試集，圖片的像素都為28*28，而cifar_10庫是一個用于普適物體識別的數(shù)據(jù)集，它由60000張32*32像素的RGB彩色圖片構(gòu)成，50000張圖片組成訓(xùn)練集，10000張組成測試集。而對于cifar_10數(shù)據(jù)集來說，由于圖片都是RGB的，所以我們在進(jìn)行實驗的時候，先把其轉(zhuǎn)換為灰度圖在進(jìn)行存儲。由于實驗是在python環(huán)境下運(yùn)行，theano函數(shù)庫進(jìn)行算法支持，所以我們把數(shù)據(jù)集進(jìn)行處理，此處我們對使用的數(shù)據(jù)集進(jìn)行了格式化。格式化的文件包括三個list，分別是訓(xùn)練數(shù)據(jù)，驗證數(shù)據(jù)和測試數(shù)據(jù)。而list中每個元素都是由圖像本身和它的相對應(yīng)的標(biāo)簽組成的。以mnist數(shù)據(jù)集為例，我們包含train_set，valid_set，test_set三個list，每個list中包含兩個元素，以訓(xùn)練集為例，第一個元素為一個784*60000的二維矩陣，第二個元素為一個包含60000個元素的列向量，第一個元素的每一行代表一張圖片的每個像素，一共60000行，第二個元素就存儲了對相應(yīng)的標(biāo)簽。而我們?nèi)∮?xùn)練樣本的10%作為驗證樣本，進(jìn)行相同的格式化，而測試樣本為沒有經(jīng)過訓(xùn)練的10000張圖片。在以cifar_10數(shù)據(jù)集為實驗對象時，把其進(jìn)行灰度化后，進(jìn)行相同的格式化處理方式。

3.3實驗?zāi)Ｐ徒Y(jié)構(gòu)

本次實驗是在python環(huán)境下基于theano函數(shù)庫搭建好的lenet模型進(jìn)行參數(shù)的調(diào)整，以達(dá)到在實驗準(zhǔn)確度可接受情況下減少訓(xùn)練時間的目的。

上圖為實驗中的基礎(chǔ)模型舉例說明實驗過程，首先以mnist數(shù)據(jù)集為例，我們的輸入圖像為一個28*28像素的手寫數(shù)字圖像，在第一層中我們進(jìn)行了卷積處理，四個濾波器在s1層中我們得到了四張?zhí)卣鲌D。在這里要特別的說明一下濾波器的大小問題，濾波器的大小可根據(jù)圖像像素大小和卷積神經(jīng)網(wǎng)絡(luò)整體結(jié)構(gòu)進(jìn)行設(shè)置，舉例說明，假如說我們的輸入圖像為28*28像素的圖像，我們把第一層卷積層濾波器大小設(shè)置為5*5，也就是說我們用一個大小為5*5的局部滑動窗，以步長為一對整張圖像進(jìn)行滑動濾波，則滑動窗會有24個不同的位置，也就是說經(jīng)過卷積處理后的C1層特征圖的大小為24*24。此處的濾波器大小可進(jìn)行調(diào)整，本論文希望通過對濾波器大小的調(diào)整，已達(dá)到減少訓(xùn)練時間的目的，并尋找調(diào)整的理論依據(jù)。C1層的特征圖個數(shù)與卷積過程中濾波器數(shù)量相同。S1層是C1經(jīng)過降采樣處理后得到的，也就是說四點經(jīng)過降采樣后變?yōu)橐粋€點，我們使用的是最大池方法，所以取這四個點的最大值，也就是說S1層圖像大小為12*12像素，具有4張?zhí)卣鲌D。而同理S1層經(jīng)過卷積處理得到C2層，此時我們?yōu)V波器的大小和個數(shù)也可以自行設(shè)置，得到的C2層有6張?zhí)卣鲌D，C2到S2層進(jìn)行降采樣處理，最后面的層由于節(jié)點個數(shù)較少，我們就用MLP方法進(jìn)行全連接。

3.4實驗參數(shù)改進(jìn)分析

由此可見，我們對濾波器的大小以及個數(shù)的改變，可以直接影響到卷積訓(xùn)練參數(shù)的個數(shù)，從而達(dá)到減少訓(xùn)練時間的目的。

從另一種角度來看，增大濾波器的大小，實際效果應(yīng)該相似于縮小輸入圖像的像素大小，所以這樣我們可以預(yù)測增大濾波器的大小會減少樣本的訓(xùn)練時間，但是這樣也可能會降低訓(xùn)練后的分類的準(zhǔn)確率，而濾波器的大小是如何影響訓(xùn)練時間以及分類準(zhǔn)確率的，我們通過對兩種圖片庫的實驗來進(jìn)行分析。

4 實驗結(jié)果與分析

4.1以mnist手寫數(shù)字?jǐn)?shù)據(jù)集作為實驗數(shù)據(jù)

我們知道卷積層可訓(xùn)練參數(shù)的數(shù)字與濾波器的大小和數(shù)字有關(guān)，所以我們通過對卷積層濾波器大小的變化來尋找較為普遍的可減少訓(xùn)練參數(shù)從而達(dá)到減少訓(xùn)練時間的目的。在實驗記錄中，我們表格縱列記錄兩層卷積層濾波器大小，橫列分別為對已經(jīng)過訓(xùn)練圖像識別和對未經(jīng)過訓(xùn)練的驗證圖像進(jìn)行識別的錯誤率，最后記錄每種濾波器大小搭配的使用時間。我們設(shè)定每次試驗都進(jìn)行100次重復(fù)訓(xùn)練，每次對權(quán)重矩陣進(jìn)行優(yōu)化。

此處我們記錄兩層濾波器大小之和作為橫坐標(biāo)，比較濾波器大小與實驗之間的關(guān)系。兩層濾波器大小相加后相同的元素我們把其對應(yīng)時間做平均。

4.2以cifar_10數(shù)據(jù)集作為實驗數(shù)據(jù)

同樣是以100次循環(huán)訓(xùn)練進(jìn)行測試，通過改變兩層中濾波器的大小來尋找減少訓(xùn)練時間的設(shè)定。

此處以同樣的方法，記錄兩層濾波器大小之和作為橫坐標(biāo)，比較濾波器大小與實驗之間的關(guān)系。

4.3實驗結(jié)果分析

從兩組試驗中，在不同的數(shù)據(jù)集下，我們得到了濾波器的大小與訓(xùn)練時間成反比的關(guān)系，而在減少了訓(xùn)練時間的同時確實增大了訓(xùn)練的錯誤率。

5 總結(jié)

通過實驗結(jié)果分析表明，增大卷積層濾波器大小的方法，在此兩種數(shù)據(jù)庫的情況下，是有效減小訓(xùn)練時間的方式，而在不同的數(shù)據(jù)庫對分類準(zhǔn)確率的影響程度不同，mnist手寫數(shù)字?jǐn)?shù)據(jù)庫中圖像之間的相似度非常高，所以濾波器的增大對準(zhǔn)確率產(chǎn)生的負(fù)面影響較小，而ifar_10數(shù)據(jù)集中圖像之間的相似度較小，所以增大濾波器的大小對其分類結(jié)果的準(zhǔn)確率的負(fù)面影響較大。

參考文獻(xiàn)：

[1]LeCun Y， Bengio Y， Hinton G. Deep learning[J]. Nature， 2015， 521（7553）： 436-444.

[2] Ruck D W， Rogers S K， Kabrisky M. Feature selection using a multilayer perceptron[J]. ]Journal of Neural Network Computing， 1990， 2（2）： 40-48.

[3]LeCun Y， Bengio Y. Convolutional networks for images， speech， and time series[J]. The handbook of brain theory and neural networks， 1995， 3361（10）： 1995.

[4] Larochelle H， Bengio Y. Classification using discriminative restricted Boltzmann machines[C]//Proceedings of the 25th international conference on Machine learning. ACM， 2008： 536-543.

[5]Krizhevsky A， Sutskever I， Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012： 1097-1105.

[6] Zeiler M D， Fergus R. Visualizing and understanding convolutional networks[C]//European Conference on Computer Vision. Springer International Publishing， 2014： 818-833.

[7] Jarrett K， Kavukcuoglu K， Lecun Y. What is the best multi-stage architecture for object recognition？[C]//2009 IEEE 12th International Conference on Computer Vision. IEEE， 2009： 2146-2153.

卷積神經(jīng)網(wǎng)絡(luò)的深度范文第3篇

黑匣認(rèn)為，復(fù)雜神經(jīng)網(wǎng)絡(luò)、LSTMs(長短期記憶網(wǎng)絡(luò))、注意力模型(Attention Models)等十大趨勢將塑造人工智能未來的技術(shù)格局。

上述判斷來自NIPS(神經(jīng)信息處理系統(tǒng)) 2015大會。NIPS始于1987年，是人工智能領(lǐng)域兩大重要學(xué)習(xí)會議之一，由于AI的爆炸式發(fā)展，近年來逐漸成為許多硅谷公司必須參加的年度會議。在蒙特利爾召開的NIPS 2015吸引了眾多AI學(xué)界與業(yè)界的頂級專家，與會人數(shù)接近4000。大會總共收錄了403篇論文，其中深度學(xué)習(xí)課題約占11%。來自Dropbox的高級軟件工程師Brad Neuberg分享了他所注意到的十大技術(shù)趨勢，黑匣將對每種趨勢做了詳細(xì)分析。

1、神經(jīng)網(wǎng)絡(luò)的架構(gòu)正變得越來越復(fù)雜

感知和翻譯等大多數(shù)神經(jīng)網(wǎng)絡(luò)的架構(gòu)正變得越來越復(fù)雜，遠(yuǎn)非此前簡單的前饋神經(jīng)網(wǎng)絡(luò)或卷積神經(jīng)網(wǎng)絡(luò)所能比。特別需要注意的是，神經(jīng)網(wǎng)絡(luò)正與不同的技術(shù)(如LSTMs、卷積、自定義目標(biāo)函數(shù)等)相混合。

神經(jīng)網(wǎng)絡(luò)是多數(shù)深度學(xué)習(xí)項目的根基。深度學(xué)習(xí)基于人腦結(jié)構(gòu)，一層層互相連接的人工模擬神經(jīng)元模仿大腦的行為，處理視覺和語言等復(fù)雜問題。這些人工神經(jīng)網(wǎng)絡(luò)可以收集信息，也可以對其做出反應(yīng)。它們能對事物的外形和聲音做出解釋，還可以自行學(xué)習(xí)與工作。未來的人工智能，最熱門的技術(shù)趨勢是什么？

(人工模擬神經(jīng)元試圖模仿大腦行為|圖片來源：Frontiers)

但這一切都需要極高的計算能力。早在80年代初期，Geoffrey Hinton和他的同事們就開始研究深度學(xué)習(xí)。然而彼時電腦還不夠快，不足以處理有關(guān)神經(jīng)網(wǎng)絡(luò)的這些龐大的數(shù)據(jù)。當(dāng)時AI研究的普遍方向也與他們相反，人們都在尋找捷徑，直接模擬出行為而不是模仿大腦的運(yùn)作。

隨著計算能力的提升和算法的改進(jìn)，今天，神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)已經(jīng)成為人工智能領(lǐng)域最具吸引力的流派。這些神經(jīng)網(wǎng)絡(luò)還在變得更復(fù)雜，當(dāng)年“谷歌大腦”團(tuán)隊最開始嘗試“無監(jiān)督學(xué)習(xí)”時，就動用了1.6萬多臺微處理器，創(chuàng)建了一個有數(shù)十億連接的神經(jīng)網(wǎng)絡(luò)，在一項實驗中觀看了千萬數(shù)量級的YouTube圖像。

2、酷的人都在用LSTMs

當(dāng)你閱讀本文時，你是在理解前面詞語的基礎(chǔ)上來理解每個詞語的。你的思想具有連續(xù)性，你不會丟棄已知信息而從頭開始思考。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的一大缺陷便是無法做到這一點，而遞歸神經(jīng)網(wǎng)絡(luò)(RNN)能夠解決這一問題。

RNN擁有循環(huán)結(jié)構(gòu)，可以持續(xù)保存信息。過去幾年里，RNN在語音識別和翻譯等許多問題上取得了難以置信的成功，而成功的關(guān)鍵在于一種特殊的RNN——長短期記憶網(wǎng)絡(luò)(LSTMs)。

普通的RNN可以學(xué)會預(yù)測“the clouds are in the sky”中最后一個單詞，但難以學(xué)會預(yù)測“I grew up in France…I speak fluent French?！敝凶詈笠粋€詞。相關(guān)信息(clouds、France)和預(yù)測位置(sky、French)的間隔越大，神經(jīng)網(wǎng)絡(luò)就越加難以學(xué)習(xí)連接信息。這被稱為是“長期依賴關(guān)系”問題。未來的人工智能，最熱門的技術(shù)趨勢是什么？

(長期依賴問題|圖片來源：CSDN)

LSTMs被明確設(shè)計成能克服之一問題。LSTMs有四層神經(jīng)網(wǎng)絡(luò)層，它們以特殊的方式相互作用。這使得“能記住信息很長一段時間”可以被視作LSTMs的“固有行為”，它們不需要額外學(xué)習(xí)這一點。對于大多數(shù)任務(wù)，LSTMs已經(jīng)取得了非常好的效果。

3、是時候注意“注意力模型(attention models)了

LSTMs是人們使用RNNs的一個飛躍。還有其他飛躍嗎？研究者共同的想法是：“還有注意力(attention)！”

“注意力”是指神經(jīng)網(wǎng)絡(luò)在執(zhí)行任務(wù)時知道把焦點放在何處。我們可以讓神經(jīng)網(wǎng)絡(luò)在每一步都從更大的信息集中挑選信息作為輸入。

例如，當(dāng)神經(jīng)網(wǎng)絡(luò)為一張圖片生成標(biāo)題時，它可以挑選圖像的關(guān)鍵部分作為輸入。未來的人工智能，最熱門的技術(shù)趨勢是什么？

(擁有“注意力”的RNN在圖像識別中的成功運(yùn)用|圖片來源：Github)

4、神經(jīng)圖靈機(jī)依然有趣，但還無法勝任實際工作

當(dāng)你翻譯一句話時，并不會逐個詞匯進(jìn)行，而是會從句子的整體結(jié)構(gòu)出發(fā)。機(jī)器難以做到這一點，這一挑戰(zhàn)被稱為“強(qiáng)耦合輸出的整體估計”。NIPS上很多研究者展示了對跨時間、空間進(jìn)行耦合輸出的研究。

神經(jīng)圖靈機(jī)(Neural Turing Machine)就是研究者們在硅片中重現(xiàn)人類大腦短期記憶的嘗試。它的背后是一種特殊類型的神經(jīng)網(wǎng)絡(luò)，它們可以適應(yīng)與外部存儲器共同工作，這使得神經(jīng)網(wǎng)絡(luò)可以存儲記憶，還能在此后檢索記憶并執(zhí)行一些有邏輯性的任務(wù)。未來的人工智能，最熱門的技術(shù)趨勢是什么？

(模仿人類短期工作記憶的神經(jīng)圖靈機(jī)|圖片來源：arXiv)

2014年10月，Google DeepMind公布了一臺原型電腦，它可以模仿一些人類大腦短期工作記憶的特性。但直到NIPS2015，所有的神經(jīng)圖靈機(jī)都過于復(fù)雜，并且只能解決一些“小玩具”問題。在未來它們或?qū)⒌玫綐O大改進(jìn)。

5、深度學(xué)習(xí)讓計算機(jī)視覺和自然語言處理不再是孤島

卷積神經(jīng)網(wǎng)絡(luò)(CNN)最早出現(xiàn)在計算機(jī)視覺中，但現(xiàn)在許多自然語言處理(NLP)系統(tǒng)也會使用。LSTMs與遞歸神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)最早出現(xiàn)在NLP中，但現(xiàn)在也被納入計算機(jī)視覺神經(jīng)網(wǎng)絡(luò)。

此外，計算機(jī)視覺與NLP的交匯仍然擁有無限前景。想象一下程序為美劇自動嵌入中文字幕的場景吧。

6、符號微分式越來越重要

隨著神經(jīng)網(wǎng)絡(luò)架構(gòu)及其目標(biāo)函數(shù)變得日益復(fù)雜和自定義，手動推導(dǎo)出“反向傳播”(back propagation)的梯度(gradients)也變得更加苦難而且容易出錯。谷歌的TensorFlow等最新的工具包已經(jīng)可以超負(fù)荷試驗符號微分式，能夠自動計算出正確的微分，以確保訓(xùn)練時誤差梯度可被反向傳播。

7、神經(jīng)網(wǎng)絡(luò)模型壓縮的驚人成果

多個團(tuán)隊以不同方法大幅壓縮了訓(xùn)練一個良好模型所需的素材體量，這些方法包括二值化、固定浮點數(shù)、迭代修剪和精細(xì)調(diào)優(yōu)步驟等。

這些技術(shù)潛在的應(yīng)用前景廣闊，可能將會適應(yīng)在移動設(shè)備上進(jìn)行復(fù)雜模型的訓(xùn)練。例如，不需要延遲就可以得到語音識別結(jié)果。此外，如果運(yùn)算所需要的空間和時間極大降低，我們就可以極高幀率(如30 FPS)查詢一個模型，這樣，在移動設(shè)備上也可以運(yùn)用復(fù)雜神經(jīng)網(wǎng)絡(luò)模型，從而近乎實時地完成計算機(jī)視覺任務(wù)。

8、深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)繼續(xù)交匯

雖然NIPS 2015上沒有什么強(qiáng)化學(xué)習(xí)(reinforcement learning)的重要成果，但“深度強(qiáng)化學(xué)習(xí)”研討會還是展現(xiàn)了深度神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)相結(jié)合的前景。

在“端對端”(end-to-end)機(jī)器人等領(lǐng)域出現(xiàn)了令人激動的進(jìn)展，現(xiàn)在機(jī)器人已經(jīng)可以一起運(yùn)用深度和強(qiáng)化學(xué)習(xí)，從而將原始感官數(shù)據(jù)直接轉(zhuǎn)化為實際動作驅(qū)動。我們正在超越“分類”等簡單工作，嘗試將“計劃”與“行動”納入方程。還有大量工作需要完成，但早期的工作已經(jīng)使人感到興奮。

9、難道你還沒有使用批標(biāo)準(zhǔn)化？

批標(biāo)準(zhǔn)化(batch normalization)現(xiàn)在被視作評價一個神經(jīng)網(wǎng)絡(luò)工具包的部分標(biāo)準(zhǔn)，在NIPS 2015上被不斷提及。

卷積神經(jīng)網(wǎng)絡(luò)的深度范文第4篇

>> 深度信念網(wǎng)絡(luò)應(yīng)用于圖像分類的可行性研究 PPP融資模式應(yīng)用于廉租房建設(shè)的可行性研究 超越預(yù)算應(yīng)用于高科技企業(yè)研發(fā)的可行性研究 網(wǎng)絡(luò)虛擬游戲應(yīng)用于法語教學(xué)的可行性研究 左手材料應(yīng)用于隱身領(lǐng)域的可行性研究與分析 3D影像技術(shù)應(yīng)用于體育教學(xué)的可行性研究 PLC技術(shù)應(yīng)用于遠(yuǎn)程抄表的可行性研究 價值投資應(yīng)用于中國股票市場的可行性研究 將安檢系統(tǒng)應(yīng)用于廣州地鐵的可行性研究 Solidworks應(yīng)用于船體生產(chǎn)設(shè)計的可行性研究 微信公眾平臺應(yīng)用于高校教育領(lǐng)域的可行性研究 超微粉碎技術(shù)應(yīng)用于羊藿的可行性研究 風(fēng)能、太陽能應(yīng)用于農(nóng)業(yè)生產(chǎn)的可行性研究 腦電信號應(yīng)用于消費(fèi)心理研究可行性研究 硅―改瀝青應(yīng)用于沙漠地區(qū)公路的可行性研究 關(guān)于無線傳感器網(wǎng)絡(luò)應(yīng)用于變電站的可行性研究 循證護(hù)理模式應(yīng)用于胸外重癥患者中的可行性研究 臨床護(hù)理路徑應(yīng)用于藥物治療腦出血患者護(hù)理的可行性研究 基于數(shù)字圖像處理的裂縫寬度測量可行性研究 基金積累制應(yīng)用于新型農(nóng)村社會養(yǎng)老保險制度的可行性研究 常見問題解答 當(dāng)前所在位置：l.

[19]曹林林，李海濤， 韓顏順，等.卷積神經(jīng)網(wǎng)絡(luò)在高分遙感影像分類中的應(yīng)用[EB/OL]..

[20]龔丁禧，曹長榮.基于卷積神經(jīng)網(wǎng)絡(luò)的植物葉片分類[J].計算機(jī)與現(xiàn)代化，2014（4）：1215，19.

卷積神經(jīng)網(wǎng)絡(luò)的深度范文第5篇

關(guān)鍵詞：人機(jī)大戰(zhàn)；人工智能；發(fā)展前景

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A

0.引言

2016年3月15日，備受矚目的“人機(jī)大戰(zhàn)”終于落下帷幕，最終Google公司開發(fā)的“AlphaGo”以4∶1戰(zhàn)勝了韓國九段棋手李世h。毫無疑問，這是人工智能歷史上一個具有里程碑式的大事件。大家一致認(rèn)為，人工智能已經(jīng)上升到了一個新的高度。

這次勝利與1997年IBM公司的“深藍(lán)”戰(zhàn)勝國際象棋世界冠軍卡斯帕羅不同。主要表現(xiàn)在兩個方面：

（1）AlphaGo的勝利并非僅僅依賴強(qiáng)悍的計算能力和龐大的棋譜數(shù)據(jù)庫取勝，而是AlphaGo已經(jīng)擁有了深度學(xué)習(xí)的能力，能夠?qū)W習(xí)已經(jīng)對弈過的棋盤，并在練習(xí)和實戰(zhàn)中不斷學(xué)習(xí)和積累經(jīng)驗。

（2）圍棋比國際象棋更加復(fù)雜，圍棋棋盤有361個點，其分支因子無窮無盡，19×19格圍棋的合法棋局?jǐn)?shù)的所有可能性是冪為171的指數(shù)，這樣的計算量相當(dāng)巨大。英國圍棋聯(lián)盟裁判托比表示：“圍棋是世界上最為復(fù)雜的智力游戲，它簡單的規(guī)則加深了棋局的復(fù)雜性”。因此，進(jìn)入圍棋領(lǐng)域一直被認(rèn)為是目前人工智能的最大挑戰(zhàn)。

簡而言之，AlphaGo取得勝利的一個很重要的方面就是它擁有強(qiáng)大的“學(xué)習(xí)”能力。深度學(xué)習(xí)是源于人工神經(jīng)網(wǎng)絡(luò)的研究，得益于大數(shù)據(jù)和互聯(lián)網(wǎng)技術(shù)。本文就從人工智能的發(fā)展歷程與現(xiàn)狀入手，在此基礎(chǔ)上分析了人工智能的未來發(fā)展前景。

1.人工智能的發(fā)展歷程

AlphaGo的勝利表明，人工智能發(fā)展到今天，已經(jīng)取得了很多卓越的成果。但是，其發(fā)展不是一帆風(fēng)順的，人工智能是一個不斷進(jìn)步，并且至今仍在取得不斷突破的學(xué)科?；仡櫲斯ぶ悄艿陌l(fā)展歷程，可大致分為孕育、形成、暗淡、知識應(yīng)用和集成發(fā)展五大時期。

孕育期：1956年以前，數(shù)學(xué)、邏輯、計算機(jī)等理論和技術(shù)方面的研究為人工智能的出現(xiàn)奠定了基礎(chǔ)。德國數(shù)學(xué)家和哲學(xué)家萊布尼茨把形式邏輯符號化，奠定了數(shù)理邏輯的基礎(chǔ)。英國數(shù)學(xué)家圖靈在1936年創(chuàng)立了自動機(jī)理論（亦稱圖靈機(jī)），1950年在其著作《計算機(jī)與智能》中首次提出“機(jī)器也能思維”，被譽(yù)為“人工智能之父”。總之，這些人為人工智能的孕育和產(chǎn)生做出了巨大的貢獻(xiàn)。

形成期：1956年夏季，在美國達(dá)特茅斯大學(xué)舉辦了長達(dá)2個多月的研討會，熱烈地討論用機(jī)器模擬人類智能的問題。該次會議首次使用了“人工智能”這一術(shù)語。這是人類歷史上第一次人工智能研討會，標(biāo)志著人工智能學(xué)科的誕生。其后的十幾年是人工智能的黃金時期。在接下來的幾年中，在眾多科學(xué)家的努力下，人工智能取得了矚目的突破，也在當(dāng)時形成了廣泛的樂觀思潮。

暗淡期：20世紀(jì)70年代初，即使最杰出的AI程序也只能解決問題中最簡單的部分，發(fā)展遇到瓶頸也就是說所有的AI程序都只是“玩具”，無法解決更為復(fù)雜的問題。隨著AI遭遇批評，對AI提供資助的機(jī)構(gòu)也逐漸停止了部分AI的資助。資金上的困難使得AI的研究方向縮窄，缺少了以往的自由探索。

知識應(yīng)用期：在80年代，“專家系統(tǒng)”（Expect System）成為了人工智能中一個非常主流的分支?！皩＜蚁到y(tǒng)”是一種程序，為計算機(jī)提供特定領(lǐng)域的專門知識和經(jīng)驗，計算機(jī)就能夠依據(jù)一組從專門知識中推演出的邏輯規(guī)則在某一特定領(lǐng)域回答或解決問題。不同領(lǐng)域的專家系統(tǒng)基本都是由知識庫、數(shù)據(jù)庫、推理機(jī)、解釋機(jī)制、知識獲取等部分組成。

集成發(fā)展期：得益于互聯(lián)網(wǎng)的蓬勃發(fā)展、計算機(jī)性能的突飛猛進(jìn)、分布式系統(tǒng)的廣泛應(yīng)用以及人工智能多分支的協(xié)同發(fā)展，人工智能在這一階段飛速發(fā)展。尤其是隨著深度學(xué)習(xí)和人工神經(jīng)網(wǎng)絡(luò)研究的不斷深入，人工智能在近幾十年中取得了長足的進(jìn)步，取得了令人矚目的成就。

人工智能發(fā)展到今天，出現(xiàn)了很多令人矚目的研究成果。AlphaGo的勝利就是基于這些研究成果的一個里程碑。當(dāng)前人工智能的研究熱點主要集中在自然語言處理、機(jī)器學(xué)習(xí)、人工神經(jīng)網(wǎng)絡(luò)等領(lǐng)域。

2.人工智能l展現(xiàn)狀與前景

人工智能當(dāng)前有很多重要的研究領(lǐng)域和分支。目前，越來越多的AI項目依賴于分布式系統(tǒng)，而當(dāng)前研究的普遍熱點則集中于自然語言處理、機(jī)器學(xué)習(xí)和人工神經(jīng)網(wǎng)絡(luò)等領(lǐng)域。

自然語言處理：自然語言處理（Natural Language Processing，簡稱NLP），是語言學(xué)與人工智能的交叉學(xué)科，其主要功能就是實現(xiàn)讓機(jī)器明白人類的語言，這需要將人類的自然語言轉(zhuǎn)化為計算機(jī)能夠處理的機(jī)器語言。

自然語言處理主要包括詞法分析、句法分析和語義分析三大部分。詞法分析的核心就是分詞處理，即單詞的邊界處理。句法分析就是對自然語言中句子的結(jié)構(gòu)、語法進(jìn)行分析如辨別疑問句和感嘆句等。而語義分析則注重情感分析和整個段落的上下文分析，辨別一些字詞在不同的上下文定的語義和情感態(tài)度。

當(dāng)前自然語言的處理主要有兩大方向。一種是基于句法-語義規(guī)則的理性主義理論，該理論認(rèn)為需要為計算機(jī)制定一系列的規(guī)則，計算機(jī)在規(guī)則下進(jìn)行推理與判斷。因此其技術(shù)路線是一系列的人為的語料建設(shè)與規(guī)則制定。第二種是基于統(tǒng)計學(xué)習(xí)的經(jīng)驗主義理論，這種理論在最近受到普遍推崇。該理論讓計算機(jī)自己通過學(xué)習(xí)并進(jìn)行統(tǒng)計推斷的方式不停地從數(shù)據(jù)中“學(xué)習(xí)”語言，試圖刻畫真實世界的語言現(xiàn)象，從數(shù)據(jù)中統(tǒng)計語言的規(guī)律。

機(jī)器學(xué)習(xí)：機(jī)器學(xué)習(xí)（Machine Learning）是近20年來興起的人工智能一大重要領(lǐng)域。其主要是指通過讓計算機(jī)在數(shù)據(jù)中自動分析獲得規(guī)律，從而獲取“自我學(xué)習(xí)”的能力，并利用規(guī)律對未知數(shù)據(jù)進(jìn)行判斷和預(yù)測的方法。

機(jī)器學(xué)致可以分為有監(jiān)督的學(xué)習(xí)和無監(jiān)督的學(xué)習(xí)。有監(jiān)督的學(xué)習(xí)是從給定的訓(xùn)練數(shù)據(jù)集中練出一個函數(shù)和目標(biāo)，當(dāng)有新的數(shù)據(jù)到來時，可以由訓(xùn)練得到函數(shù)預(yù)測目標(biāo)。有監(jiān)督的學(xué)習(xí)要求訓(xùn)練集同時有輸入和輸出，也就是所謂的特征和目標(biāo)。而依據(jù)預(yù)測的結(jié)果是離散的還是連續(xù)的，將有監(jiān)督的學(xué)習(xí)分為兩大問題，即統(tǒng)計分類問題和回歸分析問題。統(tǒng)計分類的預(yù)測結(jié)果是離散的，如腫瘤是良性還是惡性等；而回歸分析問題目標(biāo)是連續(xù)的，如天氣、股價等的預(yù)測。

無監(jiān)督學(xué)習(xí)的訓(xùn)練集則沒有人為標(biāo)注的結(jié)果，這就需要計算機(jī)去發(fā)現(xiàn)數(shù)據(jù)間的聯(lián)系并用來分類等。一種常見的無監(jiān)督學(xué)習(xí)是聚類分析（Cluster Analysis），它是將相似的對象通過靜態(tài)分類的方法分成不同的組別或者是特定的子集，讓同一個子集中的數(shù)據(jù)對象都有一些相似的屬性，比較常用的聚類方法是簡潔并快速的“K-均值”聚類算法。它基于K個中心并對距離這些中心最近的數(shù)據(jù)對象進(jìn)行分類。

機(jī)器學(xué)習(xí)還包括如半監(jiān)督學(xué)習(xí)和增強(qiáng)學(xué)習(xí)等類別?？偠灾?，機(jī)器學(xué)習(xí)是研究如何使用機(jī)器來模擬人類學(xué)習(xí)活動的一門學(xué)科，而其應(yīng)用隨著人工智能研究領(lǐng)域的深入也變得越來越廣泛，如模式識別、計算機(jī)視覺、語音識別、推薦算法等領(lǐng)域越來越廣泛地應(yīng)用到了機(jī)器學(xué)習(xí)中。

人工神經(jīng)網(wǎng)絡(luò)：在腦神經(jīng)科學(xué)領(lǐng)域，人們認(rèn)為人類的意識及智能行為，都是通過巨大的神經(jīng)網(wǎng)絡(luò)傳遞的，每個神經(jīng)細(xì)胞通過突出與其他神經(jīng)細(xì)胞連接，當(dāng)通過突觸的信號強(qiáng)度超過某個閾值時，神經(jīng)細(xì)胞便會進(jìn)入激活狀態(tài)，向所連接的神經(jīng)細(xì)胞一層層傳遞信號。于1943年提出的基于生物神經(jīng)元的M-P模型的主要思想就是將神經(jīng)元抽象為一個多輸入單輸出的信息處理單元，并通過傳遞函數(shù)f對輸入x1，x2…，xn進(jìn)行處理并模擬神經(jīng)細(xì)胞的激活模式。主要的傳遞函數(shù)有階躍型、線性型和S型。

在此基礎(chǔ)上，對神經(jīng)網(wǎng)絡(luò)算法的研究又有諸多進(jìn)展。日本的福島教授于1983年基于視覺認(rèn)知模型提出了卷積神經(jīng)網(wǎng)絡(luò)計算模型。通過學(xué)習(xí)訓(xùn)練獲取到卷積運(yùn)算中所使用的卷積系數(shù)，并通過不同層次與自由度的變化，可以得到較為優(yōu)化的計算結(jié)果。而AlphaGo也正是采用了這種深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）模型，提高了AlphaGo的視覺分類能力，也就是所謂的“棋感”，增強(qiáng)了其對全盤決策和把握的能力。

3.人工智能的發(fā)展前景

總體來看，人工智能的應(yīng)用經(jīng)歷了博弈、感知、決策和反饋這幾個里程碑。在以上4個領(lǐng)域中，既是縱向發(fā)展的過程，也是橫向不斷改進(jìn)的過程。

人工智能在博弈階段，主要是實現(xiàn)邏輯推理等功能，隨著計算機(jī)處理能力的進(jìn)步以及深度學(xué)習(xí)等算法的改進(jìn)，機(jī)器擁有了越來越強(qiáng)的邏輯與對弈能力。在感知領(lǐng)域，隨著自然語言處理的進(jìn)步，機(jī)器已經(jīng)基本能對人類的語音與語言進(jìn)行感知，并且能夠已經(jīng)對現(xiàn)實世界進(jìn)行視覺上的感知。基于大數(shù)據(jù)的處理和機(jī)器學(xué)習(xí)的發(fā)展，機(jī)器已經(jīng)能夠?qū)χ車沫h(huán)境進(jìn)行認(rèn)知，例如微軟的Kinect就能夠準(zhǔn)確的對人的肢體動作進(jìn)行判斷。該領(lǐng)域的主要實現(xiàn)還包括蘋果的Siri，谷歌大腦以及無人駕駛汽車中的各種傳感器等。在以上兩個階段的基礎(chǔ)上，機(jī)器擁有了一定的決策和反饋的能力。無人駕駛汽車的蓬勃發(fā)展就是這兩個里程碑很好的例證。Google的無人駕駛汽車通過各種傳感器對周圍的環(huán)境進(jìn)行感知并處理人類的語言等指令，利用所收集的信息進(jìn)行最后的決策，比如操作方向盤、剎車等。

人工智能已經(jīng)滲透到生活中的各個領(lǐng)域。機(jī)器已經(jīng)能識別語音、人臉以及視頻內(nèi)容等，從而實現(xiàn)各種人際交互的場景。在醫(yī)學(xué)領(lǐng)域，人工智能可以實現(xiàn)自動讀片和輔助診斷以及個性化t療和基因排序等功能。在教育領(lǐng)域，機(jī)器也承擔(dān)了越來越多的輔助教育，智能交互的功能。在交通領(lǐng)域，一方面無人車的發(fā)展表明無人駕駛是一個可以期待的未來，另一方面人工智能能夠帶來更加通暢和智能的交通。另外人工智能在安防、金融等領(lǐng)域也有非常廣闊的發(fā)展前景?？傊?，人工智能在一些具有重復(fù)性的和具備簡單決策的領(lǐng)域已經(jīng)是一種非常重要的工具，用來幫助人們解決問題，創(chuàng)造價值。

參考文獻(xiàn)

[1]阮曉東.從AlphaGo的勝利看人工智能的未來[J].新經(jīng)濟(jì)導(dǎo)刊，2016 （6）：69-74.