前言：想要寫(xiě)出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)范文，相信會(huì)為您的寫(xiě)作帶來(lái)幫助，發(fā)現(xiàn)更多的寫(xiě)作思路和靈感。

卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)范文第1篇

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；圖像處理；訓(xùn)練時(shí)間

中圖分類(lèi)號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）33-0167-04

如今在機(jī)器學(xué)習(xí)領(lǐng)域中，深度學(xué)習(xí)方法已經(jīng)占據(jù)了相當(dāng)重要的地位，通過(guò)模仿人X學(xué)習(xí)方式構(gòu)造模型，在圖像、文本、語(yǔ)音處理方面取得了顯著成果[1]。目前應(yīng)用較為廣泛的深度學(xué)習(xí)模型包含多層感知器模型（MLP）[2]，卷積神經(jīng)網(wǎng)絡(luò)模型和限制性玻爾茲曼機(jī)模型等[4]。多層感知器[2]網(wǎng)絡(luò)結(jié)構(gòu)的神經(jīng)節(jié)點(diǎn)一般分層排列，主要由輸入層，輸出層和一些隱層組成，同層之間的神經(jīng)元節(jié)點(diǎn)無(wú)連接，相鄰的兩層神經(jīng)元進(jìn)行全連接，前一層的神經(jīng)元的輸出作為后一層神經(jīng)元的輸入，但本身此種算法存在著一些問(wèn)題，那就是它的學(xué)習(xí)速度非常慢，其中一個(gè)原因就是由于層與層之間進(jìn)行全連接，所以它所需要訓(xùn)練的參數(shù)的規(guī)模是非常大的，所以對(duì)其進(jìn)行改進(jìn)，產(chǎn)生了卷積神經(jīng)網(wǎng)絡(luò)模型。卷積神經(jīng)網(wǎng)絡(luò)模型在圖像識(shí)別方面的應(yīng)用十分廣泛[5，8，9]。從它的結(jié)構(gòu)上來(lái)看，層與層之間的神經(jīng)元節(jié)點(diǎn)采用局部連接模式，而并非MLP的全連接模型，這樣就降低了需要訓(xùn)練的參數(shù)的規(guī)模。而在它卷積層中，它的每一個(gè)濾波器作為卷積核重復(fù)作用于整個(gè)輸入圖像中，對(duì)其進(jìn)行卷積，而得出的結(jié)果作為輸入圖像的特征圖[6]，這樣就提取出了圖像的局部特征。而由于每一個(gè)卷積濾波器共享相同的參數(shù)，這樣也就大大降低了訓(xùn)練參數(shù)的時(shí)間成本。而本文，以卷積神經(jīng)網(wǎng)絡(luò)為研究對(duì)象，在其模型的基礎(chǔ)上通過(guò)對(duì)其結(jié)構(gòu)中卷積核也就是濾波器的大小進(jìn)行調(diào)整并結(jié)合卷積核個(gè)數(shù)調(diào)整和gpu加速等已有的訓(xùn)練提速方法，達(dá)到降低訓(xùn)練時(shí)間并且對(duì)識(shí)別結(jié)果并無(wú)太大影響的目的。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)在MLP的基礎(chǔ)上，已經(jīng)對(duì)結(jié)構(gòu)進(jìn)行了優(yōu)化，通過(guò)層與層之間的局部連接以及權(quán)值共享等方式對(duì)要訓(xùn)練的參數(shù)的進(jìn)行了大幅減低。

1.1局部連接

BP神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元在本層中呈線性排列狀態(tài)，層與層之間進(jìn)行全連接，而在卷積神經(jīng)網(wǎng)絡(luò)中，為了減少每層之間的可訓(xùn)練參數(shù)數(shù)量，對(duì)連接方式進(jìn)行了修改，相對(duì)于BP神經(jīng)網(wǎng)絡(luò)的全連接，卷積神經(jīng)網(wǎng)絡(luò)采取了局部連接的連接方式[7]，也就是說(shuō)按照某種關(guān)聯(lián)因素，本層的神經(jīng)元只會(huì)與上層的部分神經(jīng)元進(jìn)行連接。

2.2 權(quán)值共享

在CNN中，卷積層中的卷積核也就是濾波器，重復(fù)作用在輸入圖像上，對(duì)其進(jìn)行卷積，最后的輸出作為他的特征圖，由于每個(gè)濾波器共享相同的參數(shù)，所以說(shuō)他們的權(quán)重矩陣以及偏置項(xiàng)是相同的。

我們從上圖看出，相同箭頭連線的權(quán)值是共享的，這樣在原有的局部連接的基礎(chǔ)上我們又降低了每層需要訓(xùn)練的參數(shù)的數(shù)量。

2.3卷積過(guò)程

特征圖是通過(guò)濾波器按照特定的步長(zhǎng)，對(duì)輸入圖像進(jìn)行濾波，也就是說(shuō)我們用一個(gè)線性的卷積核對(duì)輸入圖像進(jìn)行卷積然后附加一個(gè)偏置項(xiàng)，最后對(duì)神經(jīng)元進(jìn)行激活。如果我們?cè)O(shè)第k層的特征圖記為[hk]，權(quán)重矩陣記為[Wk]，偏置項(xiàng)記為[bk]，那么卷積過(guò)程的公式如下所示（雙曲函數(shù)tanh作為神經(jīng)元的激活函數(shù)）：

2.4 最大池采樣

通過(guò)了局部連接與權(quán)值共享等減少連接參數(shù)的方式卷積神經(jīng)網(wǎng)絡(luò)中還有另外一個(gè)重要的概念那就是最大池采樣方法，它是一種非線性的采樣方法。最大池采樣法在對(duì)減少訓(xùn)練參數(shù)數(shù)量的作用體現(xiàn)在兩個(gè)方面：

1 ）它減小了來(lái)自m-1層的計(jì)算復(fù)雜度。

2 ）池化的單元具有平移不變性，所以即使圖像在濾波后有小的位移，經(jīng)過(guò)池化的特征依然會(huì)保持不變。

3卷積神經(jīng)網(wǎng)絡(luò)整體構(gòu)造以及減少訓(xùn)練時(shí)間的方法

3.1使用GPU加速

本次論文實(shí)驗(yàn)中，使用了theano庫(kù)在python環(huán)境下實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)模型，在lenet手寫(xiě)數(shù)字識(shí)別模型上進(jìn)行改進(jìn)，由于theano庫(kù)本身支持GPU加速，所以在訓(xùn)練速度上實(shí)現(xiàn)了大幅度的提高。

3.2 數(shù)據(jù)集的預(yù)處理

本次實(shí)驗(yàn)使用的兩個(gè)數(shù)據(jù)集是mnist手寫(xiě)數(shù)字庫(kù)以及cifar_10庫(kù)

Mnist手寫(xiě)數(shù)字庫(kù)具有60000張訓(xùn)練集以及10000張測(cè)試集，圖片的像素都為28*28，而cifar_10庫(kù)是一個(gè)用于普適物體識(shí)別的數(shù)據(jù)集，它由60000張32*32像素的RGB彩色圖片構(gòu)成，50000張圖片組成訓(xùn)練集，10000張組成測(cè)試集。而對(duì)于cifar_10數(shù)據(jù)集來(lái)說(shuō)，由于圖片都是RGB的，所以我們?cè)谶M(jìn)行實(shí)驗(yàn)的時(shí)候，先把其轉(zhuǎn)換為灰度圖在進(jìn)行存儲(chǔ)。由于實(shí)驗(yàn)是在python環(huán)境下運(yùn)行，theano函數(shù)庫(kù)進(jìn)行算法支持，所以我們把數(shù)據(jù)集進(jìn)行處理，此處我們對(duì)使用的數(shù)據(jù)集進(jìn)行了格式化。格式化的文件包括三個(gè)list，分別是訓(xùn)練數(shù)據(jù)，驗(yàn)證數(shù)據(jù)和測(cè)試數(shù)據(jù)。而list中每個(gè)元素都是由圖像本身和它的相對(duì)應(yīng)的標(biāo)簽組成的。以mnist數(shù)據(jù)集為例，我們包含train_set，valid_set，test_set三個(gè)list，每個(gè)list中包含兩個(gè)元素，以訓(xùn)練集為例，第一個(gè)元素為一個(gè)784*60000的二維矩陣，第二個(gè)元素為一個(gè)包含60000個(gè)元素的列向量，第一個(gè)元素的每一行代表一張圖片的每個(gè)像素，一共60000行，第二個(gè)元素就存儲(chǔ)了對(duì)相應(yīng)的標(biāo)簽。而我們?nèi)∮?xùn)練樣本的10%作為驗(yàn)證樣本，進(jìn)行相同的格式化，而測(cè)試樣本為沒(méi)有經(jīng)過(guò)訓(xùn)練的10000張圖片。在以cifar_10數(shù)據(jù)集為實(shí)驗(yàn)對(duì)象時(shí)，把其進(jìn)行灰度化后，進(jìn)行相同的格式化處理方式。

3.3實(shí)驗(yàn)?zāi)Ｐ徒Y(jié)構(gòu)

本次實(shí)驗(yàn)是在python環(huán)境下基于theano函數(shù)庫(kù)搭建好的lenet模型進(jìn)行參數(shù)的調(diào)整，以達(dá)到在實(shí)驗(yàn)準(zhǔn)確度可接受情況下減少訓(xùn)練時(shí)間的目的。

上圖為實(shí)驗(yàn)中的基礎(chǔ)模型舉例說(shuō)明實(shí)驗(yàn)過(guò)程，首先以mnist數(shù)據(jù)集為例，我們的輸入圖像為一個(gè)28*28像素的手寫(xiě)數(shù)字圖像，在第一層中我們進(jìn)行了卷積處理，四個(gè)濾波器在s1層中我們得到了四張?zhí)卣鲌D。在這里要特別的說(shuō)明一下濾波器的大小問(wèn)題，濾波器的大小可根據(jù)圖像像素大小和卷積神經(jīng)網(wǎng)絡(luò)整體結(jié)構(gòu)進(jìn)行設(shè)置，舉例說(shuō)明，假如說(shuō)我們的輸入圖像為28*28像素的圖像，我們把第一層卷積層濾波器大小設(shè)置為5*5，也就是說(shuō)我們用一個(gè)大小為5*5的局部滑動(dòng)窗，以步長(zhǎng)為一對(duì)整張圖像進(jìn)行滑動(dòng)濾波，則滑動(dòng)窗會(huì)有24個(gè)不同的位置，也就是說(shuō)經(jīng)過(guò)卷積處理后的C1層特征圖的大小為24*24。此處的濾波器大小可進(jìn)行調(diào)整，本論文希望通過(guò)對(duì)濾波器大小的調(diào)整，已達(dá)到減少訓(xùn)練時(shí)間的目的，并尋找調(diào)整的理論依據(jù)。C1層的特征圖個(gè)數(shù)與卷積過(guò)程中濾波器數(shù)量相同。S1層是C1經(jīng)過(guò)降采樣處理后得到的，也就是說(shuō)四點(diǎn)經(jīng)過(guò)降采樣后變?yōu)橐粋€(gè)點(diǎn)，我們使用的是最大池方法，所以取這四個(gè)點(diǎn)的最大值，也就是說(shuō)S1層圖像大小為12*12像素，具有4張?zhí)卣鲌D。而同理S1層經(jīng)過(guò)卷積處理得到C2層，此時(shí)我們?yōu)V波器的大小和個(gè)數(shù)也可以自行設(shè)置，得到的C2層有6張?zhí)卣鲌D，C2到S2層進(jìn)行降采樣處理，最后面的層由于節(jié)點(diǎn)個(gè)數(shù)較少，我們就用MLP方法進(jìn)行全連接。

3.4實(shí)驗(yàn)參數(shù)改進(jìn)分析

由此可見(jiàn)，我們對(duì)濾波器的大小以及個(gè)數(shù)的改變，可以直接影響到卷積訓(xùn)練參數(shù)的個(gè)數(shù)，從而達(dá)到減少訓(xùn)練時(shí)間的目的。

從另一種角度來(lái)看，增大濾波器的大小，實(shí)際效果應(yīng)該相似于縮小輸入圖像的像素大小，所以這樣我們可以預(yù)測(cè)增大濾波器的大小會(huì)減少樣本的訓(xùn)練時(shí)間，但是這樣也可能會(huì)降低訓(xùn)練后的分類(lèi)的準(zhǔn)確率，而濾波器的大小是如何影響訓(xùn)練時(shí)間以及分類(lèi)準(zhǔn)確率的，我們通過(guò)對(duì)兩種圖片庫(kù)的實(shí)驗(yàn)來(lái)進(jìn)行分析。

4 實(shí)驗(yàn)結(jié)果與分析

4.1以mnist手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)

我們知道卷積層可訓(xùn)練參數(shù)的數(shù)字與濾波器的大小和數(shù)字有關(guān)，所以我們通過(guò)對(duì)卷積層濾波器大小的變化來(lái)尋找較為普遍的可減少訓(xùn)練參數(shù)從而達(dá)到減少訓(xùn)練時(shí)間的目的。在實(shí)驗(yàn)記錄中，我們表格縱列記錄兩層卷積層濾波器大小，橫列分別為對(duì)已經(jīng)過(guò)訓(xùn)練圖像識(shí)別和對(duì)未經(jīng)過(guò)訓(xùn)練的驗(yàn)證圖像進(jìn)行識(shí)別的錯(cuò)誤率，最后記錄每種濾波器大小搭配的使用時(shí)間。我們?cè)O(shè)定每次試驗(yàn)都進(jìn)行100次重復(fù)訓(xùn)練，每次對(duì)權(quán)重矩陣進(jìn)行優(yōu)化。

此處我們記錄兩層濾波器大小之和作為橫坐標(biāo)，比較濾波器大小與實(shí)驗(yàn)之間的關(guān)系。兩層濾波器大小相加后相同的元素我們把其對(duì)應(yīng)時(shí)間做平均。

4.2以cifar_10數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)

同樣是以100次循環(huán)訓(xùn)練進(jìn)行測(cè)試，通過(guò)改變兩層中濾波器的大小來(lái)尋找減少訓(xùn)練時(shí)間的設(shè)定。

此處以同樣的方法，記錄兩層濾波器大小之和作為橫坐標(biāo)，比較濾波器大小與實(shí)驗(yàn)之間的關(guān)系。

4.3實(shí)驗(yàn)結(jié)果分析

從兩組試驗(yàn)中，在不同的數(shù)據(jù)集下，我們得到了濾波器的大小與訓(xùn)練時(shí)間成反比的關(guān)系，而在減少了訓(xùn)練時(shí)間的同時(shí)確實(shí)增大了訓(xùn)練的錯(cuò)誤率。

5 總結(jié)

通過(guò)實(shí)驗(yàn)結(jié)果分析表明，增大卷積層濾波器大小的方法，在此兩種數(shù)據(jù)庫(kù)的情況下，是有效減小訓(xùn)練時(shí)間的方式，而在不同的數(shù)據(jù)庫(kù)對(duì)分類(lèi)準(zhǔn)確率的影響程度不同，mnist手寫(xiě)數(shù)字?jǐn)?shù)據(jù)庫(kù)中圖像之間的相似度非常高，所以濾波器的增大對(duì)準(zhǔn)確率產(chǎn)生的負(fù)面影響較小，而ifar_10數(shù)據(jù)集中圖像之間的相似度較小，所以增大濾波器的大小對(duì)其分類(lèi)結(jié)果的準(zhǔn)確率的負(fù)面影響較大。

參考文獻(xiàn)：

[1]LeCun Y， Bengio Y， Hinton G. Deep learning[J]. Nature， 2015， 521（7553）： 436-444.

[2] Ruck D W， Rogers S K， Kabrisky M. Feature selection using a multilayer perceptron[J]. ]Journal of Neural Network Computing， 1990， 2（2）： 40-48.

[3]LeCun Y， Bengio Y. Convolutional networks for images， speech， and time series[J]. The handbook of brain theory and neural networks， 1995， 3361（10）： 1995.

[4] Larochelle H， Bengio Y. Classification using discriminative restricted Boltzmann machines[C]//Proceedings of the 25th international conference on Machine learning. ACM， 2008： 536-543.

[5]Krizhevsky A， Sutskever I， Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012： 1097-1105.

[6] Zeiler M D， Fergus R. Visualizing and understanding convolutional networks[C]//European Conference on Computer Vision. Springer International Publishing， 2014： 818-833.

[7] Jarrett K， Kavukcuoglu K， Lecun Y. What is the best multi-stage architecture for object recognition？[C]//2009 IEEE 12th International Conference on Computer Vision. IEEE， 2009： 2146-2153.

卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)范文第2篇

【關(guān)鍵詞】微表情識(shí)別 卷積神經(jīng)網(wǎng)絡(luò) 長(zhǎng)短時(shí)記憶

1 引言

人們的內(nèi)心想法通常都會(huì)表現(xiàn)在面部表情上，然而在一些極端環(huán)境下，人們?yōu)榱藟阂肿约旱恼鎸?shí)內(nèi)心情感時(shí)，他們的面部變化十分微小，我們通常稱(chēng)之為微表情。在刑偵、醫(yī)學(xué)、教育、心理和國(guó)防等領(lǐng)域上，微表情的應(yīng)用前景十分遠(yuǎn)大， 不過(guò)即便是經(jīng)過(guò)訓(xùn)練的人也很難用肉眼來(lái)準(zhǔn)確的檢測(cè)和識(shí)別微表情。其主要原因就是它的持續(xù)時(shí)間短，僅為1/5～1/25s，而且動(dòng)作幅度很小。

人臉表情識(shí)別技術(shù)早已發(fā)展到一定程度了，甚至不少研究團(tuán)隊(duì)提出的方法針對(duì)6種基本表情的識(shí)別率已經(jīng)達(dá)到90%。然而微表情識(shí)別技術(shù)的研究在近幾年來(lái)才剛剛開(kāi)始，如Pfister等提出了一種結(jié)合時(shí)域插值模型和多核學(xué)習(xí)的方法來(lái)識(shí)別微表情； Wu等設(shè)計(jì)了一種使用Gabor特征和支持向量機(jī)的微表情識(shí)別系統(tǒng)；唐紅梅等在LTP做出改進(jìn)而提出的MG-LTP算法，然后采用極限學(xué)習(xí)機(jī)對(duì)微表情進(jìn)行訓(xùn)練和分類(lèi)；Wang等提出了基于判別式張量子空間分析的特征提取方法，并利用極限學(xué)習(xí)機(jī)訓(xùn)練和分類(lèi)微表情。

上述的識(shí)別技術(shù)都是基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法，而近幾年來(lái)，利用深度學(xué)習(xí)技術(shù)來(lái)解決圖像識(shí)別問(wèn)題是當(dāng)前的研究熱點(diǎn)。在ILSVRC-2012圖像識(shí)別競(jìng)賽中，Krizhevsky等利用深度卷積神經(jīng)網(wǎng)絡(luò)的自適應(yīng)特征提取方法，其性能遠(yuǎn)遠(yuǎn)超過(guò)使用人工提取特征的方法，并且在近幾年內(nèi)的ImageNet大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)比賽中連續(xù)刷新了世界紀(jì)錄。

本文決定使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）來(lái)提取人臉微表情特征，它能讓機(jī)器自主地從樣本數(shù)據(jù)中學(xué)習(xí)到表示這些微表情的本質(zhì)特征，而這些特征更具有一般性。由于微表情的特性，要充分利用微表情的上下文信息才能更為精確的識(shí)別微表情，這里我們采用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM），它是遞歸神經(jīng)網(wǎng)絡(luò)（RNN）中的一種變換形式，它能夠充分的利用數(shù)據(jù)的上下文信息，在對(duì)序列的識(shí)別任務(wù)中表現(xiàn)優(yōu)異，近幾年來(lái)它被充分的利用到自然語(yǔ)言處理、語(yǔ)音識(shí)別機(jī)器翻譯等領(lǐng)域。綜上所述，本文提出一種CNN和LSTM結(jié)合的微表情識(shí)別方法。

2 相關(guān)工作

2.1 卷積神經(jīng)網(wǎng)絡(luò)模型

卷積神經(jīng)網(wǎng)絡(luò)模型（CNN）最早是由LeCun等在1990年首次提出，現(xiàn)已在圖像識(shí)別領(lǐng)域取得巨大成功，它能夠發(fā)現(xiàn)隱藏在圖片中的特征，相比人工提取的特征更具有區(qū)分度，而且不需要對(duì)原始數(shù)據(jù)做過(guò)多的預(yù)處理。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）通過(guò)三種方式來(lái)讓網(wǎng)絡(luò)所學(xué)習(xí)到的特征更具有魯棒性：局部感受野、權(quán)值共享和降采樣。局部感受野是指每一個(gè)卷積層的神經(jīng)元只能和上一層的一部分神經(jīng)元連接，而不是一般神經(jīng)網(wǎng)絡(luò)里所要求的全連接，這樣每一個(gè)神經(jīng)元能夠感受到局部的視覺(jué)特征，然后在更高層將局部信息進(jìn)行整合，進(jìn)而得到整個(gè)圖片的描述信息。權(quán)值共享是指每一個(gè)神經(jīng)元和上一層的部分神經(jīng)元所連接的每一條邊的權(quán)值，和當(dāng)前層其他神經(jīng)元和上一層連接的每一條邊的權(quán)值是一樣的，首先@樣減少了需要訓(xùn)練的參數(shù)個(gè)數(shù)，其次我們可以把這種模式作為提取整個(gè)圖片特征的一種方式。降采樣是指通過(guò)將一定范圍內(nèi)的像素點(diǎn)壓縮為一個(gè)像素點(diǎn)，使圖像縮放，減少特征的維度，通常在卷積層之后用來(lái)讓各層所得到的特征具有平移、縮放不變形，從而使特征具有更強(qiáng)的泛化性。

2.2 長(zhǎng)短時(shí)記憶型遞歸神經(jīng)網(wǎng)絡(luò)模型

長(zhǎng)短時(shí)記憶（LSTM）模型是由Hochreiter提出，它解決了傳統(tǒng)RNN在處理長(zhǎng)序列數(shù)據(jù)時(shí)存在的梯度消失問(wèn)題，這一切都要?dú)w結(jié)于LSTM結(jié)構(gòu)的精心設(shè)計(jì)。一個(gè)常規(guī)的LSTM結(jié)構(gòu)如圖1所示。

每一個(gè)LSTM結(jié)構(gòu)都有一個(gè)記憶單元Ct（t表示當(dāng)前時(shí)刻），它保存著這個(gè)時(shí)刻LSTM結(jié)構(gòu)的內(nèi)部狀態(tài)，同時(shí)里面還有三個(gè)門(mén)來(lái)控制整個(gè)結(jié)構(gòu)的變化，它們分別是輸入門(mén)（xt），忘記門(mén)（ft）和輸出門(mén)（ht），它們的定義如下所示：

（1）

（2）

（3）

（4）

（5）

（6）

其中σ是一個(gè)sigmod函數(shù)，而則表示輸入數(shù)據(jù)的非線性變化，W和b是模型需要訓(xùn)練得到的參數(shù)。等式5展示了當(dāng)前的記憶單元是由忘記門(mén)和上一時(shí)刻的內(nèi)部狀態(tài)所控制的，ft決定了上一時(shí)刻的內(nèi)部狀態(tài)對(duì)當(dāng)前時(shí)刻的內(nèi)部狀態(tài)的影響程度，而it則確定了輸入數(shù)據(jù)的非線性變換得到的狀態(tài)對(duì)當(dāng)前時(shí)刻記憶單元的影響程度。等式6展示了輸出門(mén)和當(dāng)前時(shí)刻的內(nèi)部狀態(tài)決定了該LSTM的輸出。正因?yàn)檫@個(gè)巧妙的設(shè)計(jì)，LSTM就能處理長(zhǎng)序列的數(shù)據(jù)，并且能夠從輸入序列中獲取時(shí)間上的關(guān)聯(lián)性，這一特性對(duì)于微表情的識(shí)別尤為重要。

3 網(wǎng)絡(luò)結(jié)構(gòu)調(diào)優(yōu)和改進(jìn)

3.1 卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

本文針對(duì)輸入大小為96×96的灰度圖，構(gòu)建了4個(gè)卷積層（C1，C2，C3，C4），4個(gè)池化層（S1，S2，S3，S4），1個(gè)全連接層（FC1）和1個(gè)Softmax層組成的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如圖2所示。卷積核（C1，C2，C3，C4）的大小分別為3×3，3×3，5×5，5×5，分別有32，32，32，64個(gè)。池化層的降采樣核大小均為2×2，并且全部采用的是最大采樣，每一個(gè)池化層都在對(duì)應(yīng)的卷積層之后，而在所有的卷積層之后，連接了一個(gè)包含256個(gè)神經(jīng)元的全連接層，為了盡可能的避免過(guò)擬合問(wèn)題，本文在全連接層后加入一個(gè)p=0.75的Dropout層，除了softmax層，其余層的激活函數(shù)全部是采用ReLU，CNN的參數(shù)訓(xùn)練都是采用隨機(jī)梯度下降算法，每一批次包含100張圖片，并設(shè)置沖量為0.9，學(xué)習(xí)速率為0.001。

3.2 長(zhǎng)短時(shí)記憶型遞歸神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

盡管CNN已經(jīng)從人臉微表情圖片從學(xué)習(xí)到了特征，但是單一的CNN模型忽略了微表情在時(shí)域上的信息。于是我們提出通過(guò)LSTM來(lái)學(xué)習(xí)不同人臉表情在時(shí)域上的關(guān)聯(lián)特征。我們構(gòu)建了多個(gè)LSTM層，以及一個(gè)softmax層。

我們首先先訓(xùn)練好CNN的參數(shù)，然后把訓(xùn)練好的CNN模型，作為一個(gè)提取人臉微表情的工具，對(duì)于每一幀圖片，我們把最后一個(gè)全連接層的256維的向量輸出作為提取的特征。那么給定一個(gè)時(shí)間點(diǎn)t，我們?nèi)≈暗腤幀圖片（[t-W+1，t]）。然后將這些圖片傳入到訓(xùn)練好的CNN模型中，然后提取出W幀圖片的特征，如果某一個(gè)序列的特征數(shù)目不足，那么用0向量補(bǔ)全，每一個(gè)特征的維度為256，接著將這些圖片的特征依次輸入到LSTM的節(jié)點(diǎn)中去，只有t時(shí)刻，LSTM才會(huì)輸出它的特征到softmax層。同樣LSTM網(wǎng)絡(luò)的參數(shù)訓(xùn)練還是采用隨機(jī)梯度下降算法，每一批次為50個(gè)序列，沖量為0.85，學(xué)習(xí)速率為0.01。

4 實(shí)驗(yàn)

4.1 微表情數(shù)據(jù)集

該實(shí)驗(yàn)的訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)均來(lái)自于中國(guó)科學(xué)院心理研究所傅小蘭團(tuán)隊(duì)的第2代改進(jìn)數(shù)據(jù)庫(kù)CASMEII。該數(shù)據(jù)庫(kù)從26名受試者中捕捉到近3000個(gè)面部動(dòng)作中選取的247個(gè)帶有微表情的視頻，并且給出了微表情的起始和結(jié)束時(shí)間以及表情標(biāo)簽，由于其中悲傷和害怕表情的數(shù)據(jù)量并不多，因此本文選取了里面的5類(lèi)表情（高興，惡心，驚訝，其他，中性），由于數(shù)據(jù)庫(kù)中的圖片尺寸不一樣并且是彩色圖片，因此先將圖片進(jìn)行灰度處理，并歸一化到 大小作為網(wǎng)絡(luò)的輸入。本實(shí)驗(yàn)采用5折交叉驗(yàn)證的方法，選取245個(gè)微表情序列等分成5份，每個(gè)序列的圖片有10張到70張不等，每份均包含5類(lèi)表情。

4.2 CNN+LSTM和CNN的對(duì)比實(shí)驗(yàn)

從圖2中可以看出不同策略在五類(lèi)表情里的識(shí)別率。當(dāng)我們采用單一的CNN模型來(lái)對(duì)人臉微表情進(jìn)行分類(lèi)時(shí)，我們采取了dropout策略和數(shù)據(jù)集擴(kuò)增策略來(lái)防止CNN過(guò)擬合。CNN+D表示采取了dropout策略的CNN模型，CNN+A表示采取了數(shù)據(jù)擴(kuò)增策略的CNN模型， 即對(duì)每一張圖片進(jìn)行了以下四種變換：旋轉(zhuǎn)、水平平移、垂直平移、水平翻轉(zhuǎn)。從而能將數(shù)據(jù)集擴(kuò)增至4倍。CNN+AD表示采取了兩種策略的CNN模型。CNN+LSTM表示結(jié)合了CNN和LSTM的網(wǎng)絡(luò)模型。

從表1中我們可以看出，添加了策略的CNN，在人微表情識(shí)別上的表現(xiàn)要好于沒(méi)有添加策略的CNN，這可能是因?yàn)橛?xùn)練圖片較少，而CNN網(wǎng)絡(luò)層次較深，導(dǎo)致沒(méi)有添加策略的CNN在訓(xùn)練參數(shù)的過(guò)程中很容易就過(guò)擬合了。而對(duì)于CNN+LSTM的表現(xiàn)要好于單一的CNN模型，這說(shuō)明LSTM的確能夠充分利用時(shí)域上的特征信息，從而能夠更好識(shí)別序列數(shù)據(jù)，這證明了CNN+LSTM的模型可以用于識(shí)別人臉微表情的可行性。從表1中，我們還可以看出高興和驚訝的表情識(shí)別率較高，而其他的則相對(duì)較低，這可能是因?yàn)楦吲d和驚訝的區(qū)分度較大，并且樣本較多。

4.3 LSTM的參數(shù)調(diào)整

下面我們逐一的研究不同參數(shù)對(duì)CNN+LSTM模型的微表情識(shí)別率的影響程度。

圖4顯示輸入的序列個(gè)數(shù)為100左右能夠擁有相對(duì)較高的準(zhǔn)確率，這說(shuō)明只有充分利用每一個(gè)微表情序列的時(shí)域信息，這樣，訓(xùn)練出的模型才更加具有一般性。

圖5顯示出當(dāng)LSTM隱層的神經(jīng)元個(gè)數(shù)為128時(shí)，此時(shí)的微表情平均識(shí)別率最高，這說(shuō)明隱層需要足夠多的神經(jīng)元才能保留更長(zhǎng)的時(shí)域信息，對(duì)于微表情識(shí)別來(lái)說(shuō)，能夠擁有更高的精度。

圖6顯示了LSTM隱層的個(gè)數(shù)為5時(shí)，該模型擁有最好的識(shí)別率，這說(shuō)明較深的LSTM網(wǎng)絡(luò)才能充分挖掘特征的時(shí)域信息。因此經(jīng)過(guò)以上實(shí)驗(yàn)，我們得到了一個(gè)由5層LSTM，每一層包含128個(gè)神經(jīng)元，并能夠處理長(zhǎng)度為100的特征序列的模型。

4.4 和非深度學(xué)習(xí)算法的實(shí)驗(yàn)對(duì)比

為了比較傳統(tǒng)機(jī)器學(xué)習(xí)算法和深度學(xué)習(xí)算法孰優(yōu)孰劣，我們使用傳統(tǒng)機(jī)器學(xué)習(xí)算法在Casme2進(jìn)行了一樣的實(shí)驗(yàn)，從表2中可以看出，本文所提出的CNN+LSTM模型相對(duì)于這些傳統(tǒng)機(jī)器學(xué)習(xí)模型，有著較為優(yōu)異的表現(xiàn)。

本文中的實(shí)驗(yàn)均是基于Google的開(kāi)源機(jī)器學(xué)習(xí)庫(kù)TensorFlow上進(jìn)行的，硬件平臺(tái)是dell工作站：Intel（R） Core（TM） i7-5820K CPU、主頻3.3GHZ，內(nèi)存64GB、Nvida GeForce GTX TITAN X GPU、顯存12GB。

5 結(jié)束語(yǔ)

本文針對(duì)傳統(tǒng)方法對(duì)微表情識(shí)別率低，圖片預(yù)處理復(fù)雜的情況，提出了采用卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)（LSTM）結(jié)合的方式，通過(guò)前面的卷積網(wǎng)絡(luò)層來(lái)提取微表情的靜態(tài)特征，省去了傳統(tǒng)機(jī)器學(xué)習(xí)方法，需要人工提取特征的過(guò)程，簡(jiǎn)化了特征提取的工作。然后再通過(guò)后面的遞歸神經(jīng)網(wǎng)路，充分利用表情特征序列的上下文信息，從而在序列數(shù)據(jù)中發(fā)現(xiàn)隱藏在其中的時(shí)域信息，從實(shí)驗(yàn)結(jié)果中可以看出，利用了時(shí)域信息的CNN+LSTM比單純使用CNN的識(shí)別率更高，而且相對(duì)于傳統(tǒng)機(jī)器學(xué)習(xí)方法也更為優(yōu)秀。但是當(dāng)數(shù)據(jù)量越大時(shí)，如果網(wǎng)絡(luò)的層次比較深的話(huà)，模型的訓(xùn)練時(shí)間就會(huì)很長(zhǎng)，并且極度依賴(lài)硬件設(shè)備，這算是深度學(xué)習(xí)通有的弊病。為了進(jìn)一步投入到應(yīng)用中去，接下來(lái)還得提高微表情的識(shí)別率，以及在實(shí)時(shí)環(huán)境下，如何能夠動(dòng)態(tài)和準(zhǔn)確的識(shí)別微表情，這些都將會(huì)是以后研究的重點(diǎn)。

參考文獻(xiàn)

[1]PORTER S，TEN BRINKE L.Reading between the Lies Identifying Concealed and Falsified Emotions in Universal Facial Expressions[J].Psychological Science，2008，19（05）：508-514.

[2]Pfister T，Li X，Zhao G，Pietikainen M （2011） Recognising spontaneous facial micro-expressions.2011 Proc IEEE Int Conf Comput Vis （ICCV）： IEEE.pp.1449-1456.

[3]Wu Q，Shen X，F(xiàn)u X （2011） The Machine Knows What You Are Hiding： An Automatic Micro-expression Recognition System.In： D’Mello S，Graesser A，Schuller B，Martin J-C，editors.Affect Comput Intell Interact.Springer Berlin/ Heidelberg. pp.152-162.

[4]唐紅梅，石京力，郭迎春，韓力英，王霞. 基于MG-LTP與ELM的微表情識(shí)別[J].電視技術(shù)，2015，39（03）：123-126.

[5]WANG S J，CHEN H L，YAN W J，et al. Face Recognition and Micro-Expression Recognition Based on Discriminant Tensor Subspace Analysis Plus Extreme Learning Machine[J].Neural Processing Letters，2014，39（01）：25-43.

[6]Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutional neural networks. In：Advances in Neural Information Processing Systems 25.Lake Tahoe， Nevada，USA：Curran Associates，Inc.， 2012.1097？1105

[7]DENG J，DONG W，SOCHER R，et al.Imagenet：A large-scale hierarchical image database [C]//IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE，2009：248-255.

[8]BENGIO Y，DELALLEAU O.On the expressive power of deep archi-tectures[C]//Proc of the 14th International Conference on Discovery Science.Berlin：Springer-Verlag，2011：18-36.

[9]LeCun Y，Boser B，Denker J S，Howard R E，Hubbard W，Jackel L D，Henderson D.Handwritten digit recogni- tion with a back-propagation network. In： Proceedings of Advances in Neural Information Processing Systems 2. San Francisco，CA，USA：Morgan Kaufmann Publishers Inc.，1990.396-404.

[10]S可.卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別上的應(yīng)用研究[D].杭州：浙江大學(xué)[學(xué)位論文]，2012.

[11]Hochreiter S，Sehmidhuber J.Long Short-Term Memory.Neural Computation，1997，9（08）：1735-1780

[12]LUCEY P，COHN J F，KANADE T，et al.The Extended Cohn-Kanade Dataset （ CK + ）： A complete dataset for ac- tion unit and emotion-specified expression [C] //IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）.New York：IEEE，2010：94-101.

[13]Dayan P，Abott L F.Theoretical Neuroscience.Cambridge：MIT Press， 2001.

[14]YAN W J， LI X， WANG S J， et al. CASME II： An Improved Spontaneous Micro-Expression Database and the Baseline Evaluation [J].Plos One， 2014，9（01）：1-8.

[15]Yandan Wang，John See，Raphael C-W Phan，Yee-Hui Oh. Efficient Spatio-Temporal Local Binary Patterns for Spontaneous Facial Micro-Expression Recognition[J].PLOS ONE，2013，10（05）： 11-12

[16]張軒閣，田彥濤，郭艷君，王美茜.基于光流與LBP-TOP特征結(jié)合的微表情識(shí)別[J].吉林大學(xué)學(xué)報(bào)：信息科學(xué)版， 2015，33（05）：521-522.

[17]Martín Abadi， Paul BarhamJianmin， Chen el.TensorFlow：Large-Scale Machine Learning on Heterogeneous Distributed Systems[EB/OL].https：///abs/1605.08695.

卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)范文第3篇

關(guān)鍵詞：Deep Learning；多隱含層感知；DropConnect；算法

中圖分類(lèi)號(hào)：TP181

Deep Learning是機(jī)器學(xué)習(xí)研究的新領(lǐng)域，它掀起了機(jī)器學(xué)習(xí)領(lǐng)域的第二次浪潮，并受到學(xué)術(shù)界到工業(yè)界高度重視。Deep Learning概念根源于人工神經(jīng)網(wǎng)絡(luò)[3]，它由Geoffrey Hinton等在Science上提出。它致力于建立模擬人腦分析學(xué)習(xí)機(jī)制的多層次神經(jīng)網(wǎng)絡(luò)，并通過(guò)這種網(wǎng)絡(luò)分析解釋數(shù)據(jù)，如視頻、文本和聲音等。Deep Learning的多隱含層使得它具有優(yōu)異的特征學(xué)習(xí)能力，而且學(xué)習(xí)得到的特征對(duì)數(shù)據(jù)有更本質(zhì)的刻畫(huà)，從而有利于可視化或分類(lèi)。它的“逐層初始化”（layer-wise pre-training[4]）可以有效克服深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度。本文在對(duì)Deep Learning算法分析的基礎(chǔ)上，著重闡述了對(duì)Regularization of Neural Networks using DropConnect模型的改進(jìn)。

1 Deep Learning算法分析

1.1 Deep Learning多隱含層感知架構(gòu)

Deep Learning算法最優(yōu)秀特征是多隱含層感知器架構(gòu)，這種架構(gòu)通過(guò)組合低層特征來(lái)形成更加抽象的高層屬性類(lèi)別或特征，并實(shí)現(xiàn)對(duì)數(shù)據(jù)分布式表示。Deep Learning的多隱含層結(jié)構(gòu)是由輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)（如圖1所示），只有相鄰層神經(jīng)元之間有連接，同一層以及跨層節(jié)點(diǎn)之間相互無(wú)連接，每一層可以看作是一個(gè)淺層機(jī)器學(xué)習(xí)模型（如logistic regression，Support Vector Machines）。

圖1 含多個(gè)隱含層的Deep Learning模型

Deep Learning的多隱含層感知結(jié)構(gòu)模擬的是人腦的大腦皮層工作。人大腦皮層計(jì)算也是分多層進(jìn)行[5]，例如圖像在人腦中是分多個(gè)階段處理，首先是進(jìn)入大腦皮層V1區(qū)提取邊緣特征，然后進(jìn)入大腦皮層V2區(qū)抽象成圖像的形狀或者部分，再到更高層，以此類(lèi)推。高層的特征是由底層組合而成。使用含多隱含層感知器架構(gòu)網(wǎng)絡(luò)主要優(yōu)勢(shì)在于它能以更簡(jiǎn)潔的方式表達(dá)比淺層網(wǎng)絡(luò)大得多的函數(shù)關(guān)系（如圖2）。通過(guò)這種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，Deep Learning可以實(shí)現(xiàn)復(fù)雜函數(shù)的逼近，表征輸入數(shù)據(jù)的分布式表示，并展現(xiàn)了強(qiáng)大的從少數(shù)樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力。

圖2 多層次實(shí)現(xiàn)復(fù)雜函數(shù)圖

1.2 Deep Learning訓(xùn)練過(guò)程

（1）首先逐層構(gòu)建單層神經(jīng)元，使得每次都是訓(xùn)練一個(gè)單層網(wǎng)絡(luò)。

（2）當(dāng)所有層訓(xùn)練完后，使用Wake-Sleep算法[6]進(jìn)行調(diào)優(yōu)。

將除最頂層的其它層間的權(quán)重是雙向的。向上的權(quán)重用于“認(rèn)知”，向下的權(quán)重用于“生成”。然后使用Wake-Sleep算法調(diào)整所有的權(quán)重。讓“認(rèn)知”和“生成”達(dá)成一致，也就是保證生成的最頂層表示能夠盡可能正確的復(fù)原底層的結(jié)點(diǎn)。

1.3 Deep Learning數(shù)據(jù)處理一般過(guò)程

Deep Learning算法通過(guò)傳感器等方式獲得數(shù)據(jù)之后，首先對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。在數(shù)據(jù)預(yù)處理中，標(biāo)準(zhǔn)的第一步是數(shù)據(jù)歸一化處理，第二步是數(shù)據(jù)白化處理（如PCA白化和ZCA白化）。其次特征提取和特征選擇。然后將輸出作為下層的輸入，不斷進(jìn)行特征提取和特征選擇，直到學(xué)習(xí)到合符要求的最佳特征。在特征提取和特征選擇過(guò)程中，常用自動(dòng)編碼、稀疏編碼、聚類(lèi)算法、限制波爾茲曼機(jī)、卷積神經(jīng)網(wǎng)絡(luò)等算法進(jìn)行特征提取和特征選擇。然后用反向傳播算法、隨機(jī)梯度下降算法、批量梯度下降算法等進(jìn)行調(diào)優(yōu)處理，再用池化等算法避免特征過(guò)度擬合，從而得到最終提取特征。最后將學(xué)習(xí)到的最終提取特征輸入到分類(lèi)器（如softmax分類(lèi)器，logistic回歸分類(lèi)器）進(jìn)行識(shí)別、推理或預(yù)測(cè)。

2 基于Regularization of Neural Networks using DropConnect模型改進(jìn)

2.1 Regularization of Neural Networks using DropConnect模型[2]

該模型的四個(gè)基本組成成分是：

（1）特征提?。簐=g（x；Wg）。x是輸入層的輸入數(shù)據(jù)，Wg是特征提取函數(shù)的參數(shù)，v是輸出的提取特征，特征提取函數(shù)g（）。其中g(shù)（）為多層卷積神經(jīng)網(wǎng)絡(luò)算法函數(shù)，而Wg卷積神經(jīng)網(wǎng)絡(luò)的偏值。

（2）DropConnect層：r=a（u）=a（（M*W）v）如圖3。v是輸出的提取特征，W是完全連接的權(quán)重矩陣，M是二進(jìn)制掩碼矩陣，該矩陣的每個(gè)元素隨機(jī)的以1-p概率設(shè)置為0或以p概率設(shè)置為1，a（）是一個(gè)非線性激活函數(shù)，r是輸出向量。M*W是矩陣對(duì)應(yīng)元素相乘。

（3）Softmax分類(lèi)器層：o=s（r；Ws）。將r映射到一個(gè)k維的輸出矩陣（k是類(lèi)的個(gè)數(shù)），Ws是softmax分類(lèi)函數(shù)的參數(shù)。

（4）交叉熵?fù)p失：A（y，o）=-∑yi（oi），i∈1，2，3…k。y是標(biāo)簽，o是概率。

圖3 DropConnect示意圖

2.2 模型改進(jìn)描述和分析

對(duì)DropConnect模型的改進(jìn)主要集中在上面它的四個(gè)基本組成成分中的DropConnect層。由于該層以隨機(jī)方式讓掩碼矩陣M的每個(gè)元素Mij按1-p的概率設(shè)置為0，然后讓掩碼矩陣與層間的權(quán)重矩陣對(duì)應(yīng)相乘即M*W。相對(duì)DropOut模型r=a（（M*（Wv））得到的特征，r=a（（M*W）v）得到的特征是比較好的特征r，同時(shí)也提高算法的泛化性。因?yàn)镈ropconnect模型在權(quán)重W和v運(yùn)算之前，將權(quán)重以一定的概率稀疏了，從運(yùn)行結(jié)果看整體算法的錯(cuò)誤率降低了。但是，由于是隨機(jī)的讓Mij按1-p的概率為0，并且這種隨機(jī)是不可以預(yù)測(cè)的，故可能會(huì)導(dǎo)致某些重要特征對(duì)應(yīng)的權(quán)重被屏蔽掉，最終造成輸出ri的準(zhǔn)確性降低。故就此提出了新的設(shè)計(jì)思想。

改進(jìn)思想是用單層稀疏編碼層代替DropConnect層，通過(guò)稀疏編碼訓(xùn)練出一組最佳稀疏的特征。具體描述：讓經(jīng)過(guò)多層卷積神經(jīng)網(wǎng)絡(luò)提取到的特征v作為稀疏編碼的輸入，經(jīng)過(guò)稀疏編碼重復(fù)訓(xùn)練迭代，最終得到最佳的稀疏的特征r。因?yàn)橄∈杈幋a算法是一種無(wú)監(jiān)督學(xué)習(xí)方法，用它可以尋找出一組“超完備”基向量來(lái)更高效地表示輸入數(shù)據(jù)。

總之任何對(duì)Deep Learning算法的改進(jìn)，都是為了提取出最佳特征，并使用優(yōu)秀的分類(lèi)算法來(lái)分類(lèi)、預(yù)測(cè)或推理，最終降低算法的錯(cuò)誤率。而對(duì)于怎樣改進(jìn)算法，以何種方式降低錯(cuò)誤率，則沒(méi)有具體的限制。并且各種提取特征和特征選擇的算法之間并不是互斥的，它們之間可以有各種形式的嵌套，最終的目標(biāo)都是提高算法的正確率和效率。

3 結(jié)束語(yǔ)

Deep Learning使得語(yǔ)音、圖像和文本等的智能識(shí)別和理解取得驚人進(jìn)展，如Google Brain項(xiàng)目和微軟推同聲傳譯系統(tǒng)。它極大地推動(dòng)了人工智能和人機(jī)交互快速發(fā)展。隨著從學(xué)術(shù)界到工業(yè)界的廣泛重視，Deep Learning算法的改進(jìn)依然在繼續(xù)，Deep Learning算法的正確率和效率仍在不斷提高。Deep Learning的發(fā)展將加快“大數(shù)據(jù)+深度模型”時(shí)代來(lái)臨。

參考文獻(xiàn)：

[1]Hinton G E，Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science，2006（5786）：504-507

[2]湯姆?米切爾.機(jī)器學(xué)習(xí)[M].北京：機(jī)械工業(yè)出版社，2003：1-280.

[3]吳昌友.神經(jīng)網(wǎng)絡(luò)的研究及應(yīng)用[D].哈爾濱：東北農(nóng)業(yè)大學(xué)，2007.

[4]HINTON G，OSINDERO S，TEH Y. A fast learning algorithm for deep belief nets[J].Neural Computation，2006（07）：1527-1554.

[5]Hubel D H， Wiesel T N. Receptive fields，binocular interaction and functional architecture in the cat's visual cortex[J].The Journal of physiology，1962（01）：106.

[6]Chuang Gao，Bin Chen，Wei Wei.Dynamic detection of wake-sleep transition with reaction time-magnitude[J].Neural Regenerattion Research，2009（07）：552-560.

卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)范文第4篇

（廣東外語(yǔ)外貿(mào)大學(xué) 金融學(xué)院，廣東 廣州 510006）

摘 要：作為一個(gè)具有巨大應(yīng)用前景研究方向，深度學(xué)習(xí)無(wú)論是在算法研究，還是在實(shí)際應(yīng)用（如語(yǔ)音識(shí)別，自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)）中都表現(xiàn)出其強(qiáng)大的潛力和功能.本文主要介紹這種深度學(xué)習(xí)算法，并介紹其在金融領(lǐng)域的領(lǐng)用.

關(guān)鍵詞 ：深度學(xué)習(xí)；受限波茲曼機(jī)；堆棧自編碼神經(jīng)網(wǎng)絡(luò)；稀疏編碼；特征學(xué)習(xí)

中圖分類(lèi)號(hào)：TP181 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1673-260X（2015）01-0037-03

1 深度學(xué)習(xí)的研究意義

深度學(xué)習(xí)是一類(lèi)新興的多層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，因其緩解了傳統(tǒng)訓(xùn)練算法的局部最小性，引起機(jī)器學(xué)習(xí)領(lǐng)域的廣泛關(guān)注.深度學(xué)習(xí)的特點(diǎn)是，通過(guò)一系列邏輯回歸的堆棧作為運(yùn)算單元，對(duì)低層數(shù)據(jù)特征進(jìn)行無(wú)監(jiān)督的再表示（該過(guò)程稱(chēng)為預(yù)學(xué)習(xí)），形成更加抽象的高層表示(屬性類(lèi)別或特征)，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示.深度學(xué)習(xí)的這種特性由于與腦神經(jīng)科學(xué)理論相一致，因此被廣泛應(yīng)用于語(yǔ)音識(shí)別、自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)等領(lǐng)域.

生物學(xué)研究表明[1]：在生物神經(jīng)元突觸的輸出變化與輸入脈沖的持續(xù)時(shí)間有關(guān)，即依賴(lài)于持續(xù)一定時(shí)間的輸入過(guò)程，輸出信號(hào)既依賴(lài)于輸入信號(hào)的空間效應(yīng)和閾值作用，也依賴(lài)于時(shí)間總和效應(yīng).

傳統(tǒng)的深度學(xué)習(xí)方法雖然較好地模擬了生物神經(jīng)元的一個(gè)重要特性——空間總和效應(yīng)上的深度，卻忽視了生物神經(jīng)元的另一個(gè)重要特性——時(shí)間總和效應(yīng)上的寬度[2].因此，對(duì)于連續(xù)的時(shí)間變量問(wèn)題（如語(yǔ)音識(shí)別），傳統(tǒng)深度學(xué)習(xí)方法只能將連續(xù)的時(shí)間函數(shù)關(guān)系轉(zhuǎn)化為空間關(guān)系，即離散化為時(shí)間序列進(jìn)行處理.這樣做有幾個(gè)弊端：

（1）可能造成深度學(xué)習(xí)算法對(duì)時(shí)間采樣頻率的十分敏感，魯棒性較差.這使得，不同時(shí)間尺度下，需要使用不同的數(shù)據(jù)和算法.這無(wú)疑是十分不方便的；

（2）導(dǎo)致深度網(wǎng)絡(luò)規(guī)模過(guò)大，使得計(jì)算開(kāi)銷(xiāo)增大、學(xué)習(xí)效果變差、泛化性能降低；

（3）難以滿(mǎn)足實(shí)際應(yīng)用對(duì)算法的實(shí)時(shí)性的要求，更難以體現(xiàn)連續(xù)輸入信息的累積效應(yīng)，大大降低深度學(xué)習(xí)算法的實(shí)用性.

因此，對(duì)傳統(tǒng)的深度學(xué)習(xí)算法進(jìn)行改進(jìn)，使其不但具有“深度”，亦能具有“寬度”，能夠?qū)B續(xù)時(shí)變數(shù)據(jù)進(jìn)行更好的特征提取、提高算法效率和實(shí)用性，顯得勢(shì)在必行.基于這個(gè)切入點(diǎn)，本項(xiàng)目借鑒時(shí)頻分析與小波分析中的方法，結(jié)合數(shù)學(xué)分析領(lǐng)域中的泛函分析技術(shù)，與堆棧自編碼神經(jīng)網(wǎng)絡(luò)相結(jié)合，提出一種新的深度學(xué)習(xí)算法——深度泛函網(wǎng)絡(luò).為了驗(yàn)證算法的有效性及優(yōu)越性，本項(xiàng)目將把新算法應(yīng)用于金融時(shí)間序列的領(lǐng)域.

在目前國(guó)內(nèi)外對(duì)于深度學(xué)習(xí)的研究中，幾乎沒(méi)有任何將深度學(xué)習(xí)技術(shù)運(yùn)用于金融數(shù)據(jù)的研究.通過(guò)提出并運(yùn)用得當(dāng)?shù)纳疃刃蛄袑W(xué)習(xí)方法，我們期望從金融數(shù)據(jù)中抽取更高級(jí)的、具有經(jīng)濟(jì)學(xué)意義或預(yù)測(cè)性意義的高級(jí)特征（與人工設(shè)計(jì)的“技術(shù)指標(biāo)”相對(duì)應(yīng)），并開(kāi)發(fā)相應(yīng)的量化交易策略，并與其它傳統(tǒng)算法進(jìn)行對(duì)比，以說(shuō)明所提算法的可行性和優(yōu)越性.

2 國(guó)內(nèi)外研究現(xiàn)狀

人類(lèi)感知系統(tǒng)具有的層次結(jié)構(gòu)，能夠提取高級(jí)感官特征來(lái)識(shí)別物體（聲音），因而大大降低了視覺(jué)系統(tǒng)處理的數(shù)據(jù)量，并保留了物體有用的結(jié)構(gòu)信息.對(duì)于要提取具有潛在復(fù)雜結(jié)構(gòu)規(guī)則的自然圖像、視頻、語(yǔ)音和音樂(lè)等結(jié)構(gòu)豐富數(shù)據(jù)，人腦獨(dú)有的結(jié)構(gòu)能夠獲取其本質(zhì)特征[3].受大腦結(jié)構(gòu)分層次啟發(fā)，神經(jīng)網(wǎng)絡(luò)研究人員一直致力于多層神經(jīng)網(wǎng)絡(luò)的研究.訓(xùn)練多層網(wǎng)絡(luò)的算法以BP算法為代表，其由于局部極值、權(quán)重衰減等問(wèn)題，對(duì)于多于2個(gè)隱含層的網(wǎng)絡(luò)的訓(xùn)練就已較為困難[4]，這使得實(shí)際應(yīng)用中多以使用單隱含層神經(jīng)網(wǎng)絡(luò)居多.

該問(wèn)題由Hinton[5]所引入的逐層無(wú)監(jiān)督訓(xùn)練方法所解決.具體地，該法對(duì)深度神經(jīng)網(wǎng)絡(luò)中的每一層貪婪地分別進(jìn)行訓(xùn)練：當(dāng)前一層被訓(xùn)練完畢后，下一層網(wǎng)絡(luò)的權(quán)值通過(guò)對(duì)該層的輸入（即前一層的輸出）進(jìn)行編碼（Encoding，詳見(jiàn)下文）而得到.當(dāng)所有隱含層都訓(xùn)練完畢后，最后將使用有監(jiān)督的方法對(duì)整個(gè)神經(jīng)網(wǎng)絡(luò)的權(quán)值再進(jìn)行精確微調(diào).在Hinton的原始論文中，逐層貪婪訓(xùn)練是通過(guò)受限波茲曼機(jī)（Restricted Boltzmann Machine,RBM）以及相對(duì)應(yīng)的對(duì)比散度方法（Contrastive Divergence）完成的.與通常的神經(jīng)元不同，RBM是一種概率生成模型，通常被設(shè)計(jì)為具有二元輸入-輸出（稱(chēng)為Bernoulli-Bernoulli RBM）.通過(guò)對(duì)每一層的受限波茲曼機(jī)進(jìn)行自底向上的堆棧（如圖1），可以得到深度信念網(wǎng)（Deep Belief Network,DBN）.

除了生成式的RBM，還有其他的深度學(xué)習(xí)結(jié)構(gòu)被廣泛使用和研究.如堆棧自編碼神經(jīng)網(wǎng)絡(luò)（Stacked Auto-Encoder Network,SAEN）[6],以及深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Network）[7]等.前者的優(yōu)勢(shì)在于可以簡(jiǎn)單地采用通常的BP算法進(jìn)行逐層預(yù)訓(xùn)練，并且引入隨機(jī)化過(guò)程的抗噪聲自編碼網(wǎng)絡(luò)（Denoising SAEN）泛化性能甚至超過(guò)DBN[8]；而后者則通過(guò)權(quán)值共享結(jié)構(gòu)減少了權(quán)值的數(shù)量，使圖像可以直接作為輸入，對(duì)平移、伸縮、傾斜等的變形具有高度不變性，因此在圖像識(shí)別領(lǐng)域有著廣泛應(yīng)用.

近年來(lái)，稀疏編碼（Sparse Encoding）和特征學(xué)習(xí)（Feature Learning）成為了深度學(xué)習(xí)領(lǐng)域較為熱門(mén)的研究方向.B.A.Olshausen[9]等針對(duì)人腦的視覺(jué)感知特性，提出稀疏編碼的概念.稀疏編碼算法是一種無(wú)監(jiān)督學(xué)習(xí)方法，它用來(lái)尋找一組“過(guò)完備”的基向量來(lái)更高效地表示輸入數(shù)據(jù)的特征，更有效地挖掘隱含在輸入數(shù)據(jù)內(nèi)部的特征與模式.針對(duì)稀疏編碼的求解問(wèn)題，H.Lee等在2007年提出了一種高效的求解算法[10]，該算法通過(guò)迭代地求解兩個(gè)不同的凸規(guī)劃問(wèn)題以提高效率.同年，H.Lee等發(fā)現(xiàn)，當(dāng)訓(xùn)練樣本為圖像時(shí)，對(duì)DBN的訓(xùn)練進(jìn)行稀疏性的約束有利于算法學(xué)習(xí)到更高級(jí)的特征[11].例如，對(duì)手寫(xiě)識(shí)別數(shù)據(jù)集進(jìn)行訓(xùn)練時(shí)，稀疏性約束下的DBN算法自主學(xué)習(xí)到了“筆畫(huà)”的概念.

基于[10,11]的研究成果，R.Raina等[12]提出了“自導(dǎo)師學(xué)習(xí)（Self-Taught Learning）”的概念.與無(wú)監(jiān)督學(xué)習(xí)（Unsupervised Learning）和半監(jiān)督學(xué)習(xí)（Semi-supervised Learning）不同，自導(dǎo)師學(xué)習(xí)利用大量易獲得的無(wú)標(biāo)簽數(shù)據(jù)（可以來(lái)自不同類(lèi)別甚至是未知類(lèi)別），通過(guò)稀疏編碼算法來(lái)構(gòu)建特征的高級(jí)結(jié)構(gòu)，并通過(guò)支持向量機(jī)（Support Vector Machine,SVM）作為最終層分類(lèi)器對(duì)少數(shù)有標(biāo)簽數(shù)據(jù)進(jìn)行分類(lèi).這種更接近人類(lèi)學(xué)習(xí)方式的模式極大提高了有標(biāo)簽數(shù)據(jù)的分類(lèi)準(zhǔn)確度.與之類(lèi)似，H.Lee,R.Grosse等[13]提出了一種具有層次結(jié)構(gòu)的特征學(xué)習(xí)算法.該算法將卷積神經(jīng)網(wǎng)絡(luò)與DBN結(jié)合，并通過(guò)稀疏正則化（Sparsity Regularization）的手段無(wú)監(jiān)督地學(xué)習(xí)層次化的特征表征.圖像識(shí)別實(shí)驗(yàn)表明，該算法能夠自主學(xué)習(xí)得出“物體（Object Parts）”的概念，較好體現(xiàn)了人腦視覺(jué)感知的層次性和抽象性.

3 發(fā)展趨勢(shì)

由于信號(hào)處理、語(yǔ)音識(shí)別、金融時(shí)間序列分析、視頻分析等領(lǐng)域的實(shí)時(shí)應(yīng)用需求，研究能夠處理連續(xù)時(shí)變變量、自然體現(xiàn)時(shí)間聯(lián)系結(jié)構(gòu)的深度學(xué)習(xí)算法（即深度序列學(xué)習(xí)，Deep Sequence Learning）成為了新的研究熱點(diǎn).G.W.Taylor,G.E.Hinton等[14]提出時(shí)間受限波茲曼機(jī)（Temporal RBM,TRBM）.該模型使用二值隱含元和實(shí)值可視元，并且其隱含元和可視元可以與過(guò)去一段歷史的可視元之間可以有向地被相連.同時(shí)，該模型被用于人類(lèi)動(dòng)作識(shí)別，并展現(xiàn)出了優(yōu)秀的性能.針對(duì)TRBM的一些不足，一些改進(jìn)算法也不斷涌現(xiàn)，如[15,16].然而，該類(lèi)深度學(xué)習(xí)模型雖然考慮了動(dòng)態(tài)的時(shí)間變量之間的聯(lián)系，但依然只能處理離散時(shí)間問(wèn)題，本質(zhì)上還是屬于轉(zhuǎn)化為空間變量的化歸法.同時(shí)，在自編碼網(wǎng)絡(luò)框架下，依然缺乏較好解決時(shí)間過(guò)程（序列）問(wèn)題的方案.

4 金融時(shí)序數(shù)據(jù)中的應(yīng)用

傳統(tǒng)金融理論認(rèn)為，金融市場(chǎng)中的證券價(jià)格滿(mǎn)足伊藤過(guò)程，投資者無(wú)法通過(guò)對(duì)歷史數(shù)據(jù)的分析獲得超額利潤(rùn).然而，大量實(shí)證研究卻表明，中國(guó)股票價(jià)格波動(dòng)具有長(zhǎng)期記憶性，拒絕隨機(jī)性假設(shè)，在各種時(shí)間尺度上都存在的可以預(yù)測(cè)的空間.因此，如何建立預(yù)測(cè)模型，對(duì)于揭示金融市場(chǎng)的內(nèi)在規(guī)律，這無(wú)論是對(duì)于理論研究，還是對(duì)于國(guó)家的經(jīng)濟(jì)發(fā)展和廣大投資者，都具有重要的意義.

股票市場(chǎng)是一個(gè)高度復(fù)雜的非線性系統(tǒng)，其變化既有內(nèi)在的規(guī)律性，同時(shí)也受到市場(chǎng)，宏觀經(jīng)濟(jì)環(huán)境，以及非經(jīng)濟(jì)原因等諸多因素的影響.目前國(guó)內(nèi)外對(duì)證券價(jià)格進(jìn)行預(yù)測(cè)的模型大致分為兩類(lèi)：一是以時(shí)間序列為代表的統(tǒng)計(jì)預(yù)測(cè)模型；該類(lèi)方法具有堅(jiān)實(shí)的統(tǒng)計(jì)學(xué)基礎(chǔ)，但由于金融價(jià)格數(shù)據(jù)存在高噪聲、波動(dòng)大、高度非線性等特征，使得該類(lèi)傳統(tǒng)方法無(wú)法提供有效的工具.另一類(lèi)是以神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等模型為代表的數(shù)據(jù)挖掘模型.該類(lèi)模型能夠處理高度非線性的數(shù)據(jù)，基本上從擬合的角度建模.雖然擬合精度較高，但擬合精度的微小誤差往往和市場(chǎng)波動(dòng)互相抵消，導(dǎo)致無(wú)法捕捉獲利空間甚至導(dǎo)致?lián)p失，外推預(yù)測(cè)效果無(wú)法令人滿(mǎn)意.因此，建立即能夠處理非線性?xún)r(jià)格數(shù)據(jù)，又有良好泛化能力的預(yù)測(cè)模型勢(shì)在必行.

——————————

參考文獻(xiàn)：

〔1〕Zhang L I, Tao H W, Holt C E, et al. A critical window for cooperation and competition among developing retinotectal synapses[J]. Nature, 1998, 395(6697).

〔2〕37-44.歐陽(yáng)楷,鄒睿.基于生物的神經(jīng)網(wǎng)絡(luò)的理論框架——神經(jīng)元模型[J].北京生物醫(yī)學(xué)工程,1997,16(2):93-101.

〔3〕Rossi A F, Desimone R, Ungerleider L G. Contextual modulation in primary visual cortex of macaques[J]. the Journal of Neuroscience, 2001, 21(5): 1698-1709.

〔4〕Bengio Y. Learning deep architectures for AI[J]. Foundations and trends? in Machine Learning, 2009, 2(1):1-127.

〔5〕Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural computation, 2006, 18(7): 1527-1554.

〔6〕Vincent P, Larochelle H, Bengio Y, et al. Extracting and composing robust features with denoising autoencoders[C]//Proceedings of the 25th international conference on Machine learning. ACM, 2008: 1096-1103.

〔7〕Lee H, Grosse R, Ranganath R, et al. Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations[C]//Proceedings of the 26th Annual International Conference on Machine Learning. ACM, 2009: 609-616.

〔8〕Vincent P, Larochelle H, Lajoie I, et al. Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion[J]. The Journal of Machine Learning Research, 2010, 9999: 3371-3408.

〔9〕Olshausen B A, Field D J. Sparse coding with an overcomplete basis set: A strategy employed by V1?[J]. Vision research, 1997, 37(23): 3311-3325.

〔10〕Lee H, Battle A, Raina R, et al. Efficient sparse coding algorithms[J]. Advances in neural information processing systems, 2007, 19: 801.

〔11〕Lee H, Ekanadham C, Ng A Y. Sparse deep belief net model for visual area V2[C]//NIPS. 2007, 7: 873-880.

〔12〕Raina R, Battle A, Lee H, et al. Self-taught learning: transfer learning from unlabeled data[C]//Proceedings of the 24th international conference on Machine learning. ACM, 2007: 759-766.

〔13〕Lee H, Grosse R, Ranganath R, et al. Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations[C]//Proceedings of the 26th Annual International Conference on Machine Learning. ACM, 2009: 609-616.

〔14〕Taylor G W, Hinton G E, Roweis S T. Modeling human motion using binary latent variables[J]. Advances in neural information processing systems, 2007, 19: 1345.

卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)范文第5篇

關(guān)鍵詞：智能科學(xué)與技術(shù)；興趣導(dǎo)向；逆向教學(xué)

0引言

智能科學(xué)與技術(shù)是信息科學(xué)與技術(shù)的核心、前沿與制高點(diǎn)，也是整個(gè)現(xiàn)代科學(xué)技術(shù)體系的頭腦中樞，是現(xiàn)代科學(xué)技術(shù)創(chuàng)新的引領(lǐng)和示范，是現(xiàn)代社會(huì)（包括經(jīng)濟(jì)、社會(huì)、文化、民生、國(guó)防等）走向智能化的主導(dǎo)技術(shù)支柱。在越來(lái)越激烈尖銳的國(guó)際競(jìng)爭(zhēng)環(huán)境中，智能科學(xué)與技術(shù)水平已經(jīng)成為一個(gè)國(guó)家綜合國(guó)力與科技實(shí)力的標(biāo)志。智能科學(xué)與技術(shù)的發(fā)展和智能科學(xué)與技術(shù)學(xué)科的人才培養(yǎng)，不僅僅是智能科學(xué)與技術(shù)研究與教育本身的事情，更是關(guān)系到整個(gè)社會(huì)智能化發(fā)展優(yōu)劣的大事情，也是關(guān)系到整個(gè)國(guó)家強(qiáng)弱興衰的大事情。

科技發(fā)展，關(guān)鍵在于人才。在新的發(fā)展機(jī)遇下，國(guó)家對(duì)智能科學(xué)與技術(shù)專(zhuān)門(mén)人才的需求更加旺盛。因此，如何促進(jìn)智能科學(xué)與技術(shù)教學(xué)方式的改革是培養(yǎng)厚基礎(chǔ)、高層次的智能科學(xué)與技術(shù)人才的基本途徑。智能科學(xué)與技術(shù)教學(xué)方式的改革，不僅發(fā)展智能科學(xué)與技術(shù)本身，而且對(duì)受教育者創(chuàng)新能力的提高也至關(guān)重要。

目前，網(wǎng)絡(luò)的普及與全社會(huì)信息化程度的提高，對(duì)我國(guó)人才培養(yǎng)提出了更高的要求，特別是高校在課堂教學(xué)方面，部分原有教材及培養(yǎng)模式亟待調(diào)整。以智能科學(xué)與技術(shù)為代表的前沿新興學(xué)科，在學(xué)科發(fā)展途徑、應(yīng)用技術(shù)轉(zhuǎn)化及從業(yè)人員年齡、成長(zhǎng)環(huán)境等方面，均與很多傳統(tǒng)學(xué)科存在較大的差異，而使用傳統(tǒng)教學(xué)方式進(jìn)行人才培養(yǎng)，也出現(xiàn)了一些水土不服的現(xiàn)象。

1教學(xué)理念的改變

相對(duì)于傳統(tǒng)學(xué)科，智能科學(xué)與技術(shù)從業(yè)人員平均年齡顯現(xiàn)出年輕化的特點(diǎn)，且由于從業(yè)人員及學(xué)生普遍年齡較輕，在他們的成長(zhǎng)過(guò)程中，外在環(huán)境相對(duì)寬松，自由、平等的理念在他們的成長(zhǎng)過(guò)程中不斷被提及和強(qiáng)化。傳統(tǒng)“教師講、學(xué)生聽(tīng)”的演講式講授方式雖然能夠在一定時(shí)間內(nèi)讓學(xué)生了解大量信息，但學(xué)生接收到的大部分信息只停留在記憶層面，很難上升到理解層面，導(dǎo)致學(xué)生只是被動(dòng)的“填鴨式”接受。

在科技發(fā)達(dá)、網(wǎng)絡(luò)互聯(lián)的今天，人們不是自投羅網(wǎng)就是被網(wǎng)羅其中，知識(shí)獲取的渠道不再局限于紙質(zhì)媒介和言傳身教，更多來(lái)自于電子資源及網(wǎng)絡(luò)媒介，教師和學(xué)生獲取知識(shí)的途徑及資源差異越來(lái)越小，在知識(shí)量、閱歷等方面縮小了師生間的差距，師生之間傳統(tǒng)的信息不對(duì)稱(chēng)差距逐步縮小，導(dǎo)致教師在知識(shí)積淀上沒(méi)有了絕對(duì)優(yōu)勢(shì)。

與此同時(shí)，逐步深入青年學(xué)生內(nèi)心的自由、平等觀念對(duì)中國(guó)傳統(tǒng)的尊師重道思想帶來(lái)了不小的沖擊。在當(dāng)今開(kāi)放的網(wǎng)絡(luò)環(huán)境下，針對(duì)新興時(shí)代的學(xué)生，傳統(tǒng)習(xí)俗中的師長(zhǎng)觀念由于知識(shí)獲取渠道的平等化而缺乏強(qiáng)有力的現(xiàn)實(shí)支撐，教師的身份權(quán)威性和知識(shí)權(quán)威性都受到了不同程度的質(zhì)疑，繼續(xù)使用“填鴨式”“訓(xùn)導(dǎo)式”教學(xué)方式，將會(huì)事倍功半。

因此，針對(duì)新興學(xué)科，一線教師需要進(jìn)行教學(xué)理念上的修正，特別是教師應(yīng)順應(yīng)培養(yǎng)對(duì)象的整體特點(diǎn)，基于自由和平等的觀念進(jìn)行自我定位，以交流討論式代替居高臨下布施式的教學(xué)觀念，充分與學(xué)生打成一片，以便更好地調(diào)動(dòng)學(xué)生的思維，引導(dǎo)學(xué)生進(jìn)行主動(dòng)思考和主動(dòng)學(xué)習(xí)。

2教學(xué)素材的改進(jìn)與提高

當(dāng)今時(shí)代是知識(shí)爆炸的時(shí)代，科學(xué)技術(shù)日新月異，新知識(shí)、新成果層出不窮，特別是智能科學(xué)與技術(shù)這一前沿學(xué)科，正在向理論創(chuàng)新和大規(guī)模實(shí)際應(yīng)用發(fā)展，新理論、新方法不斷被提出并驗(yàn)證，新模型、新實(shí)例、新應(yīng)用不斷產(chǎn)出。

“教學(xué)素材對(duì)教育理念的滲透發(fā)揮著重要作用，它已經(jīng)成為促進(jìn)或阻礙教學(xué)模式轉(zhuǎn)變的活躍而關(guān)鍵的要素。隨著新時(shí)代知識(shí)的快速更新?lián)Q代和知識(shí)面的不斷拓寬，教學(xué)素材是否優(yōu)秀的標(biāo)準(zhǔn)不僅僅是包含多少知識(shí)，更重要的是包含多少最新的知識(shí)；不僅僅是傳遞解決問(wèn)題的方法，更重要的是傳遞超前、新穎的解決問(wèn)題的方法。

當(dāng)今學(xué)生知識(shí)涉獵面廣，現(xiàn)有的網(wǎng)絡(luò)環(huán)境也為他們提供了很好的平臺(tái)，如果他們已經(jīng)獲取的知識(shí)及應(yīng)用的先進(jìn)程度遠(yuǎn)遠(yuǎn)超過(guò)課本素材羅列的知識(shí)，將會(huì)極大地削弱他們對(duì)本學(xué)科的興趣，進(jìn)而影響課堂教學(xué)效果。

此外，作為智能科學(xué)與技術(shù)這一前沿學(xué)科的教學(xué)素材，必須體現(xiàn)出時(shí)代性、開(kāi)放性、多元性與全面性。因此，教學(xué)過(guò)程中所采用素材的改進(jìn)和提高，應(yīng)該向著不斷更新、與時(shí)俱進(jìn)的方向靠攏，教師應(yīng)該不斷將最新理論、最新方法、最新應(yīng)用融合于一線基礎(chǔ)教學(xué)過(guò)程中，使學(xué)生在學(xué)習(xí)過(guò)程中始終緊跟前沿技術(shù)的發(fā)展，在未來(lái)工作中能更快、更好地融入行業(yè)中。

3教學(xué)方式的轉(zhuǎn)變

目前，學(xué)生群體主要為90后，高校即將迎來(lái)00后，他們成長(zhǎng)過(guò)程中的家庭環(huán)境和社會(huì)環(huán)境與早期學(xué)生相比更為平等和寬松，他們的學(xué)習(xí)需求也由目標(biāo)導(dǎo)向型逐步演化為興趣導(dǎo)向型。因此，如何激發(fā)學(xué)生的興趣，進(jìn)而以興趣為基礎(chǔ)激發(fā)學(xué)生自主學(xué)習(xí)的動(dòng)力，將是教學(xué)效果事半功倍的途徑。

青年學(xué)生正處于思維高度活躍的階段，他們往往對(duì)新興成果和前沿?zé)狳c(diǎn)有著超過(guò)常人的關(guān)注，如何巧妙而有效地將這種關(guān)注轉(zhuǎn)化為針對(duì)本學(xué)科的興趣，進(jìn)而反向推導(dǎo)出基礎(chǔ)理論并讓學(xué)生消化、吸收，就成為一線教師面臨的重要問(wèn)題。

從1997年國(guó)際象棋大師卡斯帕羅夫和電腦“深藍(lán)”第一次人機(jī)大戰(zhàn)開(kāi)始，智能科學(xué)與技術(shù)迅速躋身科技前沿?zé)狳c(diǎn)，且經(jīng)久不衰。2016年3月，Alpha Go再次燃起人工智能之火，經(jīng)過(guò)媒體的推波助瀾，成為社會(huì)關(guān)注的焦點(diǎn)，大大增強(qiáng)了智能科學(xué)與技術(shù)的關(guān)注度。而青年學(xué)生作為最容易追趕潮流的群體，自然對(duì)此類(lèi)熱點(diǎn)趨之若鶩。

作為智能科學(xué)與技術(shù)學(xué)科的一線教師，應(yīng)把握和利用社會(huì)輿論的潮流以及學(xué)生心理的律動(dòng)，及時(shí)以此熱點(diǎn)為突破口，吸引學(xué)生的興趣，引起共鳴，進(jìn)而進(jìn)行反向推導(dǎo)相關(guān)基礎(chǔ)理論并加以詳解。

例如，教師以Alpha Go為課堂開(kāi)篇討論，引導(dǎo)學(xué)生思考，并說(shuō)明Alpha Go的核心原理是深度學(xué)習(xí)。在這個(gè)實(shí)例中，Alpha Go模擬人類(lèi)下棋的推理與思考過(guò)程，其中推理過(guò)程通過(guò)搜索樹(shù)來(lái)搜索可能的棋局，思考過(guò)程通過(guò)兩個(gè)深度神經(jīng)網(wǎng)絡(luò)確定可能的搜索方向和評(píng)估棋局，這兩個(gè)神經(jīng)網(wǎng)絡(luò)包括：

（1）落子選擇器（policy network），這是一種深度卷積神經(jīng)網(wǎng)絡(luò)，主要通過(guò)當(dāng)前棋盤(pán)布局預(yù)測(cè)下一步走棋位置的概率。

（2）棋局評(píng)估器（value network），與落子選擇器具有相似的結(jié)構(gòu)，主要在給定棋子位置的情況下，輸出雙方棋手獲勝的可能性，從而對(duì)棋局進(jìn)行評(píng)估。

如此，教師可以帶領(lǐng)學(xué)生了解搜索樹(shù)及搜索算法，也可以從深度卷積神經(jīng)網(wǎng)絡(luò)到普通神經(jīng)網(wǎng)絡(luò)，講解神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識(shí)，分析神經(jīng)網(wǎng)絡(luò)到深度學(xué)習(xí)的發(fā)展過(guò)程。這樣就可以將學(xué)生對(duì)Alpha Go本身的興趣，巧妙地引導(dǎo)到對(duì)神經(jīng)網(wǎng)絡(luò)等基礎(chǔ)概念和原理方面，以此強(qiáng)化學(xué)生對(duì)基礎(chǔ)知識(shí)的掌握。

同時(shí)，開(kāi)放式的考核方式也是促進(jìn)學(xué)生創(chuàng)新、使教學(xué)方法適應(yīng)新時(shí)代的一種有效途徑。對(duì)于本學(xué)科感興趣的話(huà)題，教師應(yīng)鼓勵(lì)學(xué)生多談自己的思路和想法；對(duì)于開(kāi)放式課題，應(yīng)給學(xué)生提供展示的舞臺(tái)，鼓勵(lì)學(xué)生分享自己在查找資料、解決難點(diǎn)、編程過(guò)程中的心得體會(huì)，充分調(diào)動(dòng)學(xué)生的積極性和主動(dòng)性；將這些考核成績(jī)按比例計(jì)入學(xué)生課業(yè)總成績(jī)中，充分肯定學(xué)生的創(chuàng)新能力。

4結(jié)語(yǔ)

教學(xué)成效是設(shè)計(jì)和構(gòu)建教學(xué)方式的基本出發(fā)點(diǎn)，教師應(yīng)該結(jié)合學(xué)生需求從學(xué)習(xí)成效、教學(xué)技巧、教學(xué)內(nèi)容上總體把握教學(xué)方式閣，采用不同于傳統(tǒng)講授方式的逆向教學(xué)（如圖1所示），使其滿(mǎn)足和順應(yīng)新一代青年學(xué)生的心理認(rèn)同需求和學(xué)習(xí)需求，將新理論、新應(yīng)用不斷融入基礎(chǔ)教學(xué)中，達(dá)到更好的教學(xué)效果。