前言：本站為你精心整理了人工智能在鋼琴普及性教育中應(yīng)用范文，希望能為你的創(chuàng)作提供參考價(jià)值，我們的客服老師可以幫助你提供個(gè)性化的參考范文，歡迎咨詢(xún)。

摘要：鋼琴教育近年來(lái)在我國(guó)越來(lái)越受到重視，如何能夠更有針對(duì)性的進(jìn)行教學(xué)，提高學(xué)生日常練習(xí)的效率成為鋼琴普及性教育中亟待解決的問(wèn)題。本文通過(guò)利用人工神經(jīng)網(wǎng)絡(luò)對(duì)習(xí)琴者所彈曲目與原曲目進(jìn)行比對(duì)，并對(duì)習(xí)琴者的演奏指法進(jìn)行識(shí)別，指出練習(xí)過(guò)程中出現(xiàn)的問(wèn)題。通過(guò)人工智能技術(shù)加以分析處理并給出針對(duì)鋼琴練習(xí)的指導(dǎo)性意見(jiàn)，從而使習(xí)琴者能夠更有針對(duì)性的解決練琴過(guò)程中的問(wèn)題，提高練習(xí)效率。

關(guān)鍵詞：鋼琴普及性教育;人工智能;自動(dòng)音樂(lè)轉(zhuǎn)錄;基于視頻流的指法識(shí)別

雨果曾經(jīng)說(shuō)過(guò)，“人類(lèi)的智慧掌握著三把鑰匙，一把開(kāi)啟數(shù)字，一把開(kāi)啟字母，一把開(kāi)啟音符。知識(shí)，思想，幻想就在其中”。這句話(huà)充分展示了音樂(lè)之于人生的重要性，音樂(lè)不僅可以幫助孩子們提升鑒賞美的能力，還能幫助培養(yǎng)健全的人格，對(duì)于個(gè)人氣質(zhì)的提升更是十分明顯。隨著物質(zhì)生活的發(fā)展，越來(lái)越多的人開(kāi)始重視早期的音樂(lè)教育，但學(xué)習(xí)過(guò)程中經(jīng)常會(huì)出現(xiàn)各式各樣的問(wèn)題，以鋼琴普及性教育為例，習(xí)琴者通常每周在老師那里進(jìn)行一次回課指導(dǎo)，更多的時(shí)間則是自己?jiǎn)为?dú)進(jìn)行練習(xí)。但很多習(xí)琴者在練習(xí)過(guò)程中都會(huì)出現(xiàn)各種常見(jiàn)錯(cuò)誤，自己卻毫無(wú)所知，看錯(cuò)譜、彈錯(cuò)鍵、指法錯(cuò)誤更是常見(jiàn)。如果這時(shí)能有指導(dǎo)者在旁進(jìn)行糾正，那么練習(xí)效果將會(huì)得到極大的提升。然而鋼琴師資相對(duì)稀缺，據(jù)統(tǒng)計(jì)數(shù)據(jù)顯示，不到十分之一的習(xí)琴者能夠得到即時(shí)的練習(xí)指導(dǎo)。近年來(lái)，人工智能技術(shù)進(jìn)展迅速，在多個(gè)領(lǐng)域都展現(xiàn)了極高的發(fā)展?jié)摿?。在棋?lèi)里相對(duì)復(fù)雜的圍棋領(lǐng)域，谷歌開(kāi)發(fā)的AlphaGo成功擊敗了世界冠軍李世石；在語(yǔ)音識(shí)別領(lǐng)域，市場(chǎng)上也已存在著較為成熟的軟件，如蘋(píng)果的Siri、小米的小愛(ài)同學(xué)。音樂(lè)也不例外，目前人工智能不僅可以根據(jù)給定的旋律生成伴奏，甚至能夠獨(dú)立生成完整的曲目，所以人工智能練習(xí)指導(dǎo)在如今的技術(shù)條件下是可行的，完全可以進(jìn)行更加深入的研究。

一、研究背景

（一）計(jì)算機(jī)處理音樂(lè)的方式。聲音信號(hào)處理是用計(jì)算機(jī)進(jìn)行音樂(lè)轉(zhuǎn)錄的首要問(wèn)題，換言之，如果想讓人工智能成為鋼琴練習(xí)指導(dǎo)，首先需要讓計(jì)算機(jī)聽(tīng)懂音樂(lè)。目前常用的數(shù)字信號(hào)處理方法有離散傅里葉變換、梅爾頻譜以及常數(shù)Q變換這三種，根據(jù)文獻(xiàn)顯示，其中常數(shù)Q變換（ConstantQTransform，CQT）就是對(duì)音樂(lè)信號(hào)在十二平均律的頻點(diǎn)上進(jìn)行分解，是目前音樂(lè)信號(hào)處理的主要方法，非常適合音樂(lè)信號(hào)的轉(zhuǎn)換。在鋼琴教學(xué)的現(xiàn)實(shí)活動(dòng)中，計(jì)算機(jī)獲取的樂(lè)音總是十分復(fù)雜的，包含基音和大量的泛音，甚至還有噪音，這就導(dǎo)致分離出基音變得十分困難，但是依然可以通過(guò)樂(lè)音中頻率成分的變化來(lái)尋找基音。十二平均律就體現(xiàn)了這種頻率成分的分布，通過(guò)常數(shù)Q變換能獲取一個(gè)樂(lè)音中所有單音的頻率以及每個(gè)頻率的平均振幅。

（二）鋼琴的聲學(xué)特點(diǎn)。鋼琴是鍵盤(pán)樂(lè)器，通過(guò)敲擊琴鍵來(lái)拉動(dòng)琴槌以敲打琴弦發(fā)出聲音，也可以歸結(jié)為弦樂(lè)器的一種。從聲學(xué)原理來(lái)講，樂(lè)器發(fā)音一般是由三個(gè)過(guò)程組成的———始振、穩(wěn)定、衰減。鋼琴發(fā)音音態(tài)的聲學(xué)特征包括：始振過(guò)程的振幅峰值大，起振音頭圓，瞬態(tài)時(shí)值短；沒(méi)有穩(wěn)定過(guò)程直接進(jìn)入衰減過(guò)程；不同頻率的高低音區(qū)及其衰減過(guò)程的時(shí)值長(zhǎng)短成反比，這就決定了鋼琴發(fā)出的每一個(gè)單音都會(huì)十分清晰，其頻譜的諧波也會(huì)相對(duì)較少，適用于人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。

（三）鋼琴教學(xué)的現(xiàn)狀。目前鋼琴教學(xué)仍然非常依賴(lài)線(xiàn)下一對(duì)一的教學(xué)，需要教師手把手進(jìn)行指導(dǎo)，人工智能或許便是個(gè)完美的替代方案，價(jià)格低廉，能夠即時(shí)進(jìn)行指導(dǎo)。當(dāng)今市場(chǎng)上也存在著一些鋼琴練習(xí)指導(dǎo)軟件，例如各類(lèi)陪練App，它們依然是以教師一對(duì)一的練習(xí)指導(dǎo)為主，同時(shí)提供線(xiàn)上教學(xué)管理。

二、研究?jī)?nèi)容

首先將采集到聲音信號(hào)通過(guò)CRNN轉(zhuǎn)錄生成MIDI文件，然后將獲取的練琴時(shí)手部拍攝的視頻通過(guò)C3D模型提取出特征，最后通過(guò)多模態(tài)的決策級(jí)融合進(jìn)行綜合分析，得到習(xí)琴者練琴時(shí)出現(xiàn)的問(wèn)題，后文主要分析這些問(wèn)題。

（一）練琴的常見(jiàn)問(wèn)題及相應(yīng)處理。初學(xué)者在鋼琴演奏中可能遇到的問(wèn)題包括由于手型問(wèn)題和一些錯(cuò)誤的演奏習(xí)慣導(dǎo)致的一些演奏效果不佳的情況。很多初學(xué)者在演奏時(shí)無(wú)名指和小指無(wú)法獨(dú)立演奏，兩指的行動(dòng)互相牽制，導(dǎo)致彈琴的聲音不夠均勻流暢，旋律音的輕重也會(huì)不同，甚至在演奏分解和弦時(shí)會(huì)出現(xiàn)由于無(wú)名指和小指把位不準(zhǔn)確而造成的錯(cuò)音?？梢詮膬煞矫嬷痔幚?，一是通過(guò)手型識(shí)別的神經(jīng)網(wǎng)絡(luò)，針對(duì)習(xí)琴者的演奏，發(fā)現(xiàn)不正確的手型指法及時(shí)反饋報(bào)告。二是通過(guò)將習(xí)琴者的演奏與標(biāo)準(zhǔn)原曲進(jìn)行對(duì)比，從差異中分析其中可能存在的問(wèn)題。

（二）鋼琴練習(xí)中音頻的分析處理。主體流程是識(shí)別練習(xí)者演奏并將其與標(biāo)準(zhǔn)原曲進(jìn)行對(duì)比，然后從差異中分析其中可能存在的問(wèn)題。其中需要將練習(xí)者的演奏轉(zhuǎn)錄為易于計(jì)算機(jī)分析的格式，這里用到的是MIDI格式，它用音符的數(shù)字控制信號(hào)記錄音樂(lè)，詳細(xì)記錄了樂(lè)曲中各個(gè)音的音高、時(shí)值、響度、通道和樂(lè)器等信息，MIDI以其獨(dú)特的編碼方式，將與聲音播放相關(guān)的重要信息編碼到mid文件中。MIDI文件的本質(zhì)是一組演奏指令，指令文件被解碼后可以操作MIDI設(shè)備樂(lè)器、或是播放音色庫(kù)中事先錄制好的各種樂(lè)器，這些標(biāo)準(zhǔn)化的指令和高效的編碼形式，將極大程度上方便計(jì)算機(jī)的處理，目前我們已經(jīng)能做到通過(guò)神經(jīng)網(wǎng)絡(luò)將演奏轉(zhuǎn)錄成MIDI形式，還需訓(xùn)練新的神經(jīng)網(wǎng)絡(luò)模型通過(guò)對(duì)比原曲來(lái)分析并指出問(wèn)題。一段樂(lè)曲是由多個(gè)音符銜接而成的，為了將鋼琴演奏音頻轉(zhuǎn)換為MIDI格式，需要神經(jīng)網(wǎng)絡(luò)對(duì)樂(lè)曲進(jìn)行音符級(jí)別的轉(zhuǎn)錄。為了簡(jiǎn)化識(shí)別任務(wù)的復(fù)雜性并提升轉(zhuǎn)錄識(shí)別性能，通過(guò)直接識(shí)別整個(gè)音符來(lái)實(shí)現(xiàn)轉(zhuǎn)錄，而不是逐幀識(shí)別然后將幀進(jìn)行拼接，為此需要識(shí)別音符的兩個(gè)重要屬性：音高和時(shí)值。文獻(xiàn)提出了基于CNN的音符級(jí)自動(dòng)轉(zhuǎn)錄方法，為了進(jìn)行特征提取，將輸入的聲音信號(hào)進(jìn)行預(yù)處理，提取時(shí)頻域特征，利用常數(shù)Q變換將頻譜映射到以log2為底的線(xiàn)性空間，得到多音級(jí)的頻譜窗口。第一階段：為了得到每個(gè)音符的時(shí)值，分別識(shí)別音符的起點(diǎn)和止點(diǎn)，這兩者均由一個(gè)獨(dú)立的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行。第二階段：為了識(shí)別音高，模型采用一個(gè)額外的多音級(jí)識(shí)別網(wǎng)絡(luò)，識(shí)別起止點(diǎn)附近的音級(jí)。第三階段：將所有音符起點(diǎn)和止點(diǎn)上的音級(jí)進(jìn)行配對(duì)，得到一個(gè)完整的音符音高和時(shí)長(zhǎng)信息。由于生成音符序列要經(jīng)過(guò)起止點(diǎn)的音符對(duì)齊過(guò)程，起止點(diǎn)處的音級(jí)識(shí)別誤差會(huì)對(duì)對(duì)齊工作產(chǎn)生較大的阻礙，因而該方案對(duì)音級(jí)識(shí)別的精度要求很高。在此基礎(chǔ)上，本文提出了另外一種方案———基于CRNN的音符級(jí)自動(dòng)轉(zhuǎn)錄。該方法將CNN和RNN進(jìn)行了結(jié)合，并添加了一層自注意力層，形成CRNN網(wǎng)絡(luò)，用于捕捉音頻結(jié)構(gòu)中的音級(jí)特征和時(shí)間特征，主要改善之前遇到的起止點(diǎn)對(duì)齊的問(wèn)題。首先將輸入的聲音信號(hào)轉(zhuǎn)化為頻譜圖，為了識(shí)別頻譜切片內(nèi)部的時(shí)間結(jié)構(gòu)和音級(jí)結(jié)構(gòu)，并且保持完整的連貫性，消除無(wú)上下文的音頻片段，并控制切片時(shí)間為2s、4s和8s的長(zhǎng)度來(lái)進(jìn)行模型的訓(xùn)練。其中，無(wú)上下文的音頻片段是指在音頻切片中有來(lái)自上一個(gè)切片的音頻數(shù)據(jù)，或者未完全結(jié)束的音頻。模型用CNN提取出頻譜特征，然后進(jìn)行特征切片，使用后續(xù)的序列識(shí)別層獲取分析。由于RNN中通常使用的LSTM只能依據(jù)之前時(shí)刻的時(shí)序信息預(yù)測(cè)下一時(shí)刻的輸出，而當(dāng)前時(shí)刻的輸出不僅與之前的狀態(tài)有關(guān)，還可能和未來(lái)的狀態(tài)有關(guān)系。比如音符起點(diǎn)的預(yù)測(cè)，不僅依賴(lài)于之前的狀態(tài)和當(dāng)前輸入的特征切片，還可能與之后出現(xiàn)的止點(diǎn)狀態(tài)有關(guān)，同理，預(yù)測(cè)音符止點(diǎn)時(shí)也是如此。因此這里采用雙向LSTM即BiLSTM，通過(guò)前后向的LSTM結(jié)合，起到前后文關(guān)系的預(yù)測(cè)作用。序列識(shí)別層最終會(huì)將特征提取后的頻譜進(jìn)行縱向切片，經(jīng)過(guò)雙向LSTM處理后，得到序列化向量輸出到自注意力層，這些向量包含音頻的全部音符信息。自注意力層則是用來(lái)訓(xùn)練學(xué)習(xí)頻譜的音符起止點(diǎn)的內(nèi)部關(guān)聯(lián)性，來(lái)加強(qiáng)模型對(duì)起止點(diǎn)序列的識(shí)別性能。最后對(duì)識(shí)別處的音符起止點(diǎn)進(jìn)行對(duì)齊，這里由于加強(qiáng)了音頻序列化的上下文關(guān)聯(lián)性，解決了之前因起止點(diǎn)處音級(jí)識(shí)別誤差產(chǎn)生的無(wú)法對(duì)齊的難題，最后對(duì)齊率相對(duì)CNN的41%提升到了81%。

（三）鋼琴練習(xí)中指法的識(shí)別分析。手型指法的識(shí)別由CNN模型承擔(dān)，采取常見(jiàn)演奏中的錯(cuò)誤手勢(shì)作為數(shù)據(jù)集進(jìn)行模型訓(xùn)練，并設(shè)法采集到練習(xí)者演奏時(shí)的手勢(shì)圖片。本方案獲取習(xí)琴者在練習(xí)整首曲目中手型指法，這是一個(gè)動(dòng)態(tài)過(guò)程。不同于目前常見(jiàn)的基于圖片形式的手型識(shí)別，需要從視頻中識(shí)別對(duì)應(yīng)的手型，可使用基于三維卷積神經(jīng)網(wǎng)絡(luò)（3DCNN）的大規(guī)模視頻手型識(shí)別算法。第一步，通過(guò)4K高清攝像機(jī)從上方以及側(cè)面對(duì)演奏過(guò)程進(jìn)行拍攝來(lái)獲取視頻數(shù)據(jù)，做好標(biāo)注處理后經(jīng)3DCNN模型處理，該算法模型由NKato等人在文獻(xiàn)中提出，解決了基于視頻的手型識(shí)別需要處理時(shí)域和空域的特征這一問(wèn)題。首先要對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理，將分辨率和幀數(shù)統(tǒng)一，同時(shí)還需要提取視頻的光流特征，獲得同幀數(shù)的光流視頻，一方面用于提取動(dòng)作的路徑信息，另一方面也去除了背景、表演者膚色等信息。第二步，神經(jīng)網(wǎng)絡(luò)需要從數(shù)據(jù)集（處理后的演奏視頻）提取對(duì)應(yīng)的時(shí)序特征用于手型和指法的識(shí)別，這里實(shí)驗(yàn)通過(guò)三維的卷積神經(jīng)網(wǎng)絡(luò)———C3D模型來(lái)實(shí)現(xiàn)視頻手型特征的自動(dòng)提取。與二維神經(jīng)網(wǎng)絡(luò)相比，C3D模型更關(guān)注視頻幀序列的圖像集合，將時(shí)域和空域的信息結(jié)合。第三步，由于光流視頻和原視頻中的特征信息不盡相同，二者各有偏重，為了提高特征的準(zhǔn)確率，將原視頻和光流視頻通過(guò)神經(jīng)網(wǎng)絡(luò)分別得到的時(shí)序特征進(jìn)行綜合分析，加強(qiáng)特征識(shí)別的效果，最終提升指法和手型識(shí)別的準(zhǔn)確率。在此基礎(chǔ)上，同音頻分析的結(jié)果類(lèi)似，最終得到的是一個(gè)結(jié)果矩陣M×N的矩陣V(m,n)，其中M表示幀數(shù)，N表示演奏問(wèn)題的類(lèi)別數(shù)。V(m,n)代表視頻第m幀中手型指法存在第n類(lèi)錯(cuò)誤的概率。將手型識(shí)別的結(jié)果數(shù)據(jù)運(yùn)用多模態(tài)增量聚類(lèi)融合算法，與處理好的音頻數(shù)據(jù)一并作為輸入進(jìn)行分析。通過(guò)同時(shí)參考音頻和視頻的數(shù)據(jù)，能夠較為準(zhǔn)確的對(duì)演奏中的問(wèn)題進(jìn)行判斷。

（四）鋼琴訓(xùn)練視頻和音頻的多模態(tài)決策級(jí)融合。在完成了前文的處理分析后，可以分別得到來(lái)自鋼琴訓(xùn)練視頻和音頻的特征信息，從二者中各自得到一些結(jié)論。但是考慮到視頻和音頻的信息側(cè)重不一，因?yàn)樗鼈儼藘蓚€(gè)模態(tài)的信息，單獨(dú)參考其中之一可能會(huì)遺漏部分特征信息，例如視頻中可能更多的是反映演奏者的動(dòng)作是否規(guī)范，而音頻部分可能更強(qiáng)調(diào)節(jié)奏和旋律的準(zhǔn)確性。為了使模型的分析更加全面，本文參考了ReuderinkB等人于文獻(xiàn)中提出的方案，對(duì)二者的數(shù)據(jù)分析結(jié)果進(jìn)行多模態(tài)的決策級(jí)融合，獲取一個(gè)綜合分析的結(jié)果。決策級(jí)融合策略是一種高層次的融合方法，具有通信量小、抗干擾能力強(qiáng)、容錯(cuò)率高等優(yōu)點(diǎn)。通過(guò)前文中神經(jīng)網(wǎng)絡(luò)識(shí)別分類(lèi)獲得每種特征關(guān)于手型指法錯(cuò)誤類(lèi)別的后驗(yàn)概率，然后按照一定的策略將其融合，最后將融合結(jié)果中的最大值對(duì)應(yīng)的類(lèi)別作為最終分析結(jié)果。

三、結(jié)語(yǔ)

本文在人工智能領(lǐng)域做了一個(gè)全新的嘗試，不僅僅是使用大數(shù)據(jù)等技術(shù)進(jìn)行教學(xué)輔助，而是希望通過(guò)人工智能領(lǐng)域的先端技術(shù)神經(jīng)網(wǎng)絡(luò)解決鋼琴練習(xí)中的一些難題，借此幫助鋼琴學(xué)生及時(shí)發(fā)現(xiàn)并糾正演奏中存在的指法和節(jié)奏把控等問(wèn)題。這里從兩條思路出發(fā)，由于視頻信息和音頻信息各有偏重，所以同時(shí)采集獲取演奏者的視頻和音頻數(shù)據(jù)，分別訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型對(duì)演奏視頻和音頻進(jìn)行處理，最后對(duì)分析結(jié)果進(jìn)行多模態(tài)決策級(jí)融合。通過(guò)人工智能技術(shù)加以分析處理并給出針對(duì)鋼琴練習(xí)的指導(dǎo)性意見(jiàn)，從而使習(xí)琴者能夠更有針對(duì)性的解決練琴過(guò)程中的問(wèn)題，提高練習(xí)效率。

作者:胡麗敏 桂浩 單位:武漢音樂(lè)學(xué)院武漢大學(xué)