前言：本站為你精心整理了平均互信息量的案例式教學(xué)方法探析范文，希望能為你的創(chuàng)作提供參考價值，我們的客服老師可以幫助你提供個性化的參考范文，歡迎咨詢。

摘要:平均互信息量的概念在香農(nóng)信息論中的占據(jù)極為重要的位置。在本科生“信息論基礎(chǔ)”課程中雖然給出了不同形式的定義以及數(shù)學(xué)推導(dǎo)，但由于概念較為抽象，大部分學(xué)生對于該部分教學(xué)內(nèi)容的興趣和實際掌握效果都有待提高。以新冠肺炎核酸檢測為背景，探尋“萬里挑一”核酸檢測案例的優(yōu)化策略，引導(dǎo)學(xué)生利用平均互信息量的概念和性質(zhì)主動思考，將課堂知識與生活實踐相結(jié)合，讓學(xué)生在理解平均互信息量的物理概念的同時，體會信息論的理論指導(dǎo)意義，并巧妙融入理論如何指導(dǎo)實踐、中國疫情防控舉世矚目成就等思政元素。

關(guān)鍵詞:平均互信息量;信息論;核酸檢測;課程思政

“信息論基礎(chǔ)”是一門以概率論、隨機(jī)過程、數(shù)理統(tǒng)計和線性代數(shù)等學(xué)科為基礎(chǔ)，研究信息在系統(tǒng)中的存儲、傳輸、處理和控制的綜合課程，是通信工程、電子信息工程、信息對抗等專業(yè)培養(yǎng)方案中的主干課程［1］。由于該課程中的概念高度抽象，理論性強(qiáng)且有大量的數(shù)學(xué)分析過程，學(xué)生理解起來并不容易［2］。對于“平均互信息量”這種較為抽象但極為重要的概念來說，如果僅靠傳統(tǒng)的灌輸式教學(xué)方法，學(xué)生接受難度較大，且興趣度不高，學(xué)生很難理解其中蘊(yùn)含的理論指導(dǎo)意義。同時鑒于傳統(tǒng)課程教學(xué)中較少將信息論中的概念直接聯(lián)系實際，學(xué)生容易產(chǎn)生信息論無用的錯覺［3］。傳統(tǒng)的教學(xué)方法主要可以分為兩類，一類是教師灌輸式，一類則是學(xué)生自主學(xué)習(xí)講解式［4］。第一類方法目前仍是主流，這種方法教學(xué)效率較高，但是學(xué)生的獨(dú)立思考問題的能力不能得到鍛煉，偏離了教育的初心;第二類方法可以極大地調(diào)動學(xué)生積極性，培養(yǎng)學(xué)生主動思考能力，但需占用學(xué)生大量的課余時間，并且不能幫助學(xué)生認(rèn)識重點、分清主次。近年來，多名教師在教學(xué)方式上進(jìn)行改革探索［5－6］，取得了一定的成效。案例式教學(xué)方法最早起源于哈佛的情景案例教學(xué)課，目前已發(fā)展成為經(jīng)濟(jì)學(xué)及管理學(xué)類學(xué)科的重要教學(xué)形式［7］。信息論是一門與通信系統(tǒng)理論有著密切關(guān)系的學(xué)科［8］，邏輯推理過程較多，相對比較枯燥，在教學(xué)過程中適當(dāng)引入案例式教學(xué)，不僅可以豐富課堂內(nèi)容，也可以激發(fā)學(xué)生的熱情，讓學(xué)生更多地參與到課堂中，促進(jìn)師生之間的互動交流。教學(xué)工作應(yīng)具體情況具體分析，對于不同特點的學(xué)科應(yīng)該采取不同的教學(xué)方法。對于信息論這種專業(yè)體系中的主干基礎(chǔ)課程，貿(mào)然采用自主學(xué)習(xí)的方法，可能適得其反。為此，結(jié)合數(shù)十年的教學(xué)經(jīng)驗，嘗試在平均互信息量中引入案例式教學(xué)，即在第一類教學(xué)方法中進(jìn)行改進(jìn)，通過案例引入，將學(xué)生帶到特定場景中，在解決問題的過程中學(xué)習(xí)知識，提高學(xué)生的參與度和興趣，培養(yǎng)學(xué)生獨(dú)立思考的能力。通過帶著問題深入剖析現(xiàn)象背后的理論依據(jù)，在回答問題的過程中掌握平均互信息的概念，理解利用理論工具指導(dǎo)編碼實踐的原理，讓學(xué)生體會信息論基礎(chǔ)課程的現(xiàn)實意義———不僅僅是知道怎么做，更懂得為什么這么做。以新冠肺炎核酸檢測為背景，提出探尋“萬里挑一”核酸檢測案例的優(yōu)化策略問題，引導(dǎo)學(xué)生利用信息論基礎(chǔ)的相關(guān)知識自行思考解答;在解決這個問題的過程中逐步闡述平均互信息量的概念、性質(zhì)及物理意義，然后類比此案列區(qū)分平均互信息量和信息熵這兩個容易混淆的基本概念;最后利用平均互信息的概念量推導(dǎo)出最少檢測次數(shù)。既讓學(xué)生深刻理解概率信息的本質(zhì)，又能讓學(xué)生體會到信息論的實用價值。此外在教學(xué)過程中適當(dāng)嵌入思政要素，在信息論基礎(chǔ)專業(yè)課程中潛移默化地影響和教育學(xué)生。

1案例教學(xué)設(shè)計

1．1案例引入

圍繞“核酸檢測”這一時事熱點話題，提出探尋“萬里挑一”核酸檢測案例的優(yōu)化策略問題。在帶領(lǐng)學(xué)生解決問題的同時，向?qū)W生闡述什么是“平均互信息量”“平均互信息量”與“信息熵的區(qū)別”以及如何利用“平均互信息量”解決實際問題。

1．2重難點分析

1)重點內(nèi)容(1)平均互信息量物理含義:平均互信息量含有多種物理含義，首先從直接的定義可以看出消除的不確定性;再根據(jù)先驗信息熵和條件熵的數(shù)學(xué)計算式可以得到等效定義，可以看出平均互信息量表征了輸入與輸出的關(guān)聯(lián)性的統(tǒng)計度量。(2)平均互信息量基本性質(zhì):非負(fù)性，兩個離散事件的互信息量可正可負(fù)，但兩個集合的平均互信息量為非負(fù)，需要注意統(tǒng)計平均帶來的差異，而且平均互信息量等于零時正好對應(yīng)兩個集合互相獨(dú)立，表明平均互信息量是相關(guān)性的一種度量;互易性，平均互信息量的計算公式中可交換輸入輸出集合的位置，反映了平均互信息量反映的是系統(tǒng)獲取信息的能力，從發(fā)送端和接收端不同的角度來看，可以獲得相同的信息感知能力;極值性，根據(jù)不等式的性質(zhì)和平均互信息量的計算公式，可推導(dǎo)平均互信息量的兩個上限，輸入端的信息熵以及輸出端的信息熵，進(jìn)一步表明平均互信息量只是消除的那部分不確定性，不會比先驗的不確定性大。當(dāng)然平均互信息量還有更加復(fù)雜的性質(zhì)，如上凸和下凸特性，將在離散信道部分進(jìn)一步詳細(xì)闡述。2)難點內(nèi)容平均互信息量與信息熵的區(qū)別是本部分教學(xué)的難點內(nèi)容。平均自信息量，即信息熵，是表征隨機(jī)事件的不確定程度的定量描述，但實際上往往無法準(zhǔn)確獲取全部的信息熵，如同無可能準(zhǔn)確知道一個封閉系統(tǒng)中可能的熱力學(xué)狀態(tài)數(shù)目以及熱熵，而只能通過溫度的變化來衡量系統(tǒng)能量的變化。這些相對變化往往更是人們感興趣的那部分信息，對應(yīng)信息熵就是消除掉的部分先驗的不確定性，即平均互信息量。因此平均互信息量只是先驗信息熵的一部分，而且是通過某些系統(tǒng)觀測獲得的那一部分“信息”。這兩個概念是信息論基礎(chǔ)中極為重要的概念，但對于初學(xué)者來說非常容易混淆，務(wù)必從物理含義上加以區(qū)分?？梢哉f“信息熵”是最基本的“信息”，“平均互信息量”是最重要的“信息”，通常前者難以準(zhǔn)確或者全部“發(fā)掘”，只要在極特殊的情況下才能被揭露無疑，此時“平均互信息量”就等同于“信息熵”。關(guān)于該難點的講授，需要采用具體化的實例來引導(dǎo)學(xué)生主動區(qū)分二者的區(qū)分，明白內(nèi)在聯(lián)系，為此課程從學(xué)生熟悉的“核酸檢測”來理解這些抽象的概念。

2關(guān)鍵教學(xué)環(huán)節(jié)設(shè)計

2．1核酸檢測案例引入

首先提出“萬里挑一”問題:假定某1萬人居住的社區(qū)中有1名無癥狀感染者，需要做全員核酸檢查。數(shù)學(xué)上不難發(fā)現(xiàn)，總共的狀態(tài)數(shù)定義為X，有10000中可能;假設(shè)全員核酸檢測的結(jié)果為Y。則這1萬人整體不確定性為H(X)=log10000bit，全員檢測后剩余不確定性為H(X|Y)=0，檢測后消除不確定性為H(X)－H(X|Y)=log10000bit。此時最多要測10000次才可以確定誰是感染者，這顯然是不能接受的。那么是否有更高效的檢測方式呢?要找出患者最少需要測幾次呢?要解決這個問題，需要了解平均互信息量。

2．2平均互信息量定義

聯(lián)合離散級XY上，X與Y的平均互信息量可定義如下:I(X;Y)=H(X)－H(X|Y)(1)根據(jù)定義式可推導(dǎo)出其計算式:(2)其物理意義為:在聯(lián)合離散集XY上，由Y的全部事件提供的關(guān)于集X的平均互信息等于X的信息熵與Y已知條件下X的條件熵的差值。

2．3平均互信息量性質(zhì)

平均互信息量有3個基本性質(zhì):1)非負(fù)性由平均互信息的定義式可推得(3)當(dāng)且僅當(dāng)X與Y獨(dú)立時，等號成立，因此平均互信息量非負(fù)得證。具體到核酸檢測的問題上，如果檢測報告是血型信息，那么平均互信息量就是零，對診斷患者毫無用處。2)互易性由定義式顯而易見，互換XY位置定義不變，因此滿足互易性?；ヒ仔缘奈锢硪饬x是輸出Y反應(yīng)出的X的信息，與輸入X反應(yīng)的輸出Y的信息相當(dāng)，即從信息的角度來講輸入與輸出可逆。3)極值性(4)當(dāng)且僅當(dāng)p(xi|yi)時等號成立，所以平均互信息量不大于原集合的信息熵。對應(yīng)的物理意義為消除的不確定性不可能超過先驗的不確定性，最多獲取全部的不確定性，換句話說，XY的互信息量I(X;Y)一定不超過X的熵(自信息量)H(X)，此時的系統(tǒng)是最優(yōu)的系統(tǒng)，通過Y能夠準(zhǔn)確獲取X的全部信息。在此基礎(chǔ)上可以獲得各種熵以及平均互信息關(guān)系的維拉圖，如圖1所示。該圖可直觀反映各物理量之間的等式和不等數(shù)量關(guān)系，以及各種熵的非負(fù)性。圖1各種熵之間的關(guān)系到此可以明晰信息熵和平均互信息量的區(qū)別，即信息熵是待測樣本本身所包含的“全部信息”，而平均互信息量是通過某種方式所測量到的該樣本的“部分信息”。

2．4探尋“萬里挑一”核酸檢測案例的優(yōu)化策略

為了加強(qiáng)學(xué)生利用平均互信息量概念和性質(zhì)進(jìn)行理論計算和實際應(yīng)用，再次結(jié)合核酸檢測的問題，詳細(xì)講解例題:在已知待測樣本的狀態(tài)數(shù)為N(N=10000)后，若想要測量次數(shù)最少，則需要每次測量所提供的平均互信息量I(X;Y)最大。1)單檢方式對于單檢方式，顯然最多需要N次檢測。檢測前的不確定性為H(X)=logN≈13．2877bit，定義檢測的結(jié)果為Y1，則(5)H(X|Y1=1)=0，H(X|Y1=0)=N－1Nlog(N－1)，則條件熵為可得單次檢測的平均互信息量為(7)2)混檢方式如果采用5合1混檢方式［9］，易知最多需要5+N/5次檢測，定義單次5合一混檢的結(jié)果為(8)同理可得單次混檢的平均混檢的平均互信息量為可見通過混檢方式大大增加了單次檢測的平均互信息量，因此能顯著減少檢測次數(shù)。圖2展示了幾種不同的混檢策略的效果。3)最優(yōu)檢測策略那么什么才是最優(yōu)的檢測策略呢?顯然不是混檢次數(shù)越大，單次檢測的信息量越大，因為對于極端情況全部混在一起檢測，是沒有意義的。那么如何才能使單次檢測消除的不確定性最大?換個角度分析，單次實驗的結(jié)果的最大平均互信息量為I(X;YM)=log2=1bit(9)M代表M合一檢測。又已知檢測前樣本的不確定性為H(X)=logN≈13．2877bit。那么理論上，當(dāng)N=10000時最少檢測數(shù)為logNlog2≈14次。即理論上最少的測試次數(shù)為14次，任何想低于這個檢測次數(shù)的努力都是徒勞的。

2．5課程思政的設(shè)計

1)信息理論與生活實踐該案例教學(xué)中，一開始就將同學(xué)們多次接觸的核酸檢測事件聯(lián)系起來，通過分析平均每一次檢測所獲得的信息量，這正是平均互信息量，也就是信息的本質(zhì)。特別是隨著混檢人數(shù)的增加，在理論極限條件下，核酸檢測總次數(shù)可減少至驚人的14次!可見利用平均互信息量的概念和性質(zhì)，可以找到理論上的不可能超越的極限值。通過核酸檢測策略這個實例可以看出，平均互信息量的概念可以為實際問題提供理論極限，對實踐有非常重要的指導(dǎo)意義，進(jìn)而引起學(xué)生對信息論強(qiáng)烈的學(xué)習(xí)興趣。2)實際案例中的中國成就雖然核酸檢測優(yōu)化檢測策略中給出了理論極限，但其本身沒有給出具體的檢測方法，但指明了方向，具體的實現(xiàn)需要同學(xué)們自己思考。特別是在實施過程中要考慮效率、精度等影響，中國政府在疫情防控過程中制定了一系列的中國標(biāo)準(zhǔn)，如2020年7月21日，國務(wù)院印發(fā)了《新冠病毒核酸篩查稀釋混樣檢測技術(shù)指引》;2020年8月17日，國務(wù)院制定了《新冠病毒核酸10合1混采檢測技術(shù)規(guī)范》;2020年8月27日，國務(wù)院印發(fā)進(jìn)一步推進(jìn)新冠病毒核酸檢測能力建設(shè)工作方案的通知。我們更是取得舉止矚目的耀眼戰(zhàn)績，如2020年5月14日武漢會戰(zhàn)，10天排查1000萬人;2020年6月11日北京疫情，23天排查1100萬人;2020年10月11日青島5天排查1100萬人。這些數(shù)據(jù)的背后必然會讓每個學(xué)生感動和感恩，從而更加自信地學(xué)習(xí)和生活。

3結(jié)語

通過上述案例教學(xué)來講授平均互信息量的概念和性質(zhì)，可以實現(xiàn)以下效果:(1)從核酸檢測案例的優(yōu)化策略問題引入，讓學(xué)生帶著問題從信息論的角度尋求答案和背后的理論依據(jù)。在求解問題的過程中明確平均互信息量的定義和物理意義，在此基礎(chǔ)上帶領(lǐng)學(xué)生推導(dǎo)平均互信息量的三條基本性質(zhì)，完成基本課堂知識的傳授。(2)通過“萬里挑一”核酸檢測問題的實例，以實際問題幫助學(xué)生區(qū)分信息熵(平均自信息量)和平均互信息量這兩個極易混淆的物理量之間的區(qū)別，并通過利用課堂所學(xué)知識尋求問題的最優(yōu)解，將抽象的方法應(yīng)用到工程實踐，加強(qiáng)學(xué)生對概率信息這一高度抽象概念的理解。(3)在教學(xué)方法方面，從熟悉的事件出發(fā)，帶著問題學(xué)習(xí)新內(nèi)容，特別是引導(dǎo)學(xué)生對概率信息的本質(zhì)進(jìn)行深層次的思考，強(qiáng)調(diào)“信息論”是來源于工程實踐，更是指導(dǎo)工程實踐的重要理論。

作者:孫兵 李建楠 李景文 陳杰 單位:北京航空航天大學(xué) 電子信息工程學(xué)院