前言：本站為你精心整理了特種醫(yī)學(xué)深網(wǎng)信息自動(dòng)獲取技術(shù)研究范文，希望能為你的創(chuàng)作提供參考價(jià)值，我們的客服老師可以幫助你提供個(gè)性化的參考范文，歡迎咨詢。

一面向深網(wǎng)資源的信息抽取與分類技術(shù)研究

筆者以實(shí)現(xiàn)深網(wǎng)信息自動(dòng)化獲取為研究目標(biāo)，從面向深網(wǎng)資源的搜索提取方法、面向?qū)嶓w層Web的信息索引和分類技術(shù)、面向用戶的信息檢索平臺(tái)建設(shè)3個(gè)技術(shù)層面展開研究，有計(jì)劃地將大量無序的特色網(wǎng)絡(luò)資源實(shí)現(xiàn)自有化并得以快捷利用。

1基于半監(jiān)督順序回歸模型的爬蟲算法

在資源搜索方面，將搜索目標(biāo)設(shè)定為通常無法訂購(gòu)但軍事特種醫(yī)院特點(diǎn)鮮明的特色資源。通常，這些網(wǎng)絡(luò)資源都是以深網(wǎng)的方式存儲(chǔ)，并且無法直接獲取。為此，筆者研究了面向深網(wǎng)的信息提取技術(shù)，研究并實(shí)現(xiàn)了一種面向軍事特種醫(yī)院資源的基于半監(jiān)督順序回歸模型的快速爬蟲算法。此算法主要包括以下3個(gè)步驟:首先，根據(jù)軍事特種醫(yī)院網(wǎng)站資源的特點(diǎn)，利用半監(jiān)督順序回歸的方法構(gòu)造深網(wǎng)頁面分類器，定義所需的主題相關(guān)的網(wǎng)頁分為N個(gè)不同的層次。此時(shí)層次的數(shù)量級(jí)根據(jù)所給定網(wǎng)站資源特點(diǎn)設(shè)定。一般情況下，N≤4。其次，構(gòu)造深網(wǎng)鏈接信息抽取器，抽取對(duì)應(yīng)N層次的有效鏈接。在提取這些鏈接信息時(shí)，采用多線程的方法完成。最后，把深網(wǎng)頁面分類器的分類作為指導(dǎo)，形成特征庫(kù)，利用讓爬蟲自動(dòng)提取滿足要求的鏈接特征，快速實(shí)時(shí)地找到各層有效鏈接。對(duì)于爬行過程而言，筆者具體采用如下方法:在開始爬行前，把預(yù)先定義的符合特種醫(yī)院資源信息的種子放入最低層的鏈接隊(duì)列中，鏈接信息提取器從深網(wǎng)頁面中抽取滿足特點(diǎn)規(guī)則的鏈接信息，包括鏈接的網(wǎng)址、頁面標(biāo)題，鏈接的錨屬性等信息，并同時(shí)交付鏈接特征學(xué)習(xí)器。在鏈接特征學(xué)習(xí)器中，筆者將采用深度機(jī)器學(xué)習(xí)方法，將這些特征進(jìn)行歸類、分析。然后，按照上述方法，將所有N層隊(duì)列中的鏈接進(jìn)行爬行。對(duì)于同一層次的鏈接，根據(jù)預(yù)先定義的規(guī)則讓距離網(wǎng)站主頁近的鏈接先爬行。這樣，既可以爬行到最佳的鏈接，又保證讓所有的鏈接都被爬行到。系統(tǒng)運(yùn)行結(jié)果表明筆者提出的爬行策略能夠提取深網(wǎng)中有效鏈接的基本特征，并過濾掉無關(guān)鏈接，提高了爬蟲的速度和準(zhǔn)確度。

2面向?qū)嶓w層Web的信息索引技術(shù)

采用高效的爬蟲技術(shù)從DeepWeb上抽取出的軍事特種醫(yī)院特點(diǎn)鮮明的特色資源之后，將其存儲(chǔ)在本地?cái)?shù)據(jù)庫(kù)中。對(duì)于索引而言，由于軍事特種醫(yī)院信息的特色，其索引對(duì)象可表示為Web實(shí)體(WebEntity)。Web實(shí)體通常具有各種屬性，并由屬性進(jìn)行描述。如海軍信息、潛水艇實(shí)體，具有長(zhǎng)、寬、重量、下水深度等屬性，可以將軍事特種醫(yī)院信息劃歸為多種不同實(shí)體。顯然，進(jìn)行實(shí)體搜索，索引的對(duì)象為實(shí)體而非頁面，其索引域?yàn)閷?shí)體的各個(gè)屬性。用戶進(jìn)行檢索時(shí)，搜索器根據(jù)搜索關(guān)鍵字來查詢實(shí)體索引域，然后進(jìn)行綜合排序?；诖?，筆者提出了一種基于迭代和組合的信息抽取方法，實(shí)現(xiàn)Web實(shí)體的信息抽取及其索引建立。整個(gè)基于迭代和組合的信息抽取和索引方法實(shí)現(xiàn)框架圖。為實(shí)現(xiàn)此信息抽取方法，首先生成簡(jiǎn)單的頁面索引。頁面層的索引技術(shù)，主要采用基于關(guān)鍵字的倒排排序方法，然后再對(duì)其按實(shí)體關(guān)鍵屬性進(jìn)行分類。其次，采用學(xué)習(xí)和深度搜索的方法抽取基本實(shí)體屬性信息。在該過程，首先利用基于反饋的條件隨機(jī)域模型來抽取實(shí)體的屬性信息，之后通過快速排序及其深度搜索方法窮盡搜索包含某些特定實(shí)例的所有頁面集。采用基于反饋的條件隨機(jī)域模型的基本思想是先從已有的實(shí)體集中構(gòu)造訓(xùn)練數(shù)據(jù)集，采用預(yù)先定義的規(guī)則對(duì)訓(xùn)練數(shù)據(jù)集中的頁面進(jìn)行有條件的標(biāo)注，然后進(jìn)行模型訓(xùn)練。在訓(xùn)練中，筆者采用基于反饋的方式進(jìn)行，即通過已有的訓(xùn)練結(jié)果對(duì)訓(xùn)練模型進(jìn)行反饋，提高訓(xùn)練的速度和效率，最終使得抽取精度較高。最后，在迭代抽取和組合集成過程中，采用方法的基本原理是:對(duì)所有的待抽取頁面集，進(jìn)行用戶交互定義的頁面快速分割，將頁面分割成多個(gè)不同的部分。然后，根據(jù)實(shí)體模型，對(duì)于還未抽取的相關(guān)實(shí)體屬性，采用上述的抽取方法進(jìn)行迭代抽取，并將抽取的數(shù)據(jù)結(jié)果集成在一起，最后構(gòu)成一個(gè)完整可信的信息實(shí)體。

3面向用戶的分布式信息檢索平臺(tái)建設(shè)

在此分布式信息檢索平臺(tái)建設(shè)中，根據(jù)用戶的需求，采用上述相關(guān)關(guān)鍵技術(shù)，設(shè)計(jì)了一個(gè)面向用戶的分布式信息檢索平臺(tái)。本平臺(tái)的后端服務(wù)器采用主從分布式架構(gòu)。本檢索平臺(tái)由3個(gè)主要部分構(gòu)成，分別為:總體控制服務(wù)器、半監(jiān)督順序回歸爬蟲服務(wù)器和迭代與組合實(shí)體索引檢索服務(wù)器。其中，總體控制服務(wù)器主要負(fù)責(zé)整個(gè)爬蟲系統(tǒng)的整體控制管理、各個(gè)服務(wù)器之間消息的發(fā)送、傳遞以及任務(wù)的分配等等;半監(jiān)督順序回歸爬蟲服務(wù)器主要負(fù)責(zé)爬行深網(wǎng)，下載軍事特種醫(yī)院信息網(wǎng)頁，并抽取網(wǎng)頁中包含的各種實(shí)體信息;索引檢索服務(wù)器主要負(fù)責(zé)接收采集到的特種醫(yī)院軍事等實(shí)體信息，并以建立索引，為用戶提信息搜索等服務(wù)。此外，為了保證系統(tǒng)運(yùn)行的可靠性，總體控制服務(wù)器和迭代與組合實(shí)體索引檢索服務(wù)器均采用了雙機(jī)熱備份的方式，以維護(hù)服務(wù)器和對(duì)應(yīng)的備用服務(wù)器之間數(shù)據(jù)的同步。本系統(tǒng)中的控制服務(wù)器是采用按用戶指定的靜態(tài)任務(wù)分配模式來進(jìn)行網(wǎng)頁采集，所以控制服務(wù)器和它的備用服務(wù)器之間的通信量不會(huì)太大，之間的數(shù)據(jù)同步壓力并不大，從而可以解決主從式分布爬蟲系統(tǒng)中控制服務(wù)器的效率瓶頸問題。

二總結(jié)

綜上所述，采用基于順序回歸模型的爬蟲方法，跟蹤搜集獲取深網(wǎng)中不定期的各類難以獲取的專業(yè)文獻(xiàn)信息，準(zhǔn)確度和時(shí)效性均高于利用人工進(jìn)行數(shù)據(jù)篩選的方式;采用基于迭代和組合的信息抽取和索引方法，結(jié)合面向軍事特種醫(yī)學(xué)學(xué)科的網(wǎng)絡(luò)實(shí)體信息分類技術(shù)，可以實(shí)現(xiàn)專業(yè)文獻(xiàn)分類架構(gòu)及其專業(yè)分類簡(jiǎn)表的構(gòu)建，獲取數(shù)據(jù)的基本屬性識(shí)別率達(dá)到85%以上。結(jié)合上述關(guān)鍵技術(shù)，可有效提高構(gòu)建基于深網(wǎng)信息的軍事特種醫(yī)學(xué)全文數(shù)據(jù)信息檢索平臺(tái)的速度。

作者：楊柳 仇順海 單位：海軍醫(yī)學(xué)研究所醫(yī)學(xué)科技信息中心