前言：本站為你精心整理了教育培訓(xùn)大數(shù)據(jù)分析與應(yīng)用探究范文，希望能為你的創(chuàng)作提供參考價(jià)值，我們的客服老師可以幫助你提供個(gè)性化的參考范文，歡迎咨詢。

摘要：以數(shù)據(jù)輔助領(lǐng)導(dǎo)決策、以數(shù)據(jù)驅(qū)動業(yè)務(wù)發(fā)展已成為企業(yè)數(shù)字化轉(zhuǎn)型的必然選擇。文章介紹了中郵網(wǎng)院大數(shù)據(jù)分析平臺的系統(tǒng)架構(gòu)、系統(tǒng)功能以及應(yīng)用領(lǐng)域，探討了中郵網(wǎng)院大數(shù)據(jù)分析應(yīng)用的未來發(fā)展方向。

關(guān)鍵詞：大數(shù)據(jù)；數(shù)據(jù)倉庫；智能問答機(jī)器人；知識服務(wù)體系

2006年Hadoop技術(shù)的出現(xiàn)標(biāo)志著大數(shù)據(jù)技術(shù)時(shí)代的開始，10多年來，大數(shù)據(jù)在宏觀政策、技術(shù)創(chuàng)新、產(chǎn)業(yè)體系和應(yīng)用場景等方面都得到了蓬勃發(fā)展。大數(shù)據(jù)的應(yīng)用正在向全行業(yè)、全領(lǐng)域、全鏈條滲透，覆蓋智慧政府、城市大腦、金融風(fēng)控、健康醫(yī)療、疫情防控、精準(zhǔn)營銷等眾多領(lǐng)域。大數(shù)據(jù)時(shí)代，企業(yè)教育培訓(xùn)也走向了新的發(fā)展階段，以“數(shù)據(jù)驅(qū)動業(yè)務(wù)發(fā)展”的數(shù)字化、精準(zhǔn)化智能學(xué)習(xí)成為未來的發(fā)展趨勢。本文探討了作為中國郵政數(shù)字化培訓(xùn)平臺，中國郵政網(wǎng)絡(luò)學(xué)院（以下簡稱“中郵網(wǎng)院”）大數(shù)據(jù)分析平臺的構(gòu)建，旨在提供企業(yè)級一站式大數(shù)據(jù)采集、存儲、計(jì)算、分析和應(yīng)用的整體解決方案，并開展了相關(guān)的大數(shù)據(jù)和人工智能的應(yīng)用研究和項(xiàng)目建設(shè)。

1中郵網(wǎng)院大數(shù)據(jù)分析與處理平臺架構(gòu)

中郵網(wǎng)院大數(shù)據(jù)分析與處理平臺集成數(shù)據(jù)采集、數(shù)據(jù)遷移、數(shù)據(jù)治理、數(shù)據(jù)存儲、數(shù)據(jù)計(jì)算和數(shù)據(jù)應(yīng)用等服務(wù)，涵蓋了數(shù)據(jù)全生命周期，構(gòu)建了大數(shù)據(jù)分析的技術(shù)路線，大數(shù)據(jù)分析平臺架構(gòu)如圖1所示。

2中郵網(wǎng)院大數(shù)據(jù)分析與處理平臺功能

中郵網(wǎng)院大數(shù)據(jù)平臺的核心價(jià)值體現(xiàn)在數(shù)據(jù)采得多、存得下、算得了、管得住和用得好，主要包含3個(gè)方面的功能：數(shù)據(jù)倉庫、數(shù)據(jù)智能分析、數(shù)據(jù)可視化。

2.1數(shù)據(jù)倉庫

平臺基于一站式大數(shù)據(jù)平臺構(gòu)建企業(yè)級數(shù)據(jù)倉庫和數(shù)據(jù)集市，實(shí)現(xiàn)數(shù)據(jù)存儲、檢索、分析、計(jì)算，打通生產(chǎn)系統(tǒng)與大數(shù)據(jù)分析平臺的數(shù)據(jù)連接，實(shí)現(xiàn)郵政業(yè)務(wù)、郵儲銀行等多板塊，學(xué)員數(shù)據(jù)、培訓(xùn)數(shù)據(jù)、考試數(shù)據(jù)、學(xué)習(xí)數(shù)據(jù)和資源數(shù)據(jù)等多業(yè)務(wù)系統(tǒng)全量數(shù)據(jù)和增量數(shù)據(jù)的定時(shí)調(diào)度，可以進(jìn)行海量數(shù)據(jù)的歸集和存儲。數(shù)據(jù)倉庫開發(fā)的兩個(gè)核心環(huán)節(jié)是數(shù)據(jù)遷移和任務(wù)調(diào)度。2.1.1數(shù)據(jù)遷移生產(chǎn)系統(tǒng)產(chǎn)生的多源異構(gòu)的業(yè)務(wù)數(shù)據(jù)，需要定時(shí)遷移到大數(shù)據(jù)分析平臺，遷移策略分為批處理和流處理兩種。批處理類似于電梯中的直梯，當(dāng)一部分人員進(jìn)入直梯后將其運(yùn)送到相應(yīng)樓層。批處理包括全量更新和增量更新，全量更新是將生產(chǎn)系統(tǒng)數(shù)據(jù)一次性同步到大數(shù)據(jù)平臺開展數(shù)據(jù)分析，適合數(shù)據(jù)量較小的表，一般為100萬以內(nèi)的數(shù)據(jù)量。增量更新是在一定周期內(nèi)，根據(jù)數(shù)據(jù)變化將增量數(shù)據(jù)同步到大數(shù)據(jù)平臺中。不同的源數(shù)據(jù)庫增量同步策略不同，比如源端為Oracle數(shù)據(jù)庫時(shí)，適合用OracleGoldenGate（簡稱OGG）做增量更新，需要在源端和目標(biāo)端同時(shí)進(jìn)行OGG配置，原理是讀取Oracle日志實(shí)現(xiàn)數(shù)據(jù)同步，增加、修改和刪除等DDL操作的數(shù)據(jù)均可在目標(biāo)端實(shí)現(xiàn)同步；源端為MySQL數(shù)據(jù)庫時(shí)，適合用Canal，原理是通過時(shí)間戳或標(biāo)識列等自增長列實(shí)現(xiàn)增量日志更新，源端增加數(shù)據(jù)可以同步到目標(biāo)端，而源端修改和刪除數(shù)據(jù)時(shí)，不會在目標(biāo)端體現(xiàn)。流處理類似于電梯中的扶梯，一旦運(yùn)行就不停止，一直處于運(yùn)行狀態(tài)，不斷地運(yùn)送人員。流處理需要分布式消息系統(tǒng)和流處理引擎結(jié)合使用，分布式消息系統(tǒng)一般采用kafka，其優(yōu)勢在于實(shí)現(xiàn)與業(yè)務(wù)系統(tǒng)的解耦，同時(shí)具有消峰和抗壓的作用，即數(shù)據(jù)量過大時(shí)可通過消息隊(duì)列進(jìn)行消費(fèi)。開源的流處理引擎包括Storm、SparkStreaming、Flink等。2.1.2任務(wù)調(diào)度針對不同的數(shù)據(jù)遷移方案，任務(wù)調(diào)度策略也分為兩種。一種是通過調(diào)度時(shí)間配置，以及設(shè)置調(diào)度模式和依賴關(guān)系，實(shí)現(xiàn)周期性工作流自動調(diào)度。調(diào)度模式分為順序調(diào)度和聚合調(diào)度：順序調(diào)度是A工作流在調(diào)度周期內(nèi)未執(zhí)行完成時(shí)，在下個(gè)調(diào)度時(shí)間會按照順序依次執(zhí)行被延遲的調(diào)度；聚合調(diào)度是A工作流在調(diào)度周期內(nèi)未執(zhí)行完成時(shí)，在下個(gè)調(diào)度時(shí)間合并執(zhí)行被延遲的調(diào)度。另一種是通過實(shí)時(shí)流程引擎，實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)同步到大數(shù)據(jù)分析平臺。

2.2數(shù)據(jù)智能分析

支撐商業(yè)智能的大數(shù)據(jù)平臺，融合事件驅(qū)動機(jī)制和復(fù)雜SQL編程模型的流處理引擎，具備全圖形化的工具部署、運(yùn)維和開發(fā)。提供數(shù)據(jù)導(dǎo)入、數(shù)據(jù)探索、數(shù)據(jù)預(yù)處理、特征工程、模型訓(xùn)練、性能驗(yàn)證、模型部署等全流程可視化建模能力，支持大規(guī)模分布式訓(xùn)練和自動化模型生成，實(shí)現(xiàn)不同業(yè)務(wù)場景的創(chuàng)建和管理，實(shí)現(xiàn)模型全生命周期管理，可以對海量數(shù)據(jù)進(jìn)行大數(shù)據(jù)和人工智能分析與處理，有效挖掘數(shù)據(jù)中隱含的特點(diǎn)和規(guī)律。2.3數(shù)據(jù)可視化中郵網(wǎng)院大數(shù)據(jù)平臺支持30余種圖表類型，可以將數(shù)據(jù)分析的結(jié)果以圖形化的形式展示，提供強(qiáng)大敏捷的多維度分析功能，方便業(yè)務(wù)人員分析和使用。

3中郵網(wǎng)院大數(shù)據(jù)分析的應(yīng)用領(lǐng)域

3.1智能問答機(jī)器人

針對郵政員工自助服務(wù)App中事務(wù)咨詢模塊問題重復(fù)率高、內(nèi)容回復(fù)時(shí)間長、內(nèi)容回復(fù)缺乏專業(yè)性和規(guī)范性的問題，中郵網(wǎng)院利用大數(shù)據(jù)技術(shù)，對事務(wù)咨詢模塊的問題進(jìn)行聚類和語義分析，提取出共性問題，構(gòu)建郵政員工人力資源知識庫，并研發(fā)了智能問答機(jī)器人，通過中郵網(wǎng)院移動學(xué)習(xí)App向?qū)W員提供服務(wù)。智能問答機(jī)器人的上線應(yīng)用，有效提升了員工的使用便捷性，員工在日常工作中遇到的難題、與員工切身利益相關(guān)的政策、與員工生產(chǎn)行為相關(guān)的制度等，都可以在知識服務(wù)體系中找到答案，答案形式不僅包括文字，還有圖片、視頻、音頻和鏈接等非結(jié)構(gòu)化數(shù)據(jù)，上線三個(gè)月，員工問題量從每月500條提升到2000條。員工輸入問題的形式更加多元化，不僅可以通過文字輸入，還可以通過語音方式輸入，系統(tǒng)通過語義分析匹配出最優(yōu)答案，即時(shí)進(jìn)行回復(fù)，回復(fù)效率提升數(shù)十倍。在平臺交互方面，智能問答機(jī)器人集成了評分、滿意、不滿意、常見問題推薦等功能，在不明確用戶真實(shí)意圖的情況下，還可以通過多輪對話逐步挖掘需求進(jìn)行答復(fù)，提升了用戶體驗(yàn)。

3.2基于大數(shù)據(jù)的智能化推薦

隨著遠(yuǎn)程培訓(xùn)資源在數(shù)量和規(guī)模上的不斷擴(kuò)大，網(wǎng)絡(luò)上的資源呈爆炸式增長，員工在享受網(wǎng)絡(luò)便利的同時(shí)，也受到信息過載和信息迷航的困擾，員工找不到最想要的課程資源，優(yōu)質(zhì)資源也無法觸達(dá)員工，員工和學(xué)習(xí)資源之間沒有形成有效的連接，導(dǎo)致員工能力脫節(jié)無法支撐企業(yè)高速發(fā)展。中郵網(wǎng)院利用大數(shù)據(jù)分析技術(shù)，對2億余條學(xué)習(xí)記錄進(jìn)行了分析，深入挖掘?qū)W員潛在的學(xué)習(xí)需求、學(xué)習(xí)規(guī)律和特征偏好，結(jié)合崗位能力要求，研發(fā)了智能化的推薦算法模型，解決了推薦模型的召回、選取、排序、冷啟動等關(guān)鍵技術(shù)，構(gòu)建了系統(tǒng)推薦、自主選擇和新課推薦三位一體的推薦體系，最終在中郵網(wǎng)院移動學(xué)習(xí)App上線運(yùn)行，基于學(xué)員真實(shí)的學(xué)習(xí)行為數(shù)據(jù)，實(shí)現(xiàn)了智能化資源推薦服務(wù)，有效提升了培訓(xùn)學(xué)習(xí)的個(gè)性化、科學(xué)化、針對性和體驗(yàn)性。智能化推薦算法模型和推薦系統(tǒng)功能是根據(jù)企業(yè)培訓(xùn)實(shí)際，完全自主研發(fā)，具有可擴(kuò)展性強(qiáng)、數(shù)據(jù)實(shí)時(shí)更新、用戶操作簡單等特點(diǎn)。系統(tǒng)提供了多維度推薦場景，并與業(yè)務(wù)深度融合，實(shí)現(xiàn)了員工學(xué)習(xí)需求、崗位能力要求和資源內(nèi)容之間的智能化匹配，真正實(shí)現(xiàn)了以數(shù)據(jù)為導(dǎo)向的智能化學(xué)習(xí)，使得培訓(xùn)從“千人一面”轉(zhuǎn)變?yōu)椤扒饲妗?，員工所學(xué)即所需，提升了培訓(xùn)學(xué)習(xí)效能，賦能了員工職業(yè)發(fā)展。智能化推薦系統(tǒng)面向郵政業(yè)務(wù)板塊代理金融專業(yè)支局（所）經(jīng)理和綜合柜員2個(gè)崗位進(jìn)行試點(diǎn)應(yīng)用，覆蓋人員6.7萬人。智能化推薦系統(tǒng)的上線運(yùn)行，一是有效解決了員工迫切反映的培訓(xùn)缺乏針對性、學(xué)習(xí)效率不高、學(xué)習(xí)體驗(yàn)不好等問題；二是有效連接了員工和學(xué)習(xí)資源，較大程度上避免了信息過載和信息迷航的困擾；三是將優(yōu)質(zhì)資源直達(dá)員工，促進(jìn)了員工從被動培訓(xùn)向主動學(xué)習(xí)的轉(zhuǎn)變。通過開展?jié)M意度調(diào)研，員工對推薦內(nèi)容的整體滿意度達(dá)93.3%，系統(tǒng)的研發(fā)和上線為企業(yè)培訓(xùn)數(shù)字化轉(zhuǎn)型進(jìn)行了積極探索。

3.3基于大數(shù)據(jù)的知識服務(wù)體系構(gòu)建

目前中郵網(wǎng)院學(xué)員獲取業(yè)務(wù)知識的主要手段是參加培訓(xùn)，學(xué)員的主動性不高，不能滿足學(xué)員隨時(shí)隨地學(xué)習(xí)的需求。同時(shí)，培訓(xùn)內(nèi)容還存在以下問題：知識資源主要是視頻課件，呈現(xiàn)形式單調(diào)；知識載體主要以整個(gè)課件、整篇文檔為單位向?qū)W員進(jìn)行展示，而不是以知識點(diǎn)的形式存儲，導(dǎo)致知識顆粒度較粗；知識以孤島方式存在，知識之間沒有建立聯(lián)系，沒有形成網(wǎng)狀的知識體系等。中郵網(wǎng)院利用大數(shù)據(jù)、人工智能和知識圖譜等信息化技術(shù)，以問題為導(dǎo)向，通過NLP自然語言處理，對大量非結(jié)構(gòu)化文本數(shù)據(jù)進(jìn)行分句和分詞處理，實(shí)現(xiàn)知識的抽??；通過圖數(shù)據(jù)庫技術(shù)，實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的存儲。通過知識抽取、知識融合、知識推理和知識更新，構(gòu)建基于實(shí)體—關(guān)系—屬性的高級語義知識服務(wù)體系，實(shí)現(xiàn)知識推理、知識搜索、知識問答、知識推薦等功能，賦能郵政企業(yè)百萬員工，滿足員工對業(yè)務(wù)知識和管理知識實(shí)時(shí)獲取的需要，為員工提供精準(zhǔn)、立體的知識服務(wù)。知識服務(wù)系統(tǒng)的構(gòu)建，一是改變了傳統(tǒng)的以培訓(xùn)為載體的知識灌輸形式，構(gòu)建了模式更新、粒度更細(xì)、服務(wù)更智能的知識服務(wù)解決方案；二是改變了傳統(tǒng)問答模式中問一答一的方式，答復(fù)的內(nèi)容以網(wǎng)狀形式進(jìn)行關(guān)聯(lián)；三是最大程度細(xì)化答復(fù)內(nèi)容的顆粒度，以知識點(diǎn)形式進(jìn)行呈現(xiàn)，而不是以整個(gè)課程的內(nèi)容向用戶進(jìn)行展示，目前針對支局（所）經(jīng)理和綜合柜員2個(gè)崗位梳理了15000余個(gè)知識點(diǎn)。知識服務(wù)體系的推廣和利用，可以顯著提高員工的工作效率，是知識傳播的有力工具和企業(yè)文化傳承的重要載體。

3.4培訓(xùn)學(xué)習(xí)大數(shù)據(jù)分析

中郵網(wǎng)院在日常生產(chǎn)運(yùn)營過程中，對培訓(xùn)學(xué)習(xí)開展情況進(jìn)行數(shù)據(jù)統(tǒng)計(jì)是一項(xiàng)非常繁重的工作，有來自郵政集團(tuán)人力資源部的要求，有來自郵儲銀行和中郵保險(xiǎn)等各板塊的需求，也有來自各省分公司對各省培訓(xùn)開展情況的訴求，而中郵網(wǎng)院培訓(xùn)系統(tǒng)的多樣性和多態(tài)性，增加了企業(yè)信息化架構(gòu)的復(fù)雜度。目前，郵政業(yè)務(wù)、郵儲銀行、中郵保險(xiǎn)等各分院相互獨(dú)立，各分院的業(yè)務(wù)培訓(xùn)、課程學(xué)習(xí)、考試競賽、資格認(rèn)證等后臺數(shù)據(jù)又相互分隔，在企業(yè)內(nèi)部形成諸多數(shù)據(jù)孤島，每次數(shù)據(jù)統(tǒng)計(jì)分析工作都要從最底層的各業(yè)務(wù)數(shù)據(jù)庫開始抽取數(shù)據(jù)，費(fèi)時(shí)費(fèi)力，無法高效支撐企業(yè)經(jīng)營決策，也無法應(yīng)對快速變化的業(yè)務(wù)發(fā)展，底層數(shù)據(jù)的互聯(lián)互通成為困擾企業(yè)發(fā)展的痛點(diǎn)之一。中郵網(wǎng)院利用大數(shù)據(jù)技術(shù)和平臺，通過對培訓(xùn)學(xué)習(xí)產(chǎn)生的12.6億海量數(shù)據(jù)進(jìn)行采集、存儲、計(jì)算、管理、挖掘和應(yīng)用，整合郵政業(yè)務(wù)、郵儲銀行、中郵保險(xiǎn)等各分院的多源數(shù)據(jù)，打破各系統(tǒng)的數(shù)據(jù)孤島，進(jìn)行可視化展示，轉(zhuǎn)變?yōu)閿?shù)據(jù)資產(chǎn)，快速形成數(shù)據(jù)服務(wù)能力。一是實(shí)現(xiàn)對學(xué)員培訓(xùn)學(xué)習(xí)行為的深入挖掘，發(fā)現(xiàn)學(xué)員最喜歡學(xué)習(xí)的時(shí)間集中在上午9:00～11:00、下午14:00～16:00和晚上19:00～21:00，全天24小時(shí)均有學(xué)員在學(xué)習(xí)，學(xué)習(xí)隨時(shí)在發(fā)生。二是進(jìn)行了全方位的業(yè)務(wù)運(yùn)行情況分析，包括移動學(xué)習(xí)App運(yùn)行情況、培訓(xùn)運(yùn)行情況、課程學(xué)習(xí)情況、考試開辦情況、直播運(yùn)行情況等，年訪問量超過6000萬人次，學(xué)習(xí)人次達(dá)7000萬，學(xué)習(xí)時(shí)長1500萬小時(shí)，年直播量1200多場。三是了解用戶群體特征，分析了各崗位群體、黨員群體、三級領(lǐng)導(dǎo)等群體的培訓(xùn)開展情況，洞察不同群體的學(xué)習(xí)特點(diǎn)和規(guī)律，發(fā)現(xiàn)黨員群體的學(xué)習(xí)積極性是非黨員群體的2倍以上。四是構(gòu)建了“人、培、學(xué)、考”多元化預(yù)警分析體系，使得管理人員在了解業(yè)務(wù)運(yùn)行情況的前提下，根據(jù)預(yù)警分析結(jié)果及時(shí)發(fā)現(xiàn)業(yè)務(wù)開展過程中存在的問題和風(fēng)險(xiǎn)。通過多維度大數(shù)據(jù)的深度分析，為企業(yè)管理者提供經(jīng)營決策服務(wù)，為企業(yè)精細(xì)化運(yùn)營提供數(shù)據(jù)支撐。

4中郵網(wǎng)院大數(shù)據(jù)分析的未來方向

目前，中郵網(wǎng)院大數(shù)據(jù)分析平臺的應(yīng)用主要集中在結(jié)構(gòu)化數(shù)據(jù)的分析上，今后一段時(shí)間要將重點(diǎn)從結(jié)構(gòu)化數(shù)據(jù)逐漸轉(zhuǎn)向非結(jié)構(gòu)化數(shù)據(jù)，結(jié)合人工智能算法，實(shí)現(xiàn)對圖片、音頻和視頻等信息的分析，例如基于大量的音視頻課件，利用深度學(xué)習(xí)對音視頻進(jìn)行場景分類、人物識別、語音識別、文字識別等多維度分析，形成層次化的分類標(biāo)簽，支撐準(zhǔn)確高效的視頻搜索，使用戶根據(jù)關(guān)鍵詞即可搜索出相關(guān)的音頻和視頻內(nèi)容，內(nèi)容可以具體定位到知識點(diǎn)，提升搜索體驗(yàn)。中郵網(wǎng)院大數(shù)據(jù)分析平臺可通過有效洞察數(shù)據(jù)價(jià)值，從多個(gè)維度挖掘新的業(yè)務(wù)增長點(diǎn)，分析學(xué)員學(xué)習(xí)行為，挖掘?qū)W員學(xué)習(xí)特點(diǎn)和規(guī)律，提供智能問答機(jī)器人、智能推薦、知識服務(wù)體系服務(wù)，以有效應(yīng)對快速變化的業(yè)務(wù)發(fā)展，為管理者提供企業(yè)經(jīng)營決策支持，賦能企業(yè)數(shù)字化轉(zhuǎn)型。

作者:劉樹軍 朱德軍 柴立巖 單位:石家莊郵電職業(yè)技術(shù)學(xué)院