大數(shù)據(jù)庫建設(shè)方案范文
時(shí)間:2023-06-01 10:42:51
導(dǎo)語:如何才能寫好一篇大數(shù)據(jù)庫建設(shè)方案,這就需要搜集整理更多的資料和文獻(xiàn),歡迎閱讀由公文云整理的十篇范文,供你借鑒。

篇1
【關(guān)鍵字】 互聯(lián)網(wǎng) 大數(shù)據(jù) 系統(tǒng)建設(shè)一、背景
隨著互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、數(shù)碼設(shè)備、物聯(lián)網(wǎng)等技術(shù)的發(fā)展,全球數(shù)據(jù)生產(chǎn)正在高速增長,信息已成為企業(yè)的戰(zhàn)略資產(chǎn),企業(yè)越來越需要長期保存各種數(shù)據(jù),以進(jìn)行用戶行為分析、市場研究等,服務(wù)企業(yè)發(fā)展。目前,“去管道化”成為電信運(yùn)營商提得最多和思考最多的問題,業(yè)內(nèi)認(rèn)為大數(shù)據(jù)是運(yùn)營商“去管道化”最有可能的實(shí)現(xiàn)形式之一,運(yùn)營商發(fā)展大數(shù)據(jù)具有其他行業(yè)無可比擬的優(yōu)勢,主要體現(xiàn)在:運(yùn)營商掌握數(shù)據(jù)充分全面;通信網(wǎng)絡(luò)數(shù)據(jù)提供的可持續(xù)性;運(yùn)營商對數(shù)據(jù)可以有效利用。
在此背景下,本文將對電信運(yùn)營商大數(shù)據(jù)應(yīng)用系統(tǒng)建設(shè)方案進(jìn)行探討,為省級電信運(yùn)營商部署大數(shù)據(jù)平臺提供借鑒。
二、大數(shù)據(jù)應(yīng)用系統(tǒng)功能架構(gòu)
大數(shù)據(jù)系統(tǒng)目標(biāo)架構(gòu),主要由五大核心平臺構(gòu)成,如下圖所示:
采集分發(fā)平臺:解決異構(gòu)數(shù)據(jù)源之間數(shù)據(jù)交互,滿足各種數(shù)據(jù)源之間數(shù)據(jù)統(tǒng)一采集和統(tǒng)一數(shù)據(jù)分發(fā),提升數(shù)據(jù)實(shí)時(shí)和準(zhǔn)實(shí)時(shí)海量數(shù)據(jù)采集分發(fā)能力;
實(shí)時(shí)分析平臺:實(shí)現(xiàn)實(shí)時(shí)寬表數(shù)據(jù)整合,提供實(shí)時(shí)報(bào)表,提供統(tǒng)一實(shí)時(shí)查詢;
離線分析平臺:Hadoop平臺解決海量結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)快速批處理效率、海量數(shù)據(jù)存儲能力;傳統(tǒng)ODS、EDW、數(shù)據(jù)集市采用MySQL平臺;
大數(shù)據(jù)運(yùn)營監(jiān)控平臺:解決大數(shù)據(jù)運(yùn)營監(jiān)控,調(diào)度,開發(fā),運(yùn)營維護(hù)問題處理和運(yùn)營分析平臺;
大數(shù)據(jù)數(shù)據(jù)服務(wù)平臺:滿足快速對外提供統(tǒng)一數(shù)據(jù)服務(wù)共享平臺。
三、大數(shù)據(jù)應(yīng)用系統(tǒng)數(shù)據(jù)庫建設(shè)
對于大數(shù)據(jù)平臺數(shù)據(jù)庫,建議采用傳統(tǒng)關(guān)系型數(shù)據(jù)庫+Hadoop的混搭方式進(jìn)行建設(shè),主要基于以下考慮:1、對于傳統(tǒng)結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù),采用關(guān)系型數(shù)據(jù)庫已非常成熟,新建平臺延續(xù)采用關(guān)系型數(shù)據(jù)庫處理傳統(tǒng)數(shù)據(jù),避免大量改動(dòng)。2、對于非結(jié)構(gòu)化數(shù)據(jù),則采用Hadopp架構(gòu)進(jìn)行處理,解決以下問題:海量數(shù)據(jù)儲存成本高;數(shù)據(jù)批量處理能力不足;計(jì)算和存儲擴(kuò)展能力受限;流式數(shù)據(jù)處理能力缺失;缺乏非結(jié)構(gòu)化數(shù)據(jù)的處理能力。
四、大數(shù)據(jù)應(yīng)用系統(tǒng)數(shù)據(jù)采集方案
電信運(yùn)營商大數(shù)據(jù)平臺數(shù)據(jù)主要來源為兩種:來自IT系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)和來自網(wǎng)絡(luò)的非結(jié)構(gòu)化數(shù)據(jù)。
4.1結(jié)構(gòu)化數(shù)據(jù)采集
數(shù)據(jù)來源主要包括來自CRM系統(tǒng)的客戶/用戶資料、產(chǎn)品/銷售品、產(chǎn)品訂購、業(yè)務(wù)辦理等,來自計(jì)費(fèi)系統(tǒng)的賬單、詳單、余額、繳費(fèi)、欠費(fèi)等,來自結(jié)算系統(tǒng)的結(jié)算清單、過往記錄等,來自客服系統(tǒng)的咨詢投訴、外呼等,來自網(wǎng)廳的電子訂購、業(yè)務(wù)辦理、電子渠道咨詢/投訴等,來自ITV的點(diǎn)播記錄、節(jié)目庫等,來自增值業(yè)務(wù)平臺的訂購與退訂等。
對于上述結(jié)構(gòu)化數(shù)據(jù),目前主要通過ODS系統(tǒng)進(jìn)行采集,大數(shù)據(jù)平臺直接與ODS系統(tǒng)做接口即可獲得,不需直接從系統(tǒng)采集,大大提升了數(shù)據(jù)采集的效率。
4.2非結(jié)構(gòu)化數(shù)據(jù)采集
非結(jié)構(gòu)化數(shù)據(jù)視圖如下圖所示:
1)固網(wǎng)DPI部署方案
以某電信省公司為例,其 IP城域網(wǎng)覆蓋所有地州,2015年底預(yù)計(jì)達(dá)到3000G出口鏈路,其中省會城域網(wǎng)出口1200G。
現(xiàn)網(wǎng)在IP城域網(wǎng)出口部署一套DPI系統(tǒng),具備280G帶寬的監(jiān)控能力(上下行),主要功能模塊為多終端私接監(jiān)控、 全協(xié)議分析。存在問題如下:覆蓋能力不足:覆蓋城域網(wǎng)規(guī)模9%,不具備對單地市出口的完整監(jiān)控能力。功能缺乏:無法實(shí)現(xiàn)終端識別、網(wǎng)站識別、應(yīng)用識別等功能。
本期可采用如下方案:
方案一:全覆蓋部署
在城域網(wǎng)出口部署,實(shí)現(xiàn)全覆蓋,共3000G。
方案二:兩地州及省會兩區(qū)縣輪詢方式部署
地州輪詢:采集設(shè)備部署位置為163骨干機(jī)房,容量配置為同時(shí)覆蓋兩個(gè)地州共620G。
省會區(qū)縣輪詢:采集設(shè)備部署位置為省會CR機(jī)房,容量配置為同時(shí)覆蓋兩個(gè)縣區(qū)共680G。
方案三:一地州及省會一區(qū)縣輪詢方式部署
地州輪詢:采集設(shè)備部署位置為163骨干機(jī)房,容量配置為同時(shí)覆蓋一個(gè)地州共310G。
省會區(qū)縣輪詢:采集設(shè)備部署位置為省會CR機(jī)房,容量配置為同時(shí)覆蓋一個(gè)縣區(qū)340G。
輪詢方式說明:建議輪詢周期不短于一個(gè)月,以免頻繁輪詢影響大數(shù)據(jù)分析系統(tǒng)的數(shù)據(jù)可用性和精準(zhǔn)度。
以上三種方案主要區(qū)別在于覆蓋范圍,以及相應(yīng)的投資,在投資充分的情況下,建議采用方案一,對城域網(wǎng)出口進(jìn)行全覆蓋部署,在投資緊張的情況下,建議采用方案三,對一地州及省會一區(qū)縣通過輪詢方式部署,后期根據(jù)投資情況再逐步擴(kuò)大覆蓋范圍。
2)分組域DPI部署方案
新建分組域DPI,分為采集部分和處理部分,對3G、4G、AAA等數(shù)據(jù)進(jìn)行采集,通過DPI解析后的數(shù)據(jù),同步給大數(shù)據(jù)平臺及其他相關(guān)平臺使用。
3)七號信令監(jiān)測系統(tǒng)改造方案
改造現(xiàn)有七號信令監(jiān)測系統(tǒng),提供對手機(jī)的信令采集,通過A口提供以下數(shù)據(jù):所有采集區(qū)域內(nèi)手機(jī)主叫的數(shù)據(jù);所有采集區(qū)域內(nèi)不處于關(guān)機(jī)或者占線的手機(jī)被呼的數(shù)據(jù)(不包含占線、關(guān)機(jī)被呼的數(shù)據(jù),信令中不包含此數(shù)據(jù));所有采集區(qū)域內(nèi)手機(jī)的短信數(shù)據(jù);所有采集區(qū)域內(nèi)手機(jī)的位置更新數(shù)據(jù)。
篇2
1.1 公有云平臺技術(shù)背景
從部署方式來看,云計(jì)算一般分為公有云、私有云和混合云三大類。其中公有云是指運(yùn)營者建設(shè)用以提供給外部非特定用戶的公共云服務(wù)平臺;私有云平臺僅為單一客戶提供服務(wù),其數(shù)據(jù)中心軟硬件的所有權(quán)為客戶所有,能夠根據(jù)客戶的特定需求在設(shè)備采購、數(shù)據(jù)中心構(gòu)建方面做定制,并滿足在合規(guī)性方面的要求。
1.2 國內(nèi)發(fā)展趨勢
包括中央電教館在內(nèi)的國內(nèi)各大政府機(jī)構(gòu)和省級政府,都在致力或傾向于將大型應(yīng)用類業(yè)務(wù)向社會公有云/混合云轉(zhuǎn)移。謀求更高效率、更低成本、更及時(shí)服務(wù)和更安全環(huán)境的云平臺托管,是當(dāng)今信息化系統(tǒng)服務(wù)的發(fā)展趨勢。尋求廣泛的服務(wù)托管、安全托管和運(yùn)維托管是大勢所趨。
1.3 天津市教育數(shù)據(jù)資源中心的現(xiàn)狀
經(jīng)過“十一五”、“十二五”兩期建設(shè),隨著信息中心工作的不斷發(fā)展,當(dāng)前數(shù)據(jù)中心的數(shù)據(jù)量比“十一五”翻了兩番,運(yùn)維工作量更是翻了數(shù)番,這對數(shù)據(jù)中心運(yùn)維人員的安全運(yùn)維能力也提出了前所未有的高要求。目前,中心機(jī)房和工大機(jī)房的承載能力已接近飽和,結(jié)合國際和國內(nèi)信息化的發(fā)展趨勢看,未來單靠單個(gè)IDC數(shù)據(jù)中心已經(jīng)難以滿足未來天津市教育信息化發(fā)展需求。參照中央電教館等云平臺系統(tǒng)運(yùn)維模式,我市教育信息化的發(fā)展迫切需要社會上有實(shí)力的企業(yè)建設(shè)的混合云解決方案,需要更加專業(yè)的團(tuán)隊(duì),協(xié)助完成“十三五”各類海量資源類系統(tǒng)的承載工作,進(jìn)一步助力我市教育系信息化工作上一個(gè)新臺階。
2 項(xiàng)目目標(biāo)及分項(xiàng)需求
2.1 項(xiàng)目建設(shè)目標(biāo)
本方案擬建設(shè)如下混合云模式:即由天津市教委教育信息化管理中心IDC機(jī)房構(gòu)建未來各類系統(tǒng)的核心數(shù)據(jù)庫、統(tǒng)一身份認(rèn)證平臺和數(shù)據(jù)分析和統(tǒng)計(jì)平臺,由公有云企業(yè)提供公有云業(yè)務(wù)承載空間,負(fù)責(zé)提供海量視頻和圖片文件優(yōu)化存儲、對外、信息安全和數(shù)據(jù)災(zāi)備服務(wù)。公有云服務(wù)提供商需提供不少于三個(gè)異地災(zāi)難備份數(shù)據(jù)中心,提供24小時(shí)不間斷同步和異步災(zāi)備服務(wù)。
2.2 云平臺服務(wù)需求
云平臺提供方應(yīng)該參照本需求,提供整體的云平臺解決方案,包含云主機(jī)、關(guān)系型數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫、簡單緩存服務(wù)、負(fù)載均衡、內(nèi)容分發(fā)網(wǎng)絡(luò)、對象存儲、大數(shù)據(jù)平臺服務(wù)、多媒體平臺服務(wù)、云安全服務(wù)、帶寬等方面。
相關(guān)術(shù)語如下解釋:
云主機(jī):是一種簡單高效、安全可靠、處理能力可彈性伸縮的計(jì)算服務(wù)。用戶無需提前購買硬件,即可迅速創(chuàng)建或釋放任意多臺云服務(wù)器,有效降低IT成 本,提升運(yùn)維效率,為用戶快速構(gòu)建穩(wěn)定可靠的應(yīng)用,降低網(wǎng)絡(luò)規(guī)模計(jì)算的難度,使用戶更專注于核心業(yè)務(wù)創(chuàng)新
非關(guān)系型數(shù)據(jù)庫:數(shù)據(jù)庫中的非關(guān)系型數(shù)據(jù)庫,通常情況下指支持NoSQL的數(shù)據(jù)庫服務(wù)或者云數(shù)據(jù)庫,提供高效、實(shí)時(shí)、穩(wěn)定的數(shù)據(jù)檢索服務(wù)。
大數(shù)據(jù)平臺服務(wù):通過對數(shù)據(jù)收集、存儲、變形、分析等過程,結(jié)合公有云分布式并行計(jì)算集群、機(jī)器學(xué)習(xí)集群、數(shù)據(jù)倉庫聯(lián)機(jī)分析集群實(shí)現(xiàn)數(shù)據(jù)智能推薦、應(yīng)用定制開發(fā)、在線報(bào)表等需求。
3 項(xiàng)目建設(shè)技術(shù)路線及實(shí)現(xiàn)手段
3.1 公有云平臺技術(shù)路線及實(shí)現(xiàn)
公有云廠商核心基礎(chǔ)架構(gòu)需具備10年以上的技術(shù)積累,需有上萬名國內(nèi)頂尖技術(shù)專家,并具有多款國內(nèi)領(lǐng)先互聯(lián)網(wǎng)產(chǎn)品的經(jīng)驗(yàn)。公有云廠商需在數(shù)據(jù)中心技術(shù),網(wǎng)絡(luò)技術(shù),安全技術(shù),分布式存儲技術(shù),大數(shù)據(jù)處理能力方面有豐富的經(jīng)驗(yàn),形成了領(lǐng)先的技術(shù)能力和平臺。
3.2 上線安檢服務(wù)技術(shù)路線及實(shí)現(xiàn)
根據(jù)上線安檢服務(wù)需求內(nèi)容,制定內(nèi)容檢查清單,逐一進(jìn)行核對和檢查,確保系統(tǒng)正常上線。
3.3 多網(wǎng)絡(luò)帶寬服務(wù)、CDN服務(wù)技術(shù)路線及實(shí)現(xiàn)
當(dāng)用戶訪問天津教委云平臺時(shí),瀏覽器將DNS域名解析請求發(fā)至本地DNS,本地DNS如果有緩存結(jié)果就直接返回IP,否則解析請求最終會到達(dá)CDNDNS服務(wù)器,它會根據(jù)本地DNS IP返回一個(gè)離用戶最近的CDN邊緣節(jié)點(diǎn)的IP給用戶。
4 項(xiàng)目部署與實(shí)施
項(xiàng)目建設(shè)、系統(tǒng)部署和實(shí)施的具體時(shí)間安排如表1。
5 驗(yàn)收指標(biāo)
驗(yàn)收的內(nèi)容包括以下幾個(gè)部分:
(1)驗(yàn)收內(nèi)容一般包括軟件驗(yàn)收(按功能要求的可執(zhí)行軟件、開發(fā)計(jì)劃文檔、 詳細(xì)設(shè)計(jì)文檔、質(zhì)量保證計(jì)劃、設(shè)備相應(yīng)附件、設(shè)備運(yùn)行、網(wǎng)絡(luò)運(yùn)行等);
(2)驗(yàn)收評測工作主要包括:文檔分析、方案制定、現(xiàn)場測試、問題單提交、測試報(bào)告;
(3)驗(yàn)收測試內(nèi)容主要包括:功能度、安全可靠性、易用性、可擴(kuò)充性、兼容性、效率、資源占用率、用戶文檔;
篇3
圖書館不但為居民提供知識內(nèi)容,也為科研單位提供數(shù)據(jù)服務(wù),特別是在大數(shù)據(jù)時(shí)代背景下,圖書館的現(xiàn)代化建設(shè)進(jìn)程更加凸顯。因此在大數(shù)據(jù)環(huán)境下如何管理和完善圖書館相關(guān)服務(wù)內(nèi)容就成為圖書館建設(shè)的重中之重。
一、大數(shù)據(jù)背景下的圖書館科研數(shù)據(jù)服務(wù)管理
圖書館可以為社會科研領(lǐng)域提供豐富充足且多元化的科研數(shù)據(jù)內(nèi)容,因此圖書館必須合理利用大數(shù)據(jù)技術(shù)來優(yōu)化數(shù)據(jù)服務(wù)內(nèi)容管理過程。對科研用戶數(shù)據(jù)的采集管理,具體來講包括以下四點(diǎn)內(nèi)容。
首先,圖書館應(yīng)該為科研用戶專門建設(shè)數(shù)據(jù)平臺,保證其中數(shù)據(jù)的通用性與可利用性?;谶@一點(diǎn),圖書館在科研用戶數(shù)據(jù)的采集管理方面應(yīng)該做到開發(fā)設(shè)計(jì)開源軟件,例如Dspace、Eprints等等。利用這些軟件功能來搭建數(shù)據(jù)平臺,保證數(shù)據(jù)在平臺內(nèi)實(shí)現(xiàn)通用、共享并被再利用,為圖書館管理工作節(jié)約成本開支。在平臺上,科研用戶可以基于平臺所提供的快捷搜索引擎來搜尋自己所需要的數(shù)據(jù),并將數(shù)據(jù)上傳到平臺加以利用。
其次,要強(qiáng)化用戶需求引導(dǎo)管理工作,例如主動(dòng)面向科研人員展示圖書館已有的大數(shù)據(jù)服務(wù)項(xiàng)目及服務(wù)內(nèi)容,以構(gòu)建科研人員數(shù)據(jù)服務(wù)的針對指向性,方便他們下一次來查閱資料,建立科研數(shù)據(jù)服務(wù)專欄。再者,如此管理也能樹立圖書館的精確性定位服務(wù)能力,并提高?D書館對外服務(wù)的管理效率。
第三,要強(qiáng)化數(shù)據(jù)管理工作。圖書館大數(shù)據(jù)技術(shù)下的資料信息數(shù)據(jù)具有生命周期性,所以對它們的管理一定要首先明確其所處生命周期階段,然后根據(jù)不同階段來實(shí)施不同的管理措施。為此,圖書館應(yīng)該建立有針對性的數(shù)據(jù)管理指南服務(wù)項(xiàng)目,并利用數(shù)據(jù)管理工具來對原數(shù)據(jù)進(jìn)行數(shù)據(jù)組織和安全備份,確保數(shù)據(jù)隨時(shí)可用。
最后,要實(shí)現(xiàn)嵌入式數(shù)據(jù)服務(wù)管理過程。如果圖書館為科研人員提供傳統(tǒng)的片段式數(shù)據(jù)服務(wù),很可能導(dǎo)致服務(wù)過程準(zhǔn)確度的下降,還有可能出現(xiàn)服務(wù)內(nèi)容重合問題。所以圖書館應(yīng)該改變數(shù)據(jù)服務(wù)管理模式,將傳統(tǒng)的數(shù)據(jù)服務(wù)管理從片段式轉(zhuǎn)變?yōu)榍度胧?,以保證為用戶提供可以持續(xù)跟蹤的嵌入式數(shù)據(jù)服務(wù)內(nèi)容,滿足用戶隨時(shí)隨地的數(shù)據(jù)應(yīng)用需求。甚至圖書館也可以和科研用戶聯(lián)手深入到科研項(xiàng)目課題研究過程當(dāng)中,利用圖書館儲備大數(shù)據(jù)內(nèi)容來解決問題,提高圖書館與科研人員之間的合作默契程度[1]。
二、大數(shù)據(jù)背景下的圖書館大數(shù)據(jù)平臺建設(shè)管理
大數(shù)據(jù)背景下圖書館的大數(shù)據(jù)平臺建設(shè)管理主要要基于以下3點(diǎn)步驟來展開:
第一步要為圖書館構(gòu)建數(shù)據(jù)物理存儲平臺,基于大數(shù)據(jù)技術(shù)將數(shù)據(jù)流通分類,這樣操作主要是因?yàn)閳D書館中待處理數(shù)據(jù)總量與種類繁多,所以如果采用統(tǒng)一標(biāo)準(zhǔn)的存儲方案可能會存在一定技術(shù)困難。按照用戶實(shí)際需要而定向匹配的數(shù)據(jù)存儲方案能夠?yàn)閳D書館更快搭建數(shù)據(jù)物理存儲平臺,明確管理內(nèi)容,為圖書館大數(shù)據(jù)平臺快速發(fā)展奠定基礎(chǔ)。
第二步要強(qiáng)調(diào)數(shù)據(jù)采集平臺有效構(gòu)建,解決傳統(tǒng)中圖書館盲目采集數(shù)據(jù)所造成的資源浪費(fèi)問題,同時(shí)減輕圖書館服務(wù)器運(yùn)行負(fù)擔(dān)。具體來講,數(shù)據(jù)采集管理工作要首先基于用戶方面所提交的需求性信息進(jìn)行分類分析,并找到其相對應(yīng)的數(shù)據(jù)源,根據(jù)數(shù)據(jù)源來制定數(shù)據(jù)處理方案;其次要基于相關(guān)數(shù)據(jù)進(jìn)行有效抽取和提煉;再次要對所采集到數(shù)據(jù)進(jìn)行數(shù)據(jù)變換,將其轉(zhuǎn)換為用戶可理解的簡易方式,同時(shí)明確數(shù)據(jù)采集平臺工作層次,進(jìn)而大幅度提高圖書館的大數(shù)據(jù)服務(wù)管理效率[2]。
第三步要構(gòu)建數(shù)據(jù)組織平臺,它也是當(dāng)前圖書館大數(shù)據(jù)管理工作中的重要環(huán)節(jié)。例如針對圖書館的數(shù)據(jù)編排、維護(hù)與更新工作都要依賴于數(shù)據(jù)組織平臺。就目前大數(shù)據(jù)技術(shù)發(fā)展形勢來看,像非關(guān)系型數(shù)據(jù)庫NoSQL、關(guān)系數(shù)據(jù)庫RDBMS等都能滿足對圖書館信息數(shù)據(jù)的行列組織,它基本符合圖書館的傳統(tǒng)書目排布策略,能保持圖書館數(shù)據(jù)管理的一致性和針對性。比如說在NoSQL數(shù)據(jù)庫運(yùn)營模式下,就能對圖書館相應(yīng)數(shù)據(jù)進(jìn)行按列存放管理,縮短用戶的數(shù)據(jù)搜索時(shí)間,同時(shí)解決服務(wù)系統(tǒng)中可能存在的快速響應(yīng)問題,提高用戶需求的系統(tǒng)回饋效率[3]。
篇4
關(guān)鍵詞 教育大數(shù)據(jù) 個(gè)性化學(xué)習(xí) 學(xué)習(xí)路徑
教育部2015年工作要點(diǎn)中提出:將進(jìn)一步推進(jìn)《教育信息化十年發(fā)展規(guī)劃》中的“三通兩平臺”建設(shè)與應(yīng)用,力爭實(shí)現(xiàn)學(xué)?;ヂ?lián)網(wǎng)全覆蓋[1]。教育信息化的推進(jìn)以及教育基礎(chǔ)設(shè)施的建設(shè),為大數(shù)據(jù)技術(shù)在教育領(lǐng)域的應(yīng)用奠定了良好的基礎(chǔ)。
大數(shù)據(jù)技術(shù)正在對社會生產(chǎn)生活產(chǎn)生深刻的影響,過去無法收集和分析的數(shù)據(jù)被大數(shù)據(jù)技術(shù)賦予了新的可能性,其中關(guān)于人們行為和喜好的數(shù)據(jù)挖掘,使大數(shù)據(jù)成為了教育變革與創(chuàng)新的重要推動(dòng)力。傳統(tǒng)的教育決策通常建立在個(gè)人教學(xué)經(jīng)驗(yàn)和簡單的數(shù)據(jù)分析基礎(chǔ)之上,無法提供給每個(gè)學(xué)生最有效的教學(xué)方式。而大數(shù)據(jù)技術(shù)對海量教育數(shù)據(jù)的留存和深度挖掘,能幫助教師更深入地了解學(xué)生知識的掌握情況以及學(xué)習(xí)偏好,有助于教育機(jī)構(gòu)和教育工作者彌補(bǔ)或改變現(xiàn)行教育中的不足,將推動(dòng)傳統(tǒng)以“教師為中心”的教學(xué)方式向以“學(xué)生為中心”教學(xué)方式的轉(zhuǎn)變,真正做到以人為本、因材施教。
一、教育大數(shù)據(jù)的概念和特征
教育大數(shù)據(jù)作為大數(shù)據(jù)在教育領(lǐng)域中的應(yīng)用,至今國內(nèi)外還沒有教育機(jī)構(gòu)給出明確且統(tǒng)一的定義。教育大數(shù)據(jù)可以被理解為所涉及的教育數(shù)據(jù)規(guī)模巨大且種類繁多,以至于傳統(tǒng)的處理工具無法進(jìn)行有效的擷取和處理的教育數(shù)據(jù)集。教育大數(shù)據(jù)主要有以下幾個(gè)特征。
1.海量性
麥肯錫對大數(shù)據(jù)的定義是指那些規(guī)模大到傳統(tǒng)的數(shù)據(jù)庫軟件工具無法進(jìn)行采集、存儲和分析的數(shù)據(jù)集[2]。因此,數(shù)據(jù)量大也是教育大數(shù)據(jù)的首要特征。隨著信息化的發(fā)展,大部分學(xué)校都采用先進(jìn)的信息管理系統(tǒng)進(jìn)行教學(xué)管理,教學(xué)管理與教學(xué)資源的全面整合會產(chǎn)生和記錄大量的教學(xué)信息。另外,越來越多的學(xué)習(xí)行為在網(wǎng)絡(luò)上發(fā)生,也導(dǎo)致在線學(xué)習(xí)平臺所生成的教育數(shù)據(jù)量呈爆發(fā)性增長的趨勢。
2.多樣性
德勤公司專家羅伯特指出:“規(guī)模并不是常規(guī)數(shù)據(jù)和大數(shù)據(jù)之間最主要的區(qū)別,大數(shù)據(jù)的重要屬性應(yīng)該是復(fù)雜性和多樣性?!盵3]傳統(tǒng)的教育數(shù)據(jù)具有明顯的結(jié)構(gòu)化特征,但隨著教學(xué)手段和教學(xué)工具的飛速發(fā)展,教育數(shù)據(jù)的品種不斷增加,數(shù)據(jù)結(jié)構(gòu)變得更加復(fù)雜,形成了多樣且異質(zhì)的教育大數(shù)據(jù),如教學(xué)視頻、音頻、日志、郵件等,這些非結(jié)構(gòu)化的數(shù)據(jù)背后隱藏著大量的信息,比如學(xué)生的學(xué)習(xí)態(tài)度、能力和偏好。大數(shù)據(jù)時(shí)代的教育工作者要學(xué)會利用和分析這些不同類型的教育數(shù)據(jù),以還原學(xué)生學(xué)習(xí)情況的完整性和真實(shí)性。
3.動(dòng)態(tài)性
傳統(tǒng)的教育數(shù)據(jù)更專注于靜態(tài)記錄學(xué)生的考試成績,而教育大數(shù)據(jù)有能力跟蹤和掌握學(xué)生的學(xué)習(xí)動(dòng)態(tài),比如學(xué)生注意力集中時(shí)間、回答問題次數(shù)等。這些數(shù)據(jù)是動(dòng)態(tài)且高速變化的,教師不僅可以根據(jù)實(shí)時(shí)的教學(xué)數(shù)據(jù)監(jiān)測,動(dòng)態(tài)地評價(jià)學(xué)生的學(xué)習(xí)成績和學(xué)習(xí)效果;還可以根據(jù)變化的學(xué)習(xí)數(shù)據(jù)隨時(shí)調(diào)整教學(xué)方案。斯坦福大學(xué)吳恩達(dá)教授跟蹤學(xué)生觀看視頻講座的行為發(fā)現(xiàn):如果學(xué)生中途點(diǎn)擊了關(guān)閉或快播鍵,暗示了講座內(nèi)容晦澀難懂或?qū)W生不感興趣,教師可以據(jù)此對視頻內(nèi)容進(jìn)行調(diào)整,以期通過改善教學(xué)內(nèi)容來提高學(xué)生的理解力和興趣度[4]。
4.價(jià)值性
維克托在《大數(shù)據(jù)時(shí)代》中指出:“大數(shù)據(jù)時(shí)代最重要的是從大數(shù)據(jù)中挖掘價(jià)值?!盵5]目前學(xué)校所產(chǎn)生的教學(xué)數(shù)據(jù)都是由很多學(xué)生行為片段組成且處于分散狀態(tài),需要使用大數(shù)據(jù)技術(shù)對這些數(shù)據(jù)進(jìn)行整合和利用,通過對這些被鎖在“數(shù)據(jù)孤島”上的海量數(shù)據(jù)進(jìn)行處理,獲得具有重大價(jià)值的學(xué)生行為分析結(jié)果,并利用它們?yōu)楦纳茖W(xué)生的成績提供個(gè)性化的服務(wù)。教育大數(shù)據(jù)對學(xué)生、家長和教師都具有很高的價(jià)值,它可以幫助學(xué)生提高學(xué)習(xí)成績、幫助家長理解學(xué)生的學(xué)習(xí)行為、幫助教師改進(jìn)教學(xué)方案,以確保每個(gè)學(xué)生獲得有效且高效的定制教育。
5.真實(shí)性
教育大數(shù)據(jù)注重提高數(shù)據(jù)分析的真實(shí)性和可靠性,傳統(tǒng)的教育數(shù)據(jù)由于學(xué)校為了排名、教師為了業(yè)績等原因可能被修改或粉飾,這樣得到的不真實(shí)數(shù)據(jù)就失去了對學(xué)生學(xué)習(xí)情況判斷的準(zhǔn)確性。而教育大數(shù)據(jù)由于基數(shù)巨大,不是憑借某一個(gè)數(shù)據(jù)對學(xué)生進(jìn)行評價(jià),而是依靠海量的全息數(shù)據(jù)對學(xué)生進(jìn)行整體評定,即使某些被修改過的錯(cuò)誤信息存在,也不會影響對學(xué)生的最終評價(jià)結(jié)果。
二、基于教育大數(shù)據(jù)的個(gè)性化學(xué)習(xí)模式構(gòu)建
個(gè)性化的學(xué)習(xí)模式強(qiáng)調(diào)“一個(gè)尺寸適合一個(gè)人”的教學(xué)方式,通過大數(shù)據(jù)技術(shù)來實(shí)現(xiàn)個(gè)性化教學(xué),使知識的傳授能夠適應(yīng)特定的教學(xué)環(huán)境、學(xué)習(xí)偏好和學(xué)生能力。個(gè)性化學(xué)習(xí)模式由以下幾個(gè)部分組成。
1.學(xué)生學(xué)習(xí)數(shù)據(jù)庫
個(gè)性化學(xué)習(xí)模式強(qiáng)調(diào)“大數(shù)據(jù)驅(qū)動(dòng)”,由學(xué)習(xí)數(shù)據(jù)庫記錄和存儲大量實(shí)時(shí)、可靠的學(xué)生學(xué)習(xí)行為數(shù)據(jù),例如學(xué)習(xí)路徑、日志、討論、作業(yè)等。大數(shù)據(jù)技術(shù)的優(yōu)勢就體現(xiàn)在可以對各種非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行采集和存儲,課堂教學(xué)、在線學(xué)習(xí)、輔助教學(xué)工具都可以作為數(shù)據(jù)收集的平臺,每次學(xué)生的點(diǎn)擊、討論版的互動(dòng)、博客的進(jìn)入或任何微小的活動(dòng)都會被記錄下來,生成每生每課的數(shù)以萬計(jì)的學(xué)習(xí)數(shù)據(jù),并縱向傳遞到分析系統(tǒng),成為下一步個(gè)性化學(xué)習(xí)分析的重要基礎(chǔ)資源。
2.學(xué)生基礎(chǔ)數(shù)據(jù)庫
學(xué)生基礎(chǔ)數(shù)據(jù)庫包含了學(xué)生的各種基本信息(姓名、年齡、專業(yè)、愛好等)、學(xué)生的歷史學(xué)習(xí)信息(成績、先導(dǎo)課程、問卷調(diào)查等)。要確保為學(xué)習(xí)者制定最適合的學(xué)習(xí)路徑,不能僅靠學(xué)生的學(xué)習(xí)行為數(shù)據(jù),還要參照歷史學(xué)習(xí)數(shù)據(jù),這些數(shù)據(jù)會綜合反映學(xué)生的知識儲備、學(xué)習(xí)偏好、努力程度等信息,會形成更加立體的學(xué)生學(xué)習(xí)影像。
3.分析系統(tǒng)
分析系統(tǒng)是對學(xué)習(xí)數(shù)據(jù)庫中跟蹤學(xué)生學(xué)習(xí)軌跡所存儲的大量數(shù)據(jù)進(jìn)行處理和分析。分析的內(nèi)容主要包括:學(xué)生學(xué)習(xí)表現(xiàn)、課程與教材選擇是否正確、教學(xué)方法是否合適等。分析過程首先要對原始學(xué)習(xí)數(shù)據(jù)進(jìn)行歸納和整理,去除無關(guān)或難以識別的冗余數(shù)據(jù),數(shù)據(jù)的真實(shí)性和時(shí)效性是保證最終得出準(zhǔn)確分析結(jié)論的關(guān)鍵。然后通過大數(shù)據(jù)方法將數(shù)據(jù)轉(zhuǎn)化成可以被洞察和操作的模式,獲取數(shù)據(jù)當(dāng)中潛在的、有效的、規(guī)律性的、可以被理解的信息,并形成可視化分析報(bào)告。
4.自適應(yīng)系統(tǒng)
自適應(yīng)系統(tǒng)主要通過分析系統(tǒng)得出的反饋對學(xué)習(xí)過程進(jìn)行自我調(diào)整和管理,學(xué)生基于數(shù)據(jù)收集和分析的可視化結(jié)論來調(diào)整學(xué)習(xí)路徑,比如更換選修課程和學(xué)習(xí)材料。由于學(xué)生的個(gè)體情況有很大差異,自適應(yīng)系統(tǒng)會利用人工智能軟件根據(jù)學(xué)生對學(xué)習(xí)內(nèi)容的接受程度,自動(dòng)對學(xué)生的學(xué)習(xí)行為作出響應(yīng),幫助學(xué)生調(diào)整學(xué)習(xí)方案。在自適應(yīng)學(xué)習(xí)系統(tǒng)中,學(xué)習(xí)不是被動(dòng)地接受知識的過程,而是在更正學(xué)習(xí)過程中發(fā)現(xiàn)感興趣和擅長的知識的過程。自適應(yīng)系統(tǒng)增加了學(xué)生學(xué)習(xí)的主動(dòng)性,調(diào)節(jié)了學(xué)生的學(xué)習(xí)狀態(tài)和獨(dú)立思考能力,改變了傳統(tǒng)學(xué)習(xí)的被動(dòng)局面。
5.個(gè)性化干預(yù)
個(gè)性化的學(xué)習(xí)干預(yù)是通過對學(xué)習(xí)者基礎(chǔ)數(shù)據(jù)庫和系統(tǒng)內(nèi)學(xué)習(xí)數(shù)據(jù)庫的數(shù)據(jù)進(jìn)行整合,基于分析系統(tǒng)得出的可視化分析結(jié)論,結(jié)合教師的教學(xué)經(jīng)驗(yàn),對學(xué)習(xí)者的學(xué)習(xí)軌跡進(jìn)行修訂和改善的干預(yù)服務(wù)。對于學(xué)習(xí)效果較差的學(xué)生要通過互動(dòng)平臺及時(shí)給予幫助和干預(yù),其目的在于通過修訂教學(xué)方案和個(gè)性化資源推送來提高學(xué)習(xí)者的學(xué)習(xí)效率,并對學(xué)習(xí)者未來的學(xué)習(xí)行為進(jìn)行智能化預(yù)測。個(gè)性化的教學(xué)干預(yù)摒棄了傳統(tǒng)的“合格-不合格”的評價(jià)系統(tǒng),強(qiáng)調(diào)通過數(shù)據(jù)分析來評估學(xué)習(xí)者的學(xué)習(xí)情況并掌握學(xué)習(xí)者思考和解決問題的方式,以便為其提供必要的引導(dǎo)和幫助,最終得到學(xué)習(xí)者更全面且精準(zhǔn)的評價(jià)。
由圖1可知,個(gè)性化學(xué)習(xí)模式的流程為:由學(xué)生學(xué)習(xí)數(shù)據(jù)庫收集原始學(xué)習(xí)軌跡數(shù)據(jù)傳遞到分析系統(tǒng);分析系統(tǒng)通過數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析功能,利用各種大數(shù)據(jù)技術(shù)生成可視化的學(xué)生學(xué)習(xí)行為分析報(bào)告;自適應(yīng)系統(tǒng)通過數(shù)據(jù)挖掘和學(xué)習(xí)分析等工具分析出來的報(bào)告,評估學(xué)生的學(xué)習(xí)過程,發(fā)現(xiàn)潛在的問題并進(jìn)行智能干預(yù),引導(dǎo)學(xué)生對學(xué)習(xí)內(nèi)容進(jìn)行適應(yīng)性修正;教師整合基礎(chǔ)數(shù)據(jù)庫數(shù)據(jù)和分析系統(tǒng)得出的結(jié)論,結(jié)合多年的教學(xué)經(jīng)驗(yàn),通過干預(yù)系統(tǒng)對學(xué)生的學(xué)習(xí)路徑進(jìn)行人為的教學(xué)干預(yù),對教學(xué)方案進(jìn)行調(diào)整和修訂,對學(xué)生未來的學(xué)習(xí)情況進(jìn)行預(yù)測,將傳統(tǒng)的同質(zhì)教育演化成適應(yīng)每位學(xué)生個(gè)性化需求的定制教育。
三、基于教育大數(shù)據(jù)的個(gè)性化學(xué)習(xí)模式面臨的挑戰(zhàn)
大數(shù)據(jù)技術(shù)運(yùn)用于教育領(lǐng)域,為傳統(tǒng)的“批量生產(chǎn)”式的教育模式帶來了巨大變革,將引領(lǐng)教育進(jìn)入全新的高度個(gè)性化的時(shí)代。但是,個(gè)性化學(xué)習(xí)模式中所有系統(tǒng)相互作用的前提條件是教學(xué)數(shù)據(jù)提供的準(zhǔn)確性和及時(shí)性,只有在各系統(tǒng)之間保持快速、及時(shí)和準(zhǔn)確的信息傳遞的情況下,大數(shù)據(jù)分析對教學(xué)的作用才能凸現(xiàn)出來。但現(xiàn)在許多學(xué)校的教學(xué)仍然以傳統(tǒng)的面對面課堂教學(xué)為主,數(shù)據(jù)的傳遞、轉(zhuǎn)換和分析可能出現(xiàn)滯后的情況,會影響最終干預(yù)系統(tǒng)分析結(jié)果的有效性。因此,大數(shù)據(jù)技術(shù)要在教學(xué)領(lǐng)域發(fā)揮其應(yīng)有的作用,還需要學(xué)校大力推進(jìn)教育信息化的建設(shè),提高教學(xué)數(shù)據(jù)處理和分析的能力,才能充分發(fā)揮個(gè)性化學(xué)習(xí)模式的作用,真正實(shí)現(xiàn)教育的個(gè)性化培養(yǎng)。
對學(xué)生學(xué)習(xí)軌跡進(jìn)行跟蹤、記錄和挖掘,不可避免地涉及到學(xué)生信息的保護(hù)問題,尤其在現(xiàn)有個(gè)人隱私的法律法規(guī)不夠健全的情況下,教育大數(shù)據(jù)領(lǐng)域隱私規(guī)則的制定變得迫在眉睫。教育管理者要意識到大數(shù)據(jù)的使用將涉及到來自道德和法律的雙重挑戰(zhàn),學(xué)生是教育大數(shù)據(jù)的創(chuàng)造者和所有者,在對教育數(shù)據(jù)進(jìn)行采集和分析的時(shí)候,應(yīng)取得學(xué)生和家長的認(rèn)同和信任,同時(shí)制定有關(guān)學(xué)生隱私保護(hù)的法律法規(guī),以保證所有收集到的學(xué)生數(shù)據(jù)都應(yīng)用于改善教學(xué)。
參考文獻(xiàn)
[1] 教育信息化十年發(fā)展規(guī)劃(2011~2020年)[EB/OL].[2015-10-20].http:///web/content.php?id=6853.
[2] Big data:“The next frontier for innovation competition and productivity”[EB/OL].[2015-09-08].http:///news/2011/06/BigData.
[3] 陸Z.大數(shù)據(jù)及其在教育中的應(yīng)用[J].上海教育科研,2013(9).
[4] Viktor Mayer-Sch?nberger.Learning With Big Data[M].Create Space Independent Publishing,2014.
篇5
目前,水產(chǎn)品監(jiān)測是水產(chǎn)品質(zhì)量安全監(jiān)管的重要手段,農(nóng)業(yè)部漁業(yè)局在國家層面開展了水產(chǎn)品質(zhì)量安全監(jiān)督抽查、風(fēng)險(xiǎn)隱患排查、專項(xiàng)抽檢等水產(chǎn)品質(zhì)量安全監(jiān)測工作。而監(jiān)測工作的信息化,可保障監(jiān)測工作的科學(xué)性和公正性,并能加強(qiáng)監(jiān)測結(jié)果分析、利用,提高監(jiān)管工作效率。
本文作者在實(shí)際工作中從事水產(chǎn)品質(zhì)量安全監(jiān)測數(shù)據(jù)庫管理工作,針對當(dāng)前水產(chǎn)品質(zhì)量安全數(shù)據(jù)庫存在的不足,結(jié)合水產(chǎn)品質(zhì)量安全監(jiān)管工作實(shí)際,對現(xiàn)有水產(chǎn)品質(zhì)量安全監(jiān)督抽查等數(shù)據(jù)庫進(jìn)行了重新構(gòu)架、整合和設(shè)計(jì),以期提供數(shù)據(jù)庫的實(shí)用性,并滿足下一階段水產(chǎn)品質(zhì)量監(jiān)管工作需求。
二、現(xiàn)有數(shù)據(jù)庫簡介及不足
現(xiàn)有信息系統(tǒng)涉及水產(chǎn)品質(zhì)量安全監(jiān)測相關(guān)領(lǐng)域,基本完成了水產(chǎn)品質(zhì)量安全監(jiān)測技術(shù)支撐信息化初期建設(shè)?,F(xiàn)有數(shù)據(jù)庫包括“產(chǎn)地水產(chǎn)品質(zhì)量安全監(jiān)督抽查生產(chǎn)單位數(shù)據(jù)庫”、“水產(chǎn)苗種質(zhì)量安全監(jiān)督抽查生產(chǎn)單位數(shù)據(jù)庫”和“水產(chǎn)品質(zhì)量安全檢測信息管理系統(tǒng)”三個(gè)數(shù)據(jù)庫。從內(nèi)容上看,三個(gè)數(shù)據(jù)庫分別集成了產(chǎn)地水產(chǎn)品養(yǎng)殖生產(chǎn)單位信息、水產(chǎn)苗種養(yǎng)殖生產(chǎn)單位信息和產(chǎn)地水產(chǎn)品質(zhì)量安全監(jiān)督抽查檢測數(shù)據(jù)三方面內(nèi)容。
但目前的數(shù)據(jù)庫與行業(yè)監(jiān)管需求相比,目前的系統(tǒng)仍有待完善。橫向看,目前的各類工作系統(tǒng)或數(shù)據(jù)庫間沒有進(jìn)一步整合,各類數(shù)據(jù)間不能互相銜接、有效共享;縱向看,各類數(shù)據(jù)沒有深入挖掘,功能沒有深度拓展,尚不能實(shí)現(xiàn)水產(chǎn)品質(zhì)量安全大數(shù)據(jù)的復(fù)雜分析和水產(chǎn)品質(zhì)量安全預(yù)測預(yù)警。
(1)用戶使用不便利,影響用戶的使用積極性(沒有信息批量導(dǎo)入導(dǎo)出功能)
(2)數(shù)據(jù)庫開發(fā)構(gòu)架落后,不能滿足發(fā)展要求(如無接口、無法繼續(xù)開發(fā)信息批量導(dǎo)入導(dǎo)出功能,不能完成數(shù)據(jù)復(fù)雜分析)
(3)數(shù)據(jù)庫分別獨(dú)立且功能分散,不能完成大數(shù)據(jù)分析和數(shù)據(jù)整合(現(xiàn)行幾個(gè)數(shù)據(jù)庫分別獨(dú)立,數(shù)據(jù)不能共享)
三、擬構(gòu)建信息平臺主要內(nèi)容、功能和定位
擬對現(xiàn)有信息系統(tǒng)進(jìn)行升級、改造,在現(xiàn)有信息系統(tǒng)基礎(chǔ)上,進(jìn)一步開發(fā)軟件系統(tǒng),整合水產(chǎn)品質(zhì)量安全監(jiān)測大數(shù)據(jù),強(qiáng)化功能應(yīng)用和信息安全,建立多級共享的網(wǎng)絡(luò)平臺,構(gòu)建“水產(chǎn)品質(zhì)量安全監(jiān)測信息平臺”。平臺擬由支撐體系管理工作系統(tǒng)、水產(chǎn)品質(zhì)量安全檢測數(shù)據(jù)管理系統(tǒng)和水產(chǎn)品質(zhì)檢機(jī)構(gòu)基礎(chǔ)數(shù)據(jù)系統(tǒng)等三大系統(tǒng)模塊構(gòu)成。
功能提升主要表現(xiàn)在:一是,整合產(chǎn)地水產(chǎn)品質(zhì)量安全監(jiān)督抽查生產(chǎn)單位數(shù)據(jù)、水產(chǎn)苗種質(zhì)量安全監(jiān)督抽查生產(chǎn)單位數(shù)據(jù)庫平臺功能,開發(fā)監(jiān)測任務(wù)管理工作系統(tǒng),完成計(jì)劃制定、任務(wù)下達(dá)、企業(yè)抽取、結(jié)果上報(bào)等功能,提升支撐體系管理和工作流程的規(guī)范、高效和一體化;二是,增加貝類、捕撈水產(chǎn)品、水產(chǎn)投入品數(shù)據(jù)庫建設(shè)內(nèi)容,并集成已有產(chǎn)地水產(chǎn)品質(zhì)量安全監(jiān)督抽查、水產(chǎn)苗種質(zhì)量安全監(jiān)督抽查等水產(chǎn)品質(zhì)量安全檢測信息數(shù)據(jù)庫,開發(fā)水產(chǎn)品質(zhì)量安全檢測數(shù)據(jù)管理系統(tǒng),并深度拓展數(shù)據(jù)功能,建立多層級、多維度的質(zhì)量安全檢測數(shù)據(jù)采集、共享網(wǎng)絡(luò),實(shí)現(xiàn)數(shù)據(jù)復(fù)雜分析及水產(chǎn)品質(zhì)量安全預(yù)警功能;三是,對現(xiàn)有水產(chǎn)品質(zhì)檢機(jī)構(gòu)管理功能進(jìn)行升級,形成質(zhì)檢體系管理模塊兒,強(qiáng)化信息通訊功能和對質(zhì)檢體系建設(shè)信息的收集能力。上述系統(tǒng)密切結(jié)合,互為補(bǔ)充,提高數(shù)據(jù)分析和預(yù)警預(yù)報(bào)準(zhǔn)確性,進(jìn)一步加強(qiáng)對行業(yè)監(jiān)管的支撐能力。
升級、改造后的信息平臺,將能顯著提升支撐體系運(yùn)轉(zhuǎn)效率,高效支撐行業(yè)監(jiān)管,并為養(yǎng)殖生產(chǎn)和政府部門針對性地開展養(yǎng)殖規(guī)劃和水產(chǎn)品質(zhì)量安全管理政策措施提供科學(xué)依據(jù),對提高我國養(yǎng)殖水產(chǎn)品質(zhì)量安全科學(xué)研究、技術(shù)支撐和管理實(shí)踐具有十分重要的意義。
四、擬開發(fā)數(shù)據(jù)庫構(gòu)架和設(shè)想(見以下方案)
水產(chǎn)品質(zhì)量安全數(shù)據(jù)管理系統(tǒng)建設(shè)方案
本系統(tǒng)用于上報(bào)和管理水產(chǎn)品質(zhì)量安全檢測數(shù)據(jù)、生產(chǎn)企業(yè)信息、實(shí)驗(yàn)室基礎(chǔ)信息,集信息和管理于一體,系統(tǒng)建設(shè)突出集成、開放、易用、安全的原則,目的是為水產(chǎn)品質(zhì)量安全管理、科研和交流等工作提供數(shù)據(jù)平臺和技術(shù)支撐。
一、系統(tǒng)架構(gòu)
系統(tǒng)首頁面集成各類數(shù)據(jù)庫、接口以及信息窗口。
(一)集成的數(shù)據(jù)庫
1.產(chǎn)地水產(chǎn)品質(zhì)量安全監(jiān)督抽查檢測信息數(shù)據(jù)庫
2.產(chǎn)地水產(chǎn)養(yǎng)殖生產(chǎn)企業(yè)數(shù)據(jù)庫
3.水產(chǎn)苗種生產(chǎn)企業(yè)數(shù)據(jù)庫
4.質(zhì)檢機(jī)構(gòu)管理數(shù)據(jù)庫
(二)數(shù)據(jù)庫接口
涉及暫緩開發(fā)的苗種檢測信息、貝類檢測信息和捕撈產(chǎn)品檢測信息等數(shù)據(jù)庫。
(三)信息窗口
包括“通知公告”、“新聞動(dòng)態(tài)”、“政策文件”、“質(zhì)量標(biāo)準(zhǔn)”、“交流專區(qū)”和“下載專區(qū)”等內(nèi)容。
二、主要功能
本系統(tǒng)集成檢測數(shù)據(jù)、生產(chǎn)企業(yè)、質(zhì)檢機(jī)構(gòu)相關(guān)數(shù)據(jù)的上報(bào)、分析和管理,集信息和交流于一體,系統(tǒng)集成各數(shù)據(jù)庫、接口及信息窗口,主要功能如下:
(一)集成的數(shù)據(jù)庫
1.產(chǎn)地水產(chǎn)品質(zhì)量安全監(jiān)督抽查檢測信息數(shù)據(jù)庫
本數(shù)據(jù)庫用于上報(bào)和管理產(chǎn)地水產(chǎn)品質(zhì)量安全監(jiān)督抽查檢測信息,目的是服務(wù)水產(chǎn)品質(zhì)量安全科研和管理。實(shí)現(xiàn)方便快捷的錄入、查詢和管理產(chǎn)地水產(chǎn)品質(zhì)量安全監(jiān)督抽查檢測信息,用數(shù)據(jù)庫實(shí)現(xiàn)數(shù)據(jù)上報(bào)、匯總、分析和生產(chǎn)報(bào)告等功能。
2.產(chǎn)地水產(chǎn)養(yǎng)殖生產(chǎn)企業(yè)數(shù)據(jù)庫
本數(shù)據(jù)庫用于上報(bào)和管理全國產(chǎn)地養(yǎng)殖水產(chǎn)品生產(chǎn)企業(yè)信息,目的是服務(wù)農(nóng)業(yè)部開展產(chǎn)地水產(chǎn)品質(zhì)量安全監(jiān)督抽查生產(chǎn)企業(yè)隨機(jī)抽取工作。實(shí)現(xiàn)方便快捷的上傳、查詢和管理全國產(chǎn)地水產(chǎn)養(yǎng)殖生產(chǎn)企業(yè)數(shù)據(jù),能開展基于復(fù)查選擇條件的企業(yè)記錄的隨機(jī)抽取。
3.水產(chǎn)苗種生產(chǎn)企業(yè)數(shù)據(jù)庫
同產(chǎn)地水產(chǎn)品養(yǎng)殖生產(chǎn)企業(yè)數(shù)據(jù)庫。
4.質(zhì)檢機(jī)構(gòu)管理數(shù)據(jù)庫
本數(shù)據(jù)庫用于上報(bào)和管理質(zhì)檢機(jī)構(gòu)基礎(chǔ)信息,目的是服務(wù)水產(chǎn)品質(zhì)量安全檢測機(jī)構(gòu)管理。實(shí)現(xiàn)方便快捷的上傳、查詢和管理質(zhì)檢機(jī)構(gòu)基礎(chǔ)信息,用數(shù)據(jù)庫實(shí)現(xiàn)數(shù)據(jù)查詢和統(tǒng)計(jì)等功能。
(二)其他檢測信息數(shù)據(jù)庫接口
預(yù)留苗種檢測信息、貝類檢測信息、捕撈產(chǎn)品檢測信息等數(shù)據(jù)庫接口,功能與產(chǎn)地水產(chǎn)品質(zhì)量安全監(jiān)督抽查檢測信息數(shù)據(jù)庫類同,保證后續(xù)擴(kuò)展的數(shù)據(jù)庫兼容性,能實(shí)施數(shù)據(jù)對接。
(三)信息窗口
“通知公告”、“新聞動(dòng)態(tài)”、“質(zhì)量標(biāo)準(zhǔn)”、“政策文件”、“等部分主要用來及更新有關(guān)信息,具有、刪除和查詢功能。
三、使用對象
各集成數(shù)據(jù)庫的使用者,各質(zhì)檢機(jī)構(gòu)、省、市級行政主管部門、中國水產(chǎn)科學(xué)研究院質(zhì)量與標(biāo)準(zhǔn)研究中心和農(nóng)業(yè)部。
四、建設(shè)原則
篇6
關(guān)鍵詞:高中信息技術(shù);大數(shù)據(jù);教育教學(xué)
中圖分類號:G434 文獻(xiàn)標(biāo)識碼:A 論文編號:1674-2117(2017)06-0102-02
大數(shù)據(jù)在高中信息技術(shù)教學(xué)中的應(yīng)用與優(yōu)勢
1.大數(shù)據(jù)的應(yīng)用現(xiàn)狀
當(dāng)前的“大數(shù)據(jù)”概念對高中信息技術(shù)教學(xué)的影響還比較小,很多教師在教學(xué)過程中還未產(chǎn)生真正意義上的深度融合,一些“大數(shù)據(jù)”的應(yīng)用也未能有效地在教育教學(xué)中鋪展開來,從而制約著當(dāng)前高中信息技術(shù)教學(xué)的發(fā)展。
2.大數(shù)據(jù)的應(yīng)用優(yōu)勢
“大數(shù)據(jù)”全數(shù)據(jù)模式下的總體信息處理能力,極大地提高了教育教學(xué)中的信息鋪展面,并從樣本的研究轉(zhuǎn)向?yàn)橄到y(tǒng)化的總體研究。事實(shí)上,大數(shù)據(jù)的創(chuàng)新,將更為直接地剖析信息技術(shù)教學(xué)中的問題和現(xiàn)象,深化高中信息技g教學(xué)。[1]
高中信息技術(shù)教學(xué)中的大數(shù)據(jù)
1.教學(xué)資源數(shù)據(jù)
面向“大數(shù)據(jù)”,信息技術(shù)教師教學(xué)時(shí)能夠更加靈活、全面地汲取互聯(lián)網(wǎng)信息,并通過開放的多樣信息庫,獲取豐富的教學(xué)資源數(shù)據(jù)。同時(shí),教師利用“大數(shù)據(jù)”能夠建立起教育教學(xué)過程的數(shù)據(jù)信息分析,產(chǎn)生更為科學(xué)、全面的教育教學(xué)過程分析結(jié)果,形成自產(chǎn)型教學(xué)資源數(shù)據(jù)。這樣,教師在進(jìn)行高中信息技術(shù)教學(xué)的過程中,既有了外部信息資源數(shù)據(jù)進(jìn)行支援,又有了內(nèi)部自身的教學(xué)信息資源數(shù)據(jù)作為支撐。這能完善教育教學(xué)過程中的教學(xué)資源數(shù)據(jù)需求,產(chǎn)生更加有益于教學(xué)質(zhì)量提高的信息鏈條。
2.學(xué)生信息數(shù)據(jù)
在教學(xué)活動(dòng)中,教師按照學(xué)生自身的學(xué)習(xí)信息構(gòu)建學(xué)生信息數(shù)據(jù),動(dòng)態(tài)地呈現(xiàn)學(xué)生自身參與信息技術(shù)教學(xué)過程中存在的即時(shí)性信息,這也是高中信息技術(shù)中所能夠利用的“大數(shù)據(jù)”。這一類數(shù)據(jù)不僅可以反映出學(xué)生的學(xué)習(xí)進(jìn)度、學(xué)習(xí)狀態(tài)、學(xué)習(xí)問題,還能結(jié)合當(dāng)前教師的教學(xué)進(jìn)度、教學(xué)安排、教學(xué)內(nèi)容等,進(jìn)行科學(xué)的個(gè)體性調(diào)整,及時(shí)產(chǎn)生綜合全面的個(gè)體報(bào)告,讓教師能夠及時(shí)有效地掌握學(xué)生的信息數(shù)據(jù)。
大數(shù)據(jù)對高中信息技術(shù)教學(xué)的影響
1.利用大數(shù)據(jù)開展個(gè)性化、定制化教學(xué)
(1)個(gè)性化教學(xué)
“大數(shù)據(jù)”能夠構(gòu)成基于學(xué)生信息數(shù)據(jù)的多維度動(dòng)態(tài)化信息數(shù)據(jù)庫,在這一數(shù)據(jù)庫的基礎(chǔ)上,學(xué)生能夠更加自主地接收到適合自身學(xué)習(xí)狀況的個(gè)性化教學(xué)方案,彌補(bǔ)當(dāng)前自身學(xué)習(xí)的不足。在教學(xué)中,教師可以依據(jù)“大數(shù)據(jù)”分析當(dāng)前學(xué)生完成項(xiàng)目需求的具體情況來構(gòu)建下一步的教學(xué)計(jì)劃,施行針對具體學(xué)生完成情況而設(shè)定的教學(xué)。
(2)定制化教學(xué)
“大數(shù)據(jù)”構(gòu)建的數(shù)據(jù)信息庫,能夠基于當(dāng)前的綜合信息給出較為精準(zhǔn)的前瞻性判斷,也為定制化教學(xué)和教學(xué)引導(dǎo)提供了可能。這意味著學(xué)生在學(xué)習(xí)研究過程中的表現(xiàn),被“大數(shù)據(jù)”技術(shù)進(jìn)行積極主動(dòng)的拓展性分析,并能夠結(jié)合具體的信息處理感應(yīng)擬定相關(guān)的定制化教學(xué)方案。這解決了當(dāng)前高中信息技術(shù)教學(xué)中固定標(biāo)準(zhǔn)、統(tǒng)一進(jìn)度、時(shí)間有限、內(nèi)容重復(fù)鋪設(shè)和教學(xué)的發(fā)展問題。
2.利用大數(shù)據(jù)實(shí)現(xiàn)優(yōu)質(zhì)資源共享
(1)構(gòu)建免費(fèi)共享的學(xué)習(xí)資源庫
“大數(shù)據(jù)”一方面降低了資源庫建設(shè)的成本,另一方面引入互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、三網(wǎng)融合等技術(shù),在建設(shè)構(gòu)成學(xué)習(xí)資源庫時(shí),就已經(jīng)面向開源的數(shù)據(jù)源,構(gòu)成了具有很高開放度的信息資源庫,并在應(yīng)用信息、處理信息、反饋信息的過程中,實(shí)現(xiàn)學(xué)習(xí)資源庫的建設(shè)和拓展。這意味著在未來的信息技術(shù)教學(xué)中,整個(gè)教學(xué)過程也將作為學(xué)習(xí)資源數(shù)據(jù)庫,構(gòu)成免費(fèi)共享的學(xué)習(xí)效果、學(xué)習(xí)反饋、學(xué)習(xí)研究模式的學(xué)習(xí)資源庫。[2]
(2)實(shí)現(xiàn)多學(xué)科交叉的資源共享
“大數(shù)據(jù)”不只局限于高中信息技術(shù)教學(xué)中,更能夠?qū)⑿畔⒓夹g(shù)應(yīng)用發(fā)散到多學(xué)科交叉的資源共享中。在進(jìn)行高中信息技術(shù)教學(xué)的過程中,教師通過“大數(shù)據(jù)”的信息處理,能夠服務(wù)于多種綜合學(xué)科的信息處理問題,如應(yīng)用于數(shù)學(xué)統(tǒng)計(jì)、幾何學(xué)圖形化處理、歷史資料信息索引等的建設(shè),并在完成高中信息技術(shù)教學(xué)的過程中,利用“大數(shù)據(jù)”結(jié)合多學(xué)科的信息資料和數(shù)據(jù)資料,完成這些多學(xué)科交叉的資源共享,實(shí)現(xiàn)綜合利用開發(fā)。
3.利用大數(shù)據(jù)打造學(xué)生成長和終身發(fā)展的平臺
(1)構(gòu)建信息技術(shù)學(xué)習(xí)平臺
作為接觸開放信息技術(shù)學(xué)習(xí)的主要課程,當(dāng)前高中信息技術(shù)教學(xué)的主要發(fā)展目標(biāo)就是基于“大數(shù)據(jù)”構(gòu)建信息技術(shù)學(xué)習(xí)平臺,擴(kuò)展開源的信息技術(shù)學(xué)習(xí)在線課程內(nèi)容,通過共享,實(shí)現(xiàn)更為全面、強(qiáng)大、綜合性高的信息技術(shù)學(xué)習(xí)平臺。
(2)展開網(wǎng)絡(luò)協(xié)調(diào)合作學(xué)習(xí)
“大數(shù)據(jù)”的信息技術(shù)應(yīng)用為學(xué)生在線完成網(wǎng)絡(luò)協(xié)調(diào)合作學(xué)習(xí)提供了可能。今后,更為開放、全面、自主性高的學(xué)習(xí)模式將在開放性的網(wǎng)絡(luò)教育平臺基礎(chǔ)上得以實(shí)現(xiàn),學(xué)生將可以擁有更多類型、高層次的網(wǎng)絡(luò)協(xié)調(diào)合作學(xué)習(xí)的機(jī)會。
4.利用大數(shù)據(jù)凝練學(xué)科核心素養(yǎng)
(1)凝練核心素養(yǎng)
信息技術(shù)學(xué)科核心信息素養(yǎng)由信息意識、計(jì)算思維、數(shù)字化學(xué)習(xí)與創(chuàng)新、信息社會責(zé)任四個(gè)核心要素組成。學(xué)生利用大數(shù)據(jù)創(chuàng)建的學(xué)習(xí)平臺,可以創(chuàng)造性地解決問題,養(yǎng)成自主學(xué)習(xí)、合作探索、不斷探究的良好學(xué)習(xí)方式。在此過程中,教師要不斷運(yùn)用“大數(shù)據(jù)”來校對學(xué)生的任務(wù)解決能力,實(shí)時(shí)反映學(xué)生的學(xué)習(xí)效果,激發(fā)學(xué)生的學(xué)習(xí)興趣,提高他們的思維能力。
(2)實(shí)現(xiàn)教學(xué)評價(jià)
開放、全面、綜合性高的信息反饋,能夠促成師生更為全面、綜合地完成對教學(xué)活動(dòng)的評價(jià),通過“大數(shù)據(jù)”的信息鏈條,構(gòu)成更加平衡的教學(xué)關(guān)系,使教學(xué)活動(dòng)中的知識能力轉(zhuǎn)化和教學(xué)目標(biāo)的實(shí)現(xiàn)更為高效。
綜上所述,“大數(shù)據(jù)”在當(dāng)前的高中信息技術(shù)教學(xué)中具有應(yīng)用優(yōu)勢,能夠豐富教學(xué)信息資源,并且有助于構(gòu)建全面系統(tǒng)的學(xué)生信息數(shù)據(jù)?!按髷?shù)據(jù)”對高中信息技術(shù)教學(xué)具有促進(jìn)個(gè)性定制化教學(xué)、提高優(yōu)質(zhì)資源共享、構(gòu)建學(xué)生成長和終身發(fā)展的平臺的作用。利用大數(shù)據(jù)分析可以比較全面地生成學(xué)生的信息技術(shù)知識與技能、過程與方法、情感態(tài)度與價(jià)值觀等綜合表現(xiàn)方面的數(shù)據(jù),進(jìn)一步為教學(xué)活動(dòng)服務(wù)。因此,教師應(yīng)科學(xué)地施行對高中信息技術(shù)教學(xué)中“大數(shù)據(jù)”的挖掘和使用。
參考文獻(xiàn):
篇7
關(guān)鍵詞:大數(shù)據(jù);計(jì)算機(jī)信息安全;企業(yè);防護(hù)策略
大數(shù)據(jù)(bigdata)形成于傳統(tǒng)計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)應(yīng)用中,并不能將它理解為傳統(tǒng)意義中大量數(shù)據(jù)的集合,而是其中涵蓋了更多的數(shù)據(jù)信息處理技術(shù)、傳輸技術(shù)和應(yīng)用技術(shù)。正如國際信息咨詢公司Gartner所言“大數(shù)據(jù)在某些層面已經(jīng)超越了現(xiàn)有計(jì)算機(jī)信息技術(shù)處理能力范圍,它是一種極端信息資源。[1]”正是基于此,社會各個(gè)領(lǐng)域行業(yè)才應(yīng)用大數(shù)據(jù)技術(shù)來為計(jì)算機(jī)信息安全提供防范措施,尤其是企業(yè)計(jì)算機(jī)信息網(wǎng)絡(luò),更需要它來構(gòu)建網(wǎng)絡(luò)信息防護(hù)體系,迎接來自于企業(yè)外部不同背景下的不同安全威脅。
1關(guān)于企業(yè)計(jì)算機(jī)信息安全防護(hù)體系的建設(shè)需求
企業(yè)計(jì)算機(jī)系統(tǒng)涉及海量數(shù)據(jù)和多種關(guān)鍵技術(shù),它是企業(yè)正常運(yùn)營的大腦,為了避免來自于內(nèi)外因素的干擾,確保企業(yè)正常運(yùn)轉(zhuǎn),必須為“大腦”建立計(jì)算機(jī)信息安全防護(hù)體系,基于信息安全水平評價(jià)目標(biāo)來確立各項(xiàng)預(yù)訂指標(biāo)性能,確保企業(yè)計(jì)算機(jī)系統(tǒng)不會遭遇侵犯威脅,保護(hù)重要信息安全。因此企業(yè)所希望的安全防護(hù)體系建設(shè)應(yīng)該滿足以下3項(xiàng)需要。首先,該安全防護(hù)體系能夠系統(tǒng)的從企業(yè)內(nèi)外部環(huán)境、生產(chǎn)及銷售業(yè)務(wù)流程來綜合判斷和考慮企業(yè)計(jì)算機(jī)信息安全技術(shù)、制度及管理相關(guān)問題,并同時(shí)快速分析出企業(yè)在計(jì)算機(jī)信息管理過程中可能存在的各種安全隱患及危險(xiǎn)因素。指出防護(hù)體系中所存在的缺陷,并提出相應(yīng)的防護(hù)措施。其次,可以對潛在威脅企業(yè)計(jì)算機(jī)系統(tǒng)的不安定因素進(jìn)行定性、定量分析,有必要時(shí)還要建立全面評價(jià)模型來展開分析預(yù)測,提出能夠確保體系信息安全水平提升的優(yōu)質(zhì)方案。第三,可以利用體系評價(jià)結(jié)果來確定企業(yè)信息安全水平與企業(yè)規(guī)模,同時(shí)評價(jià)該防護(hù)體系能為企業(yè)帶來多大收益,確保防護(hù)體系能與企業(yè)所投入發(fā)展?fàn)顩r相互吻合。
2大數(shù)據(jù)環(huán)境對企業(yè)計(jì)算機(jī)信息安全建設(shè)的影響
大數(shù)據(jù)環(huán)境改變了企業(yè)計(jì)算機(jī)信息安全建設(shè)的思路與格局,應(yīng)該從技術(shù)與管理維度兩個(gè)層面來看這些影響變化。
2.1基于企業(yè)計(jì)算機(jī)信息安全建設(shè)的技術(shù)維度影響
大數(shù)據(jù)所蘊(yùn)含技術(shù)豐富,它可以運(yùn)用分布式并行處理機(jī)制來管理企業(yè)計(jì)算機(jī)信息安全。它不僅僅能確保企業(yè)信息的可用性與完整性,還能提高信息處理的準(zhǔn)確性與傳輸連續(xù)性。因?yàn)樵诖髷?shù)據(jù)背景下,復(fù)雜數(shù)據(jù)類型處理案例比比皆是,必須要避免信息處理過程錯(cuò)誤所帶來的企業(yè)信息資源安全損失,所以應(yīng)該采取大數(shù)據(jù)環(huán)境技術(shù)來展開新的信息處理方式及存儲方式,像以Hadoop平臺為主的Mapreduce分布式計(jì)算就能啟動(dòng)云存儲方式,對企業(yè)計(jì)算機(jī)信息進(jìn)行有效存儲、轉(zhuǎn)移和管理,提高其信息安全水平。分布式計(jì)算會為企業(yè)計(jì)算機(jī)信息建立大型數(shù)據(jù)庫,或者采用第三方云服務(wù)提供商所提供的虛擬平臺來管理信息,這種做法可以為企業(yè)省下防火墻、數(shù)據(jù)庫、基礎(chǔ)性安防技術(shù)等等建設(shè)環(huán)節(jié)的大筆成本費(fèi)用。在信息傳遞方面,大數(shù)據(jù)環(huán)境主要能夠干預(yù)企業(yè)信息傳遞,例如為企業(yè)計(jì)算機(jī)系統(tǒng)提供高速不中斷的傳遞功能模塊,以確保企業(yè)信息傳遞的完整性與可持續(xù)性。在此過程中為了確保企業(yè)計(jì)算機(jī)信息傳輸?shù)陌踩煽?,就會基于大?shù)據(jù)技術(shù)來為企業(yè)提供數(shù)據(jù)加密服務(wù),確保數(shù)據(jù)傳輸整個(gè)過程都處于安全狀態(tài),避免任何信息泄露、被盜取現(xiàn)象的發(fā)生。
2.2基于企業(yè)計(jì)算機(jī)信息安全建設(shè)的管理維度影響
在大數(shù)據(jù)環(huán)境下,企業(yè)計(jì)算機(jī)信息安全的管理維度影響不容忽視,它體現(xiàn)在人員管理、大數(shù)據(jù)管理與第三方信息安全等多個(gè)方面。在人員管理管理方面,大數(shù)據(jù)為企業(yè)所提供的是由傳統(tǒng)集中辦公向分散式辦公的工作模式轉(zhuǎn)變,它創(chuàng)建了企業(yè)自帶辦公設(shè)備BYOD(BringYourOwnDevice),BYOD一方面能有效提高員工積極性,一方面也能為企業(yè)購置辦公設(shè)備節(jié)約成本,不過它也能影響到企業(yè)計(jì)算機(jī)的信息安全管理事項(xiàng),移動(dòng)設(shè)備大幅度降低了企業(yè)對計(jì)算機(jī)系統(tǒng)安全的可控度,可能會難以發(fā)現(xiàn)來自于外部黑客及安全漏洞、計(jì)算機(jī)病毒對系統(tǒng)的入侵,一定程度上增加了信息泄漏的安全隱患。在第三方信息安全管理方面,它可能會對企業(yè)信息安全帶來巨大影響,因?yàn)榈谌叫畔⑹切枰脕磉M(jìn)行加工分析的,但它對于企業(yè)計(jì)算機(jī)系統(tǒng)是否能形成保障實(shí)際上是難以被企業(yè)穩(wěn)定控制的,所以企業(yè)要確切保證第三方信息安全管理的有效性,基于大數(shù)據(jù)強(qiáng)化企業(yè)信息安全水平,利用分權(quán)式組織結(jié)構(gòu)來提高企業(yè)計(jì)算機(jī)系統(tǒng)及信息的利用效率,同時(shí)也增強(qiáng)大數(shù)據(jù)之于企業(yè)計(jì)算機(jī)系統(tǒng)的應(yīng)用實(shí)效性。
3基于大數(shù)據(jù)優(yōu)化環(huán)境下的企業(yè)計(jì)算機(jī)信息安全防護(hù)策略
企業(yè)計(jì)算機(jī)信息安全對企業(yè)發(fā)展至關(guān)重要,為其建立安全防護(hù)體系首先要明確其信息安全管理是一項(xiàng)動(dòng)態(tài)復(fù)雜的系統(tǒng)性工程。企業(yè)需要從管理、人員和技術(shù)3方面來滲透大數(shù)據(jù)意識及相關(guān)技術(shù)理念,為企業(yè)計(jì)算機(jī)系統(tǒng)構(gòu)筑防線,保護(hù)信息安全。
3.1基于管理層面的計(jì)算機(jī)信息安全防護(hù)策略
社會企業(yè)其實(shí)就是大數(shù)據(jù)的主要來源,所以企業(yè)在對自身計(jì)算機(jī)信息安全進(jìn)行保護(hù)過程中需要面臨可能存在的技術(shù)單一、難以滿足企業(yè)信息安全需求等問題。企業(yè)需要基于大數(shù)據(jù)技術(shù)來建立計(jì)算機(jī)信息安全防護(hù)機(jī)制,從大數(shù)據(jù)本身出發(fā),做到對數(shù)據(jù)的有效收集和合理分析,準(zhǔn)確排查安全問題,建立企業(yè)計(jì)算機(jī)信息安全組織機(jī)構(gòu)。本文認(rèn)為,該計(jì)算機(jī)信息安全防護(hù)策略中應(yīng)該包含安全運(yùn)行監(jiān)管機(jī)制、信息安全快速響應(yīng)機(jī)制、信息訪問控制機(jī)制、信息安全管理機(jī)制以及災(zāi)難備份機(jī)制等等。在面對企業(yè)的關(guān)鍵性信息時(shí),應(yīng)該在計(jì)算機(jī)系統(tǒng)中設(shè)置信息共享圈,盡可能降低外部不相關(guān)人員對于某些機(jī)密信息的接觸可能性,所以在此共享圈中還應(yīng)該設(shè)置信息共享層次安全結(jié)構(gòu),為信息安全施加“雙保險(xiǎn)”。另一方面,企業(yè)管理層也應(yīng)該為計(jì)算機(jī)系統(tǒng)建立信息安全生態(tài)體系,一方面為保護(hù)管理層信息流通與共享,一方面也希望在大數(shù)據(jù)環(huán)境下實(shí)現(xiàn)信息技術(shù)的有效交流,為管理層提出企業(yè)決策提供有力技術(shù)支持。再者,企業(yè)應(yīng)該完善大數(shù)據(jù)管理制度。首先企業(yè)應(yīng)該明確大數(shù)據(jù)主要由非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)共同組成,所以要明確計(jì)算機(jī)系統(tǒng)中的所有大數(shù)據(jù)信息應(yīng)該通過周密分析與計(jì)算才能最終獲取,做到對系統(tǒng)中大數(shù)據(jù)存儲、分析、應(yīng)用與管理等流程的有效規(guī)范。舉例來說,某些企業(yè)在管理存儲于云端的第三方信息時(shí),就應(yīng)該履行與云服務(wù)商所簽訂的第三方協(xié)議,在此基礎(chǔ)上來為企業(yè)自身計(jì)算機(jī)系統(tǒng)設(shè)置單獨(dú)隔離單元,防止信息泄露現(xiàn)象。另一方面,企業(yè)必須實(shí)施基于大數(shù)據(jù)的組織結(jié)構(gòu)扁平化建設(shè),這樣也能確保計(jì)算機(jī)系統(tǒng)信息流轉(zhuǎn)速度無限加快,有效降低企業(yè)基層員工與高層管理人員及領(lǐng)導(dǎo)之間的信息交流障礙[2]。
3.2基于人員層面的計(jì)算機(jī)信息安全防護(hù)策略
目前企業(yè)人員所應(yīng)用計(jì)算機(jī)個(gè)人系統(tǒng)已經(jīng)趨向于移動(dòng)智能終端化,許多BYOD工作方案紛紛出現(xiàn)。這些工作方案利用智能移動(dòng)終端連接企業(yè)內(nèi)部網(wǎng)絡(luò),可以實(shí)現(xiàn)對企業(yè)數(shù)據(jù)庫及內(nèi)部信息的有效訪問,這雖然能夠提高員工的工作積極性,節(jié)約企業(yè)購置辦公設(shè)備成本,但實(shí)際上它也間接加大了企業(yè)對計(jì)算機(jī)信息安全的管理難度。具體來說,企業(yè)無法跟蹤員工的移動(dòng)終端來監(jiān)控黑客行蹤,無法第一時(shí)間發(fā)現(xiàn)潛藏病毒對企業(yè)計(jì)算機(jī)系統(tǒng)及內(nèi)網(wǎng)安全的潛在威脅。因此企業(yè)需要針對員工個(gè)人來展開大數(shù)據(jù)背景下的信息流通及共享統(tǒng)計(jì),明確員工在工作進(jìn)程中信息的實(shí)際利用狀況。而且企業(yè)也應(yīng)該在基于保護(hù)大數(shù)據(jù)安全的背景下來強(qiáng)化員工信息安全教育,培養(yǎng)他們的信息安全意識,讓員工在使用BYOD進(jìn)行企業(yè)內(nèi)部計(jì)算機(jī)數(shù)據(jù)庫訪問及相關(guān)信息共享過程中提前主動(dòng)做好數(shù)據(jù)防護(hù)工作,輔助企業(yè)共同保護(hù)內(nèi)部重要機(jī)密信息。
3.3基于安全監(jiān)管技術(shù)層面的計(jì)算機(jī)信息安全防護(hù)策略
在大數(shù)據(jù)環(huán)境中,企業(yè)如果僅僅依靠計(jì)算機(jī)軟件來維持信息安全已經(jīng)無法滿足現(xiàn)實(shí)安全需求,如果能從安全監(jiān)管技術(shù)層面來提出相應(yīng)保護(hù)方案則要配合大數(shù)據(jù)相關(guān)技術(shù)來實(shí)施。考慮到企業(yè)容易受到高級可持續(xù)攻擊(AdvancedPersistentThreat)載體的威脅(形成隱藏APT),不易被計(jì)算機(jī)系統(tǒng)發(fā)覺,為企業(yè)信息帶來不可估量威脅,所以企業(yè)應(yīng)該基于大數(shù)據(jù)技術(shù)來尋找APT在實(shí)施網(wǎng)絡(luò)攻擊時(shí)所留下的隱藏攻擊記錄,利用大數(shù)據(jù)配合計(jì)算機(jī)系統(tǒng)分析來找到APT攻擊源頭,從源頭遏制它所帶來的安全威脅,這種方法在企業(yè)已經(jīng)被證實(shí)為可行方案。另外,也可以考慮對企業(yè)計(jì)算系統(tǒng)中重要信息進(jìn)行隔離存儲,利用較為完整的身份識別來訪問企業(yè)計(jì)算機(jī)管理系統(tǒng)。在這里會為每一位員工發(fā)放唯一的賬號密碼,并利用大數(shù)據(jù)來記錄員工在系統(tǒng)中操作的實(shí)時(shí)動(dòng)態(tài),監(jiān)控他們的一切行為。企業(yè)要意識到大數(shù)據(jù)的財(cái)富化可能會導(dǎo)致計(jì)算機(jī)系統(tǒng)大量信息泄露,從而產(chǎn)生內(nèi)部威脅。所以在大數(shù)據(jù)背景下,應(yīng)該為計(jì)算機(jī)系統(tǒng)建立信息安全模式,利用其智能數(shù)據(jù)管理來實(shí)現(xiàn)系統(tǒng)的安全管理與自我監(jiān)控,盡可能減少人為操作所帶來的不必要失誤和信息篡改等安全問題。除此之外,企業(yè)也可以考慮建立大數(shù)據(jù)實(shí)時(shí)風(fēng)險(xiǎn)模型,對計(jì)算機(jī)系統(tǒng)中所涉及的所有信息安全事件進(jìn)行有效管理,協(xié)助企業(yè)完成預(yù)警報(bào)告、應(yīng)急響應(yīng)以及風(fēng)險(xiǎn)分析,做好對內(nèi)外部違規(guī)、誤操作行為的有效審計(jì),提高企業(yè)信息安全防護(hù)水平[3]。
4總結(jié)
現(xiàn)代企業(yè)為保護(hù)計(jì)算機(jī)信息數(shù)據(jù)安全就必須與時(shí)俱進(jìn),結(jié)合大數(shù)據(jù)環(huán)境,利用信息管理、情報(bào)、數(shù)學(xué)模型構(gòu)建等多種科學(xué)理論來付諸實(shí)踐,分析大數(shù)據(jù)環(huán)境下可能影響到企業(yè)信息安全水平的各個(gè)因素,最后做出科學(xué)合理評價(jià)。本文僅僅從較淺角度分析了公司企業(yè)在大數(shù)據(jù)背景下對自身計(jì)算機(jī)信息安全的相關(guān)防護(hù)策略,希望為企業(yè)安全穩(wěn)定發(fā)展提供有益參考。
參考文獻(xiàn):
[1]尹淋雨.大數(shù)據(jù)環(huán)境下企業(yè)信息安全水平綜合評價(jià)模型研究[D].安徽財(cái)經(jīng)大學(xué),2014:49-51.
[2]雷邦蘭,龍張華.基于大數(shù)據(jù)背景的計(jì)算機(jī)信息安全及防護(hù)研討[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用,2016(5):56,58.
篇8
關(guān)鍵詞:大數(shù)據(jù);數(shù)據(jù)倉庫;電費(fèi)風(fēng)險(xiǎn)管控
現(xiàn)狀
為了更好地掌握當(dāng)前的用電以及電費(fèi)回收情況,需要相關(guān)業(yè)務(wù)的詳細(xì)數(shù)據(jù),由于目前各業(yè)務(wù)系統(tǒng)無此專項(xiàng)數(shù)據(jù)分析功能,只能人工拼湊導(dǎo)出多個(gè)系統(tǒng)多個(gè)功能的數(shù)據(jù)明細(xì),需要耗費(fèi)大量時(shí)間進(jìn)行人工核對處理,工作效率低下,任務(wù)繁重,迫切需要基于大數(shù)據(jù)技術(shù)的專項(xiàng)數(shù)據(jù)監(jiān)測分析功能。
提升電費(fèi)回收率需對不同的業(yè)務(wù)場景進(jìn)行分析研究,因地制宜,制定更加合理化地專項(xiàng)解決措施,更有效地提升回收率。需要系統(tǒng)提供專項(xiàng)數(shù)據(jù)分析,作為專項(xiàng)治理的數(shù)據(jù)依據(jù)。
1建設(shè)目標(biāo)
遵循國家電網(wǎng)公司(以下簡稱國網(wǎng))典設(shè),借鑒試點(diǎn)經(jīng)驗(yàn),充分遵從國網(wǎng)大數(shù)據(jù)平臺和業(yè)務(wù)場景的研究成果,積極吸取各試點(diǎn)單位的大數(shù)據(jù)場景實(shí)施建設(shè)經(jīng)驗(yàn)。同時(shí),從公司業(yè)務(wù)部門自身的生產(chǎn)運(yùn)行、企業(yè)的經(jīng)營管理等實(shí)際需求出發(fā),按照需求全面統(tǒng)籌,成熟一個(gè)實(shí)施一個(gè)的思想,逐步實(shí)現(xiàn)各個(gè)主題場景的落地實(shí)施,體現(xiàn)石家莊電力的業(yè)務(wù)特色和管理創(chuàng)新。
2系統(tǒng)建設(shè)方案
基于大數(shù)據(jù)的電費(fèi)風(fēng)險(xiǎn)管控平臺采用大數(shù)據(jù)技術(shù)及數(shù)據(jù)集市,與省公司的HIVE數(shù)據(jù)倉庫對接,智能自動(dòng)化地實(shí)現(xiàn)電費(fèi)數(shù)據(jù)信息的抽取、清洗、轉(zhuǎn)換、計(jì)算及存儲,相對于原來人工拼湊并處理數(shù)據(jù)的非即時(shí)性,大幅度提高了工作效率。此平臺采用B/S結(jié)構(gòu)進(jìn)行開發(fā),只要在公司內(nèi)網(wǎng)的信息終端,都可以使用該系統(tǒng)。
2.1系統(tǒng)技術(shù)架構(gòu)
大數(shù)據(jù)平臺技術(shù)架構(gòu)包含數(shù)據(jù)整合、數(shù)據(jù)存儲、數(shù)據(jù)計(jì)算、數(shù)據(jù)分析、平臺服務(wù)五個(gè)層次,技術(shù)架構(gòu)如下圖所示。
大數(shù)據(jù)平臺技術(shù)組件以集成成熟開源產(chǎn)品為主,并對現(xiàn)有可重用的SG-ERP組件進(jìn)行提升改造,相關(guān)生產(chǎn)應(yīng)用可適時(shí)遷移至大數(shù)據(jù)平臺。在數(shù)據(jù)整合方面,融合實(shí)時(shí)消息隊(duì)列、數(shù)據(jù)抽取、日志采集、服務(wù)接口等技術(shù),實(shí)現(xiàn)異構(gòu)數(shù)據(jù)的快速接入;在數(shù)據(jù)存儲方面,采用關(guān)系數(shù)據(jù)庫、分布式文件系統(tǒng)、分布式列式數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫等存儲技術(shù),滿足海量數(shù)據(jù)實(shí)時(shí)、準(zhǔn)實(shí)時(shí)存儲需求;在數(shù)據(jù)計(jì)算方面,提供流計(jì)算、批量計(jì)量、內(nèi)存計(jì)算等數(shù)據(jù)處理技術(shù);在數(shù)據(jù)分析方面,采用開源挖掘工具R語言、Mahout,并構(gòu)建分布式數(shù)據(jù)挖掘算法庫;同時(shí),完善智能分析決策平臺的分析模型設(shè)計(jì)器,構(gòu)建統(tǒng)一的分析建模能力和運(yùn)行引擎。在平臺服務(wù)方面,提供統(tǒng)一的存儲、計(jì)算、分析、展現(xiàn)等服務(wù)。
2.2系統(tǒng)功能架構(gòu)
該平臺的功能模塊包括:整體概況分析、預(yù)收電費(fèi)分析以及欠費(fèi)電費(fèi)分析。
2.2.1整體概況分析模塊:用于分析電費(fèi)回收的整體情況,包含發(fā)行電費(fèi)、預(yù)收電費(fèi)以及欠費(fèi)電費(fèi)。包含四個(gè)子模塊:整體概況分析、供電單位分析、行業(yè)分析和電壓等級分析。
2.2.2預(yù)收電費(fèi)模塊:用于預(yù)收電費(fèi)的專項(xiàng)分析,包括預(yù)收整體概況、供電單位分布、行業(yè)分布,以及預(yù)收走勢四部分。
2.2.3欠費(fèi)電費(fèi)模塊:針對欠費(fèi)電費(fèi)的專項(xiàng)分析,欠費(fèi)電費(fèi)分為陳欠電費(fèi)和當(dāng)年欠費(fèi)。此模塊包含:欠費(fèi)整體概況、欠費(fèi)分布(行業(yè)/供電單位分布)以及欠費(fèi)走勢(整體/行業(yè)/供電單位)三部分。
3應(yīng)用效果
基于大數(shù)據(jù)的電費(fèi)風(fēng)險(xiǎn)管控平臺首次嘗試電費(fèi)專項(xiàng)場景分析,實(shí)現(xiàn)了對現(xiàn)有業(yè)務(wù)系統(tǒng)海量電費(fèi)數(shù)據(jù)的挖掘分析。根據(jù)實(shí)際的業(yè)務(wù)情況,對電費(fèi)數(shù)據(jù)進(jìn)行不同主題的深入分析,從供電單位、行業(yè)、電壓等級等多維度分析展示電費(fèi)回收情況,并通過圖表直觀展示可能存在的風(fēng)險(xiǎn),大大提升了人工處理數(shù)據(jù)的效率,實(shí)現(xiàn)了電費(fèi)數(shù)據(jù)分析的智能自動(dòng)化,使電費(fèi)回收情況更直接直觀地呈現(xiàn),為電費(fèi)風(fēng)險(xiǎn)管控提供科學(xué)地?cái)?shù)據(jù)支持,幫助業(yè)務(wù)人員發(fā)現(xiàn)風(fēng)險(xiǎn)管控弱點(diǎn),從而提升企業(yè)整體的經(jīng)濟(jì)效益。該平臺以數(shù)據(jù)為驅(qū)動(dòng),管理為手段,提升企業(yè)經(jīng)營管理健康度和經(jīng)濟(jì)效益為目標(biāo),將進(jìn)一步提升電費(fèi)回收率,提升企業(yè)的科學(xué)化、自動(dòng)化監(jiān)測水平,有效控制公司管理成本,為電費(fèi)風(fēng)險(xiǎn)管控提供有力支持,為企業(yè)的經(jīng)濟(jì)效益提升起到直接的作用。推廣應(yīng)用前景廣闊,經(jīng)濟(jì)效益和社會效益巨大。
基于大數(shù)據(jù)的電費(fèi)風(fēng)險(xiǎn)管控平臺的投運(yùn)將產(chǎn)生巨大的經(jīng)濟(jì)效益?;粍?dòng)為主動(dòng),穿透數(shù)據(jù)發(fā)現(xiàn)風(fēng)險(xiǎn)管控弱點(diǎn),制定強(qiáng)化管控措施,及時(shí)有效地降低電費(fèi)回收風(fēng)險(xiǎn),產(chǎn)生直接的經(jīng)濟(jì)效益。
基于大數(shù)據(jù)的電費(fèi)風(fēng)險(xiǎn)管控平臺的使用使電費(fèi)管理更加科學(xué)、高效、精細(xì)化、規(guī)范化。運(yùn)用先進(jìn)技術(shù)手段實(shí)現(xiàn)對實(shí)際工作的輔助指導(dǎo)。通過改變原有管理模式,實(shí)現(xiàn)工作效率的提升,提高專業(yè)管理水平,產(chǎn)生了良好的管理效益,達(dá)到了預(yù)期目的。
篇9
【關(guān)鍵詞】大數(shù)據(jù);環(huán)境保護(hù);云計(jì)算;應(yīng)用;探究
大數(shù)據(jù)時(shí)代,不但各種數(shù)據(jù)形態(tài)發(fā)生了巨大的變化,而且現(xiàn)代人們的思維與管理模式也在發(fā)生深刻的變化。將大數(shù)據(jù)應(yīng)用在環(huán)境保護(hù)領(lǐng)域,可以有效整合社會各方面資源,對當(dāng)前出現(xiàn)的環(huán)境問題進(jìn)行多元化協(xié)同治理,提高環(huán)境治理效益。下面本文簡要探討大數(shù)據(jù)在環(huán)境保護(hù)領(lǐng)域中的應(yīng)用情況。
一、大數(shù)據(jù)概述
大數(shù)據(jù)的價(jià)值主要依據(jù)多種技術(shù)協(xié)同體現(xiàn)出來的,其中文件系統(tǒng)可以為其提供最底層存儲能力服務(wù)。為了加強(qiáng)數(shù)據(jù)管理,通常需要在文件系統(tǒng)上面構(gòu)建數(shù)據(jù)庫體系,借助索引,對外界提供高效率的數(shù)據(jù)查詢等相關(guān)功能,最后利用數(shù)據(jù)分析技術(shù)從數(shù)據(jù)庫里面的大數(shù)據(jù)提取各種有益知識。
(一)云計(jì)算
云計(jì)算相當(dāng)于支撐大數(shù)據(jù)“這輛汽車”運(yùn)行的“高速公路”,云計(jì)算可以為大數(shù)據(jù)提供數(shù)據(jù)存儲、管理及分析方面的服務(wù)。云計(jì)算是一個(gè)服務(wù)器集群,可以為一切可以上網(wǎng)的顯示器服務(wù),屬于一對多的服務(wù)模式;云計(jì)算主要通過互聯(lián)網(wǎng)進(jìn)行信息的遠(yuǎn)程輸送,從不確定位置的服務(wù)器集群處理用戶命令、以及各項(xiàng)數(shù)據(jù)。云計(jì)算的核心原理是用戶需要的應(yīng)用程序,處理數(shù)據(jù)不需運(yùn)行,存儲在本地個(gè)人手機(jī)或者電腦等各種終端設(shè)備上面,通過互聯(lián)網(wǎng)數(shù)據(jù)中心或者大規(guī)模服務(wù)器集群進(jìn)行存儲。
(二)大數(shù)據(jù)處理工具
現(xiàn)階段,Hadoop是最流行的大數(shù)據(jù)處理平臺,它先開始是模仿GFS,MapReduce實(shí)現(xiàn)云計(jì)算開源平臺之一,后來逐漸成為包括數(shù)據(jù)庫、文件系統(tǒng)、數(shù)據(jù)處理功能模塊的體系化生態(tài)系統(tǒng),事實(shí)上,Hadoop已經(jīng)是大數(shù)據(jù)處理工具。目前研究焦點(diǎn)主要集中在如何改進(jìn)Hadoop平臺的性能,構(gòu)建索引,實(shí)現(xiàn)高效率的查詢處理,以及在Hadoop上面建設(shè)數(shù)據(jù)倉庫等。
(三)數(shù)據(jù)分析與挖掘
數(shù)據(jù)分析與挖掘是云計(jì)算最核心的業(yè)務(wù),也是整個(gè)大數(shù)據(jù)處理流程的重點(diǎn)內(nèi)容,這主要是因?yàn)榇髷?shù)據(jù)的價(jià)值在分析過程中產(chǎn)生。從異構(gòu)數(shù)據(jù)源提取與集成的數(shù)據(jù)形成了數(shù)據(jù)分析的最原始數(shù)據(jù),按照不同應(yīng)用需求從數(shù)據(jù)中選取一部分進(jìn)行挖掘分析。
二、大數(shù)據(jù)在環(huán)境保護(hù)領(lǐng)域中的應(yīng)用探究
在將大數(shù)據(jù)技術(shù)、服務(wù)應(yīng)用在現(xiàn)代環(huán)境保護(hù)與生態(tài)文明建設(shè)過程中時(shí),可以合理利用大數(shù)據(jù)解決環(huán)境保護(hù)工作中的一些棘手問題:
(一)數(shù)據(jù)公開與數(shù)據(jù)收集。只有進(jìn)一步提高環(huán)保系統(tǒng)各相關(guān)部門的數(shù)據(jù)公開水平,才有助于實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用的創(chuàng)新。推動(dòng)我國大數(shù)據(jù)的發(fā)展,重點(diǎn)在于改變政府理念,推行數(shù)據(jù)公開,理應(yīng)由政府牽頭帶到社會各行各業(yè)公開數(shù)據(jù),然后收集整理數(shù)據(jù),將數(shù)據(jù)入庫,進(jìn)行數(shù)據(jù)分析,在將分析結(jié)果完整地展現(xiàn)在公眾面前,進(jìn)而讓數(shù)據(jù)這一生產(chǎn)要素可以自由流動(dòng),在流動(dòng)過程中逐漸提高附加值。同時(shí),進(jìn)行數(shù)據(jù)收集,借助互聯(lián)網(wǎng)、傳感器網(wǎng)絡(luò)等先進(jìn)的技術(shù)手段,環(huán)保管理單位以及環(huán)保志愿者們可以很方便地將收集到的數(shù)據(jù)輸送至數(shù)據(jù)中心,間接地讓公眾成為環(huán)保部門工作的有力監(jiān)督者,有助于環(huán)保部門加大力度治理違法排污企業(yè)[3]。此外,通過社會公眾提供多種類型數(shù)據(jù),進(jìn)一步豐富了環(huán)境數(shù)據(jù),可以為數(shù)據(jù)公開、數(shù)據(jù)分析提供最新數(shù)據(jù)。
(二)空氣質(zhì)量預(yù)警預(yù)報(bào)。充分利用氣象數(shù)據(jù)、空氣質(zhì)量自動(dòng)監(jiān)測得到的數(shù)據(jù)、污染源自動(dòng)監(jiān)控得到的數(shù)據(jù)進(jìn)行相關(guān)性分析,達(dá)到空氣質(zhì)量預(yù)警預(yù)報(bào)的目的。同時(shí),通過大數(shù)據(jù)技術(shù)、應(yīng)用服務(wù)分析與環(huán)境保護(hù)、生態(tài)文明建設(shè)之間關(guān)系,進(jìn)一步探究進(jìn)行生態(tài)文明建設(shè)的內(nèi)在規(guī)律,從宏觀角度看,可服務(wù)于人類長遠(yuǎn)的生存、發(fā)展。另外,借助大數(shù)據(jù)技術(shù)進(jìn)行空氣質(zhì)量預(yù)警預(yù)報(bào),有利于警醒現(xiàn)代人們對環(huán)境保護(hù)問題的重視,進(jìn)一步大力普及環(huán)境保護(hù)方面的知識。且研究理論成果的出現(xiàn),可以整合整個(gè)社會的力量關(guān)注環(huán)境保護(hù)問題,推動(dòng)重大社會問題的治理,以此促進(jìn)人類社會的和諧、快速發(fā)展[4]。
(三)利用大數(shù)據(jù)采集技術(shù)分析環(huán)境污染成因,將各種不同種類的環(huán)境指標(biāo)信息和污染源排放信息相互結(jié)合,開展數(shù)據(jù)分析活動(dòng),通過科學(xué)的分析合理預(yù)測企業(yè)排污強(qiáng)度,污染源分布情況及其對周圍環(huán)境質(zhì)量的影響,以此為依據(jù)制定環(huán)境治理方案,并定時(shí)監(jiān)測環(huán)境治理效果,不斷改進(jìn)治理方案。大數(shù)據(jù)作為一個(gè)重要的分析、衡量工具,但它并不能衡量所有事物,很多非量化事物需要借助人類獨(dú)特的思維力把握。但是通過大數(shù)據(jù)技術(shù)可以讓人類更加了解世界,對未來有一定的預(yù)測性,未來的數(shù)據(jù)挖掘、分析技術(shù)不但是各大環(huán)保企業(yè)的競爭力根源,還可能是國和國之間競爭的重要部分。將大數(shù)據(jù)技術(shù)應(yīng)用在環(huán)保領(lǐng)域,可有效提高我國環(huán)境保護(hù)治理水平,為我國核心競爭力的提高提供有力支持。
三、結(jié)束語
大數(shù)據(jù)技術(shù)的發(fā)展及應(yīng)用,可以說為人類治理環(huán)境問題提供了一條嶄新的途徑,對于環(huán)境保護(hù)者而言,既要積極地促進(jìn)大數(shù)據(jù)技術(shù)在環(huán)境保護(hù)領(lǐng)域中合理應(yīng)用,進(jìn)而在認(rèn)識自然界客觀發(fā)展規(guī)律方面獲得更多自由。同時(shí)又要注意避免大數(shù)據(jù)技術(shù)應(yīng)用過程中潛在的各種風(fēng)險(xiǎn),從戰(zhàn)略高度認(rèn)識環(huán)境保護(hù)工作,充分發(fā)揮大數(shù)據(jù)在環(huán)境保護(hù)領(lǐng)域的作用。
參考文獻(xiàn):
[1]孟小峰.大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展,2013,2(01):63-66.
[2]李國杰.大數(shù)據(jù)研究:未來科技及經(jīng)濟(jì)社會發(fā)展的重大戰(zhàn)略領(lǐng)域――大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考[J].中國科學(xué)院院刊,2012,7(06):322-325.
篇10
關(guān)鍵詞:信息技術(shù);安全性;高可用性;數(shù)據(jù)庫
0引言
面金融市場的激烈競爭和信息技術(shù)的飛速發(fā)展,銀行的科技體系建設(shè)呈現(xiàn)了“數(shù)據(jù)集中化、業(yè)務(wù)綜合化、管理扁平化、決策科學(xué)化”的發(fā)展趨勢。與業(yè)務(wù)相關(guān)的后臺數(shù)據(jù)庫中的業(yè)務(wù)數(shù)據(jù)量也在成幾何量級增長。由于大型商業(yè)銀行內(nèi)部業(yè)務(wù)模式種類繁多,交易流程復(fù)雜,需要根據(jù)不同的業(yè)務(wù)規(guī)則和數(shù)據(jù)特點(diǎn),選取不同的數(shù)據(jù)庫。目前,在商業(yè)銀行信息系統(tǒng)體系中,涉及到的數(shù)據(jù)庫主要包括DB2、Oracle、SQL Server,部分系統(tǒng)還用到了MySql等開源數(shù)據(jù)庫。
1DB2數(shù)據(jù)庫
1.1DB2簡介
DB2全稱為IBM DB2,是美國IBM公司開發(fā)的一套關(guān)系型數(shù)據(jù)庫管理系統(tǒng),它主要的運(yùn)行環(huán)境為UNIX、Linux、z/OS,以及Windows服務(wù)器。DB2主要應(yīng)用于大型應(yīng)用系統(tǒng),具有較好的可伸縮性,可支持從大型機(jī)到單用戶環(huán)境。DB2提供了高層次的數(shù)據(jù)利用性、完整性、安全性、可恢復(fù)性,以及小規(guī)模到大規(guī)模應(yīng)用程序的執(zhí)行能力,具有與平臺無關(guān)的基本功能和SQL命令。
1.2 DB2在銀行的應(yīng)用
雖然銀行業(yè)中后臺信息系統(tǒng)數(shù)量眾多,但其主要工作是進(jìn)行各種賬務(wù)交易管理,對于需要進(jìn)行大量賬務(wù)處理和計(jì)算的銀行信息系統(tǒng)普遍采用DB2數(shù)據(jù)庫。銀行系統(tǒng)要求高穩(wěn)定性、高可靠性和高安全性,Unix+DB2的組合對銀行的系統(tǒng)高要求滿足的較好。IBM提供的主機(jī)和數(shù)據(jù)庫的解決方案,在很多銀行都有成熟的案例。
對于大型的商業(yè)銀行,銀行系統(tǒng)每天處理的請求可能要上億次,DB2數(shù)據(jù)庫對海量數(shù)據(jù)的管理更是十分出色。作為世界上最快的數(shù)據(jù)庫之一,它可以在一天內(nèi)完成9000多萬次文本搜索,且每次的響應(yīng)時(shí)間都小于半秒。銀行信息系統(tǒng)中的服務(wù)器有很大一部分都是IBM的大型機(jī)和小型機(jī),在數(shù)據(jù)庫層面,選擇IBM的DB2數(shù)據(jù)可以更好的發(fā)揮服務(wù)器和數(shù)據(jù)庫的優(yōu)勢。
2 ORACLE數(shù)據(jù)庫
2.1 ORACLE簡介
Oracle是美國Oracle公司提供的以分布式數(shù)據(jù)庫為核心的一組軟件產(chǎn)品,是目前最流行的C/S或B/S體系結(jié)構(gòu)的數(shù)據(jù)庫之一。它具有完整的數(shù)據(jù)管理功能;作為一個(gè)關(guān)系數(shù)據(jù)庫,它是一個(gè)完備關(guān)系的產(chǎn)品;作為分布式數(shù)據(jù)庫,它實(shí)現(xiàn)了分布式處理功能。系統(tǒng)可移植性好、使用方便、功能強(qiáng),適用于各類大、中、小、微機(jī)環(huán)境。它是一種高效率、可靠性好的適應(yīng)高吞吐量的數(shù)據(jù)庫解決方案。
2.2 ORACLE在銀行的應(yīng)用
Oracle可以支持Unix、Linux和Windows等主流操作系統(tǒng),而且做為專業(yè)做數(shù)據(jù)庫起家的Oracle,配套開發(fā)了許多高可用組件,為大型的應(yīng)用系統(tǒng)提供了成熟完備的數(shù)據(jù)庫高可用解決方案,如:Oracle RAC、GodenGate、Data Guard等。這些組件在銀行的信息系統(tǒng)中使用相當(dāng)廣泛,比如網(wǎng)上銀行系統(tǒng)、手機(jī)銀行和各類臺帳管理系統(tǒng)等。
完善災(zāi)備系統(tǒng)是銀行建設(shè)中至關(guān)重要的一項(xiàng)工作,Oracle公司提供數(shù)據(jù)庫級別的異地災(zāi)備技術(shù),這為銀行信息系統(tǒng)的異地多活提供了可行性。并且Oracle在數(shù)據(jù)庫的技術(shù)服務(wù)支持方面也相當(dāng)完備,很多銀行并沒有技術(shù)能力很強(qiáng)的數(shù)據(jù)庫維護(hù)人員,Oracle可以提供多種層次的數(shù)據(jù)庫維保服務(wù),為銀行系統(tǒng)的高效可靠的運(yùn)行保駕護(hù)航。
隨著Oracle 12C的,Oracle在云計(jì)算和大數(shù)據(jù)方面的優(yōu)勢也逐漸顯現(xiàn),各大銀行都有海量的業(yè)務(wù)和客戶數(shù)據(jù),如何利用其進(jìn)行精準(zhǔn)營銷已經(jīng)成為各大銀行業(yè)務(wù)的新訴求。使用Oracle的最新產(chǎn)品,可以對客戶數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘和大數(shù)據(jù)分析,為銀行業(yè)務(wù)部門提供強(qiáng)有力的支持。
3 SOL SERVER數(shù)據(jù)庫
SQL Server微軟公司推出的一種關(guān)系型數(shù)據(jù)庫系統(tǒng)。它是一個(gè)可擴(kuò)展的、高性能的、為分布式客戶機(jī)/服務(wù)器計(jì)算所設(shè)計(jì)的數(shù)據(jù)庫管理系統(tǒng),實(shí)現(xiàn)了與WindowsNT的有機(jī)結(jié)合,提供了基于事務(wù)的企業(yè)級信息管理系統(tǒng)方案。
SQL Server以其內(nèi)置的數(shù)據(jù)復(fù)制功能、強(qiáng)大的管理工具、與Internet的緊密集成和開放的系統(tǒng)結(jié)構(gòu)為廣大的用戶、開發(fā)人員和系統(tǒng)集成商提供了一個(gè)出眾的數(shù)據(jù)庫平臺。由于SQL Server只能在Windows平臺上運(yùn)行,沒有絲毫的開放性,這就限制了它的應(yīng)用范圍。Windows操作系統(tǒng)由于其自身的限制,每運(yùn)行一段時(shí)間就需要重啟,這對需要提供7*24小時(shí)不停服務(wù)的銀行系統(tǒng)帶來極大的問題。SQL Server在銀行內(nèi)部系統(tǒng)中應(yīng)用較少,主要在一些由微軟公司提供的應(yīng)用系統(tǒng)。
4 MYSQL數(shù)據(jù)庫
MySql是一種開放源代碼的關(guān)系型數(shù)據(jù)庫管理系統(tǒng),MySql是一個(gè)真正的多用戶、多線程數(shù)據(jù)庫服務(wù)器。MySql雖然是免費(fèi)的,但同Oracle,DB2等商業(yè)數(shù)據(jù)庫一樣,具有數(shù)據(jù)庫系統(tǒng)的通用性。
相較于DB2、Oracle和SQL Server數(shù)據(jù)庫,MySql數(shù)據(jù)庫更輕量級,對服務(wù)器資源要求低,但又能提供高并發(fā)和大事務(wù)處理能力。但是MySql官方并不能提供成熟的高可用解決方案,對于銀行端來說,更希望使用成熟的高可用產(chǎn)品,而且沒有很多的技術(shù)實(shí)力和精力去做二次開發(fā)和改進(jìn),所以MySql在銀行信息系統(tǒng)中使用的并不多。
現(xiàn)在有一些銀行在國家去IOE的號召下,開始嘗試在一些新興的互聯(lián)網(wǎng)金融產(chǎn)品中引用MySql數(shù)據(jù)庫,配合成熟的第三方高可用組件,也取得了不錯(cuò)的效果。