數(shù)據(jù)分析師范文
時間:2023-03-19 19:52:32
導(dǎo)語:如何才能寫好一篇數(shù)據(jù)分析師,這就需要搜集整理更多的資料和文獻(xiàn),歡迎閱讀由公文云整理的十篇范文,供你借鑒。

篇1
Keywords:big data of archive; data scientist; post requirements; post duties; quality demands
大數(shù)據(jù)時代,數(shù)據(jù)成為重要的戰(zhàn)略資源。在電子辦公深度與廣度不斷拓展的進(jìn)程中,人類對數(shù)據(jù)“精、準(zhǔn)、深”的要求日益突出。在基于數(shù)據(jù)決策、依賴數(shù)據(jù)管理等“以數(shù)據(jù)說話”的理念日益深入人心的大環(huán)境下,作為大數(shù)據(jù)的關(guān)鍵組成部分――檔案大數(shù)據(jù)的地位和作用也逐漸凸顯出來,它是大數(shù)據(jù)重要維度即歷史維度數(shù)據(jù)的核心,在各個領(lǐng)域都有很好的應(yīng)用前景。但是,應(yīng)該看到,受保密、檔案管理機(jī)制等因素的制約,檔案大數(shù)據(jù)的應(yīng)有價值還沒有得到充分發(fā)揮,檔案大數(shù)據(jù)與其他數(shù)據(jù)的整合還有一段很長的路要走。為提升檔案資源建設(shè)與利用效益,對檔案大數(shù)據(jù)進(jìn)行分析,優(yōu)化檔案事業(yè)發(fā)展方案,更好地為領(lǐng)導(dǎo)決策和各領(lǐng)域工作的開展提供數(shù)據(jù)支撐,成為檔案工作的重要組成部分,這就需要檔案資源和檔案事業(yè)數(shù)據(jù)的鼎力支撐。雖然從國家主管部門到各級檔案館(室),都在開展檔案數(shù)據(jù)的統(tǒng)計(jì)和分析工作,但是,由于缺乏固定而專業(yè)的分析人員,從數(shù)據(jù)統(tǒng)計(jì)和分析的全面性、系統(tǒng)性、多維性、深入性和規(guī)范性等方面看,仍有待進(jìn)一步增強(qiáng)。在此種形勢下,檔案大數(shù)據(jù)作用的發(fā)揮和檔案事業(yè)發(fā)展的科學(xué)性很大程度上取決于檔案部門自身結(jié)構(gòu)的優(yōu)化和管理資源使用效益的提升。
1 檔案領(lǐng)域數(shù)據(jù)分析師崗位設(shè)置的意義
大數(shù)據(jù)時代,數(shù)據(jù)分析在各領(lǐng)域有著十分重要的意義,各行業(yè)對數(shù)據(jù)分析師的需求與日俱增。與其他數(shù)據(jù)相比,檔案大數(shù)據(jù)很大一部分源于政府、軍隊(duì)等組織機(jī)構(gòu)的活動,具有權(quán)威性和憑證性等不可替代的價值特點(diǎn),雖然有著服務(wù)社會、服務(wù)百姓的義務(wù),但又必須確保國家利益不受侵害。因此,在行業(yè)內(nèi)部設(shè)立數(shù)據(jù)分析師崗位不僅是社會需求、也是檔案行業(yè)組織機(jī)構(gòu)結(jié)構(gòu)優(yōu)化的內(nèi)在需要。
1.1 優(yōu)化檔案資源體系建設(shè)的需要。從局部看,各級檔案部門都不同程度地存在著檔案收集不齊全、著錄不規(guī)范等問題。從整體看,各檔案部門之間存在著檔案資源交叉重復(fù)、數(shù)據(jù)異構(gòu)等問題。系統(tǒng)地設(shè)置統(tǒng)計(jì)項(xiàng)目,全面地對檔案資源建設(shè)現(xiàn)狀進(jìn)行分析,就可以準(zhǔn)確地發(fā)現(xiàn)檔案資源體系建設(shè)中的弱項(xiàng)和“瓶頸”。通信網(wǎng)絡(luò)和數(shù)字設(shè)備發(fā)展實(shí)踐告訴人們:當(dāng)今,電子文件的增長幾乎達(dá)到了幾何級。例如,阿富漢戰(zhàn)爭期間,美軍為打擊一小股恐怖分子,其情報偵測、監(jiān)視系統(tǒng)24小時產(chǎn)生的數(shù)據(jù)量就達(dá)53TB。在如此大的數(shù)據(jù)量面前,如何分類電子文件、確定保管期限?網(wǎng)站、微博、通訊交友軟件等產(chǎn)生的數(shù)據(jù),哪些是需要作為電子文件保存的、又該如何保存?現(xiàn)有館(室)藏檔案資源,哪些方面需要豐富、哪些方面需要“瘦身”?如何從國家層面調(diào)控檔案資源體系建設(shè)?這些均有待于檔案領(lǐng)域數(shù)據(jù)分析師從“保存歷史、服務(wù)社會”視角、以可靠的數(shù)據(jù)和科學(xué)的分析給出建設(shè)性的解答。
1.2 分析和把握檔案利用規(guī)律的需要。檔案資源的利用是有規(guī)律可循的,掌握了這個規(guī)律對于提升檔案資源利用率是十分有益的。有的檔案資源,其利用具有擴(kuò)展效應(yīng),即一次成功利用可能會激發(fā)人數(shù)更多、范圍更廣、程度更深的利用,例如名人檔案、著名戰(zhàn)役檔案、歷史典故檔案等;有的檔案資源,其利用具有遞減效應(yīng),即一次成功利用之后可能很長時間內(nèi)不會再有第二次利用,例如事關(guān)普通百姓的個人檔案。如果機(jī)械地根據(jù)其前段時間的關(guān)注熱點(diǎn)推薦檔案信息服務(wù)產(chǎn)品,則不僅達(dá)不到理想效果甚至還會引起用戶反感。依托數(shù)據(jù)分析師的科學(xué)分析,有助于檔案部門聚焦服務(wù)熱點(diǎn),提前做好檔案信息服務(wù)預(yù)案,根據(jù)用戶需求方向準(zhǔn)確提供檔案資源及其編研產(chǎn)品服務(wù)。
1.3 推動檔案管理科學(xué)發(fā)展的需要。近年來,檔案事業(yè)出現(xiàn)了一派欣欣向榮的景象,尤其是檔案信息化建設(shè)、民生檔案的收集與管理等得到了長足發(fā)展。但是,無論是硬件建設(shè)、還是軟件建設(shè),離精細(xì)式、集約化科學(xué)發(fā)展尚有一定距離,這就需要發(fā)揮檔案大數(shù)據(jù)的決策助手作用。對于不同學(xué)識背景、不同工作經(jīng)歷、不同職業(yè)精神的數(shù)據(jù)分析人員來說,同樣的統(tǒng)計(jì)數(shù)據(jù)得出的結(jié)論也是不盡相同的。設(shè)置固定的數(shù)據(jù)分析師崗位,則有益于提升數(shù)據(jù)統(tǒng)計(jì)和分析工作的科學(xué)性。通過數(shù)據(jù)分析師對檔案事業(yè)分門別類的統(tǒng)計(jì)和分析,可以有效地沖破經(jīng)驗(yàn)主義思維的“籬笆”,發(fā)現(xiàn)和把握新形勢下檔案管理工作的發(fā)展規(guī)律,更加統(tǒng)籌、協(xié)調(diào)和集約化地利用管理資源,構(gòu)建檔案事業(yè)發(fā)展的良好生態(tài)。
1.4 更好地服務(wù)社會發(fā)展的需要。如果說“讀史可以明智”只能模糊地形容檔案的作用,檔案大數(shù)據(jù)在金融、醫(yī)藥、衛(wèi)生、交通、安全和軍事等領(lǐng)域的成功應(yīng)用,已經(jīng)很好地量化和解釋了檔案大數(shù)據(jù)的價值。它是轉(zhuǎn)換思維方式、科學(xué)決策的直接支撐,是引領(lǐng)社會更快、更好發(fā)展的“催化劑”。設(shè)置檔案大數(shù)據(jù)分析師,無疑會有助于提升檔案信息服務(wù)于社會的廣度與深度。同時,也有助于檔案部門把握契機(jī)創(chuàng)新服務(wù)社會的模式與內(nèi)容。
2 檔案領(lǐng)域數(shù)據(jù)分析師的崗位職責(zé)
檔案領(lǐng)域數(shù)據(jù)分析師,可以依據(jù)各級主管部門、檔案館(室)的編制和事業(yè)發(fā)展?fàn)顩r合理配置,其職責(zé)主要是從檔案資源建設(shè)、檔案利用、檔案事業(yè)綜合發(fā)展以及檔案文件內(nèi)容等方面進(jìn)行數(shù)據(jù)統(tǒng)計(jì)和分析,并制定優(yōu)化方案和提出發(fā)展規(guī)劃建議。
2.1 檔案資源數(shù)據(jù)統(tǒng)計(jì)和分析。檔案資源數(shù)量統(tǒng)計(jì)和分析,主要是對館(室)藏或者主管范圍內(nèi)的檔案資源數(shù)量情況進(jìn)行統(tǒng)計(jì)和分析,包括對各全宗文件數(shù)量的分類統(tǒng)計(jì)和分析、同類全宗文件數(shù)量的對比分析、現(xiàn)行全宗文件產(chǎn)生量與歸檔量的對比分析、永久檔案與定期檔案數(shù)量的對比分析、不同類型載體檔案數(shù)量的對比分析、不同地域不同系統(tǒng)檔案移交數(shù)量對比分析、不同時期檔案數(shù)量對比分析、不同密級檔案數(shù)量對比分析等。
檔案資源質(zhì)量統(tǒng)計(jì)和分析。主要是對館(室)藏或者主管范圍內(nèi)的檔案質(zhì)量情況進(jìn)行統(tǒng)計(jì)和分析,包括檔案資源載體和信息完好度分析、檔案資源結(jié)構(gòu)分析、檔案著錄情況分析、檔案信息化建設(shè)情況分析、檔案目錄數(shù)據(jù)庫質(zhì)量分析、檔案全文數(shù)據(jù)質(zhì)量分析、檔案縮微情況分析、檔案修復(fù)情況分析等。
檔案資源優(yōu)化方案的制定。基于館(室)功能,在科學(xué)分析的基礎(chǔ)上,提出一定范圍內(nèi)檔案資源體系建設(shè)優(yōu)化方案。主要是從檔案資源結(jié)構(gòu)和數(shù)量視角,有重點(diǎn)地對現(xiàn)有檔案資源進(jìn)行豐富、再鑒定工作。對明顯存在缺失的館(室)藏方向,分析檔案資源可能的分布點(diǎn),為收(征)集工作提供指導(dǎo)。具體分析檔案著錄、目錄數(shù)據(jù)庫構(gòu)建情形,提供檔案著錄尤其是電子文件著錄以及檔案目錄數(shù)據(jù)庫優(yōu)化方案。必要時,對全文數(shù)據(jù)質(zhì)量進(jìn)行優(yōu)化。根據(jù)檔案完好度統(tǒng)計(jì),制定檔案修復(fù)計(jì)劃。
2.2 檔案利用數(shù)據(jù)統(tǒng)計(jì)和分析。檔案利用人群統(tǒng)計(jì)和分析。主要是對用戶基本情況進(jìn)行統(tǒng)計(jì)和分析,包括用戶職業(yè)、單位、年齡、學(xué)歷、檔案專業(yè)知識、興趣點(diǎn)、檔案意識等,從共性和個性等方面進(jìn)行分析和研究。
檔案利用目的、利用效益統(tǒng)計(jì)和分析。主要是對檔案利用目標(biāo)和用戶所獲得的收益進(jìn)行分析。從編史修志、工作查考、解決個人問題等方面對檔案利用目的作進(jìn)一步細(xì)分,分別進(jìn)行統(tǒng)計(jì)和分析,并關(guān)注其利用效益。同時,分析一定時期內(nèi)得到用戶關(guān)注和利用的檔案資源,尤其是得到用戶重點(diǎn)關(guān)注或利用的檔案資源。
檔案檢索效率統(tǒng)計(jì)和分析。主要是對檔案目錄和全文的檢索效率進(jìn)行分析,與圖書情報資源等相關(guān)領(lǐng)域的檢索效率進(jìn)行對比,考慮其是否滿足用戶需要,有無改進(jìn)策略。密切跟蹤信息和知識領(lǐng)域的發(fā)展前沿,將先進(jìn)的技術(shù)和工具應(yīng)用到檔案檢索效率的提升上來,主要是對檔案信息組織和檢索模式提出創(chuàng)新方案。
檔案利用發(fā)展趨勢預(yù)測。由于社會和國家發(fā)展的需要,人們會在一定時期內(nèi)有重點(diǎn)地開展某個或某些方面的工作。數(shù)據(jù)分析師應(yīng)密切關(guān)注某個系統(tǒng)、國家乃至整個人類社會的發(fā)展形勢,科學(xué)地統(tǒng)計(jì)和分析用戶的潛在需求,準(zhǔn)確地預(yù)測出檔案利用的重點(diǎn)方向,從而有針對性地做好檔案利用準(zhǔn)備工作。例如,編史修志工作往往在國家層面、某一系統(tǒng)或行業(yè)層面進(jìn)行統(tǒng)一行動,有的又會與編制體制調(diào)整、大型紀(jì)念活動、大項(xiàng)任務(wù)開展等時機(jī)緊密結(jié)合;個人利用檔案,往往會與國家出臺某項(xiàng)政策、某一年齡段人群的成長經(jīng)歷、某些文化活動的開展等密切關(guān)聯(lián)。根據(jù)檔案利用歷史數(shù)據(jù)的分析、當(dāng)前社會熱點(diǎn)、用戶關(guān)注方向等,引導(dǎo)檔案信息資源的開發(fā),借助大數(shù)據(jù)工具,利用檔案信息資源整合平臺,充分地進(jìn)行知識挖掘,高效地構(gòu)建專題數(shù)據(jù)庫,向用戶推送檔案信息資源。
2.3 檔案事業(yè)數(shù)據(jù)綜合統(tǒng)計(jì)和分析。檔案人才隊(duì)伍建設(shè)情況統(tǒng)計(jì)和分析。當(dāng)今時代,不僅要求檔案工作者具有較高的信息素養(yǎng),而且需要檔案工作者轉(zhuǎn)變理念,從知識管理視角出發(fā),為用戶提供問題解決方案。檔案領(lǐng)域數(shù)據(jù)分析師應(yīng)該對檔案工作者個體素質(zhì)和整個隊(duì)伍建設(shè)情況進(jìn)行統(tǒng)計(jì)和分析,要重點(diǎn)關(guān)注專業(yè)學(xué)歷、知識儲備、年齡結(jié)構(gòu)、管理能力、信息素養(yǎng)和職業(yè)精神等方面。
檔案事業(yè)組織領(lǐng)導(dǎo)形勢統(tǒng)計(jì)和分析。組織領(lǐng)導(dǎo)是檔案事業(yè)發(fā)展的關(guān)鍵。檔案領(lǐng)域數(shù)據(jù)分析師,應(yīng)可以系統(tǒng)地設(shè)置檔案事業(yè)各類統(tǒng)計(jì)表格,并根據(jù)形勢發(fā)展創(chuàng)新地設(shè)置統(tǒng)計(jì)項(xiàng)目和衡量指標(biāo)。不僅要分析檔案主管部門對檔案工作的組織領(lǐng)導(dǎo)情況,還要分析各級組織機(jī)構(gòu)對檔案事業(yè)的組織領(lǐng)導(dǎo)形勢,包括工作規(guī)劃、經(jīng)費(fèi)投入和對檔案事業(yè)的關(guān)注度等。
檔案專業(yè)硬件、軟件建設(shè)情況統(tǒng)計(jì)和分析。在國家大力倡導(dǎo)檔案信息共享平臺建設(shè)的情形下,對行業(yè)內(nèi)硬件、軟件建設(shè)情況進(jìn)行統(tǒng)計(jì)和分析,要重點(diǎn)對檔案館(室)庫房建設(shè)、檔案安全體系建設(shè)、業(yè)務(wù)設(shè)備建設(shè)、檔案軟件系統(tǒng)建設(shè)等方面進(jìn)行統(tǒng)計(jì)和分析,避免低水平重復(fù)建設(shè)、提升管理資源利用效益。
制定檔案事業(yè)科學(xué)發(fā)展方案。檔案領(lǐng)域數(shù)據(jù)分析師要適應(yīng)大環(huán)境的需要,從檔案工作者個體出發(fā),提出人才培養(yǎng)和培訓(xùn)方案。從檔案人才隊(duì)伍整體建設(shè)出發(fā),合理提出編制調(diào)整、人才配備和人才發(fā)展等建議。在硬件建設(shè)方面,從檔案事業(yè)整體發(fā)展視角提供指導(dǎo)意見,合理配置各類設(shè)備設(shè)施。在應(yīng)用系統(tǒng)開發(fā)方面,針對技術(shù)發(fā)展形勢及時提供建議,為頒布軟件系統(tǒng)需求標(biāo)準(zhǔn)、協(xié)調(diào)資源做出貢獻(xiàn)。
2.4 檔案文件內(nèi)容大數(shù)據(jù)的分析和知識挖掘。無論是科技檔案、專門檔案,還是文書檔案,其利用都是圍繞著組織機(jī)構(gòu)(或個人)的業(yè)務(wù)行為開展的。因此,從業(yè)務(wù)層面對檔案內(nèi)容大數(shù)據(jù)進(jìn)行分析,是檔案大數(shù)據(jù)分析的重要內(nèi)容。根據(jù)各專業(yè)發(fā)展的需要,利用高效、可視化的圖形分析工具,對檔案文件內(nèi)容大數(shù)據(jù)進(jìn)行分析,挖掘出其中蘊(yùn)含的知識點(diǎn),以指導(dǎo)各領(lǐng)域業(yè)務(wù)工作的科學(xué)開展。
3 檔案領(lǐng)域數(shù)據(jù)分析師的基本素質(zhì)要求
數(shù)據(jù)分析師肩負(fù)著對檔案事業(yè)各類數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和分析的職責(zé),并且要根據(jù)分析結(jié)果制定出推動各行業(yè)科學(xué)發(fā)展的、切實(shí)可行的方案,這就要求其具有高度的事業(yè)心和責(zé)任感,具備檔案、計(jì)算機(jī)、數(shù)學(xué)和管理等領(lǐng)域?qū)I(yè)知識和技能。
3.1 思維開闊,開拓精神強(qiáng)。無論是統(tǒng)計(jì)項(xiàng)目的設(shè)置、還是優(yōu)化方案的制定,都要求檔案領(lǐng)域數(shù)據(jù)分析師關(guān)注相關(guān)領(lǐng)域前沿發(fā)展形勢,具有開闊的思維和較強(qiáng)的創(chuàng)新意識,能夠敏銳地捕捉到檔案事業(yè)發(fā)展中的主要矛盾,打破舊的思維和工作運(yùn)行模式,為建立起切合實(shí)際的、具有前瞻性的檔案工作機(jī)制貢獻(xiàn)力量。
3.2 檔案專業(yè)功底扎實(shí)。檔案領(lǐng)域的數(shù)據(jù)分析,其出發(fā)點(diǎn)和落腳點(diǎn)均在檔案收集、管理和利用。因而,數(shù)據(jù)分析師應(yīng)具備系統(tǒng)的檔案專業(yè)理論知識。不僅要熟知檔案領(lǐng)域基本理論,而且要掌握領(lǐng)域前沿發(fā)展和理論創(chuàng)新情況,密切跟蹤行業(yè)發(fā)展實(shí)踐,能夠科學(xué)地設(shè)計(jì)好統(tǒng)計(jì)與衡量指標(biāo)、優(yōu)化和促進(jìn)檔案事業(yè)的綜合發(fā)展。
3.3 掌握計(jì)算機(jī)應(yīng)用專業(yè)知識。數(shù)據(jù)分析師經(jīng)常要與計(jì)算機(jī)網(wǎng)絡(luò)、多種軟件工具打交道,必須具備較高的信息素養(yǎng)和扎實(shí)的計(jì)算機(jī)應(yīng)用專業(yè)知識。檔案領(lǐng)域數(shù)據(jù)分析師,應(yīng)了解機(jī)器學(xué)習(xí)、人工智能和自然語言知識,能夠結(jié)合領(lǐng)域?qū)嶋H,提出具體的統(tǒng)計(jì)、分析軟件系統(tǒng)需求;能夠熟練操作基本分析軟件,掌握大數(shù)據(jù)分析工具的使用(如R軟件、SPSS、MATLAB),準(zhǔn)確地采集、處理數(shù)據(jù),必要時進(jìn)行數(shù)據(jù)遷移;能夠在看似無關(guān)的數(shù)據(jù)中挖掘出蘊(yùn)含的關(guān)聯(lián)、發(fā)現(xiàn)檔案資源建設(shè)和檔案事業(yè)發(fā)展內(nèi)在規(guī)律。
3.4 熟悉管理學(xué)基本理論。無論是檔案資源管理、還是檔案事業(yè)的綜合管理,都離不開管理學(xué)基本理論的運(yùn)用。因此,檔案領(lǐng)域數(shù)據(jù)分析師應(yīng)熟悉現(xiàn)代管理學(xué)基本理論,具有嚴(yán)謹(jǐn)?shù)倪壿嬎季S能力和較好的文字表述能力,能夠運(yùn)用管理學(xué)前沿理論來指導(dǎo)檔案資源建設(shè)和檔案事業(yè)科學(xué)發(fā)展方案的制定。
篇2
關(guān)鍵詞數(shù)據(jù)挖掘 教學(xué)模式 合作式教學(xué)
中圖分類號:G642文獻(xiàn)標(biāo)識碼:A
數(shù)據(jù)是無處不在的。當(dāng)飛速增長的數(shù)據(jù)給我們帶來方便和便捷的同時,也將我們推入浩瀚的數(shù)據(jù)海洋。廣泛用于商業(yè)和科學(xué)領(lǐng)域中的自動數(shù)據(jù)收集設(shè)備每小時能夠產(chǎn)生幾TB規(guī)模的數(shù)據(jù),人們面臨的問題已經(jīng)不再是沒有充分的信息可選擇,而是如何有效利用如此龐大的數(shù)據(jù),并且找到蘊(yùn)含于這些信息之中的有價值的知識。由于數(shù)據(jù)分析師的匱乏,導(dǎo)致了很多領(lǐng)域出現(xiàn)了“數(shù)據(jù)豐富而知識匱乏”的現(xiàn)象,因而在信息計(jì)算科學(xué)、統(tǒng)計(jì)學(xué)等本科專業(yè)中開設(shè)數(shù)據(jù)分析課程是非常有必要的。
數(shù)據(jù)分析就是分析和處理數(shù)據(jù)的理論和方法,從數(shù)據(jù)中獲得有用的信息,其內(nèi)容豐富,方法眾多,最大的特點(diǎn)就是“讓數(shù)據(jù)說話”。該課程設(shè)計(jì)的分析方法眾多,如:方差分析、非參數(shù)統(tǒng)計(jì)、多元統(tǒng)計(jì)分析、判別聚類分析、時間序列分析等。由于計(jì)算機(jī)編程的復(fù)雜及數(shù)據(jù)的難以采集,這些分析方法在課程中大多處于理論教學(xué),使得本科階段的學(xué)生很難接受。隨著計(jì)算機(jī)及統(tǒng)計(jì)軟件(如SAS,SPSS)的普及,大大的減少了對程序能力的要求,隨著大量數(shù)據(jù)被數(shù)據(jù)采集者開放(如金融數(shù)據(jù)庫),使學(xué)生有可研究的對象,從而使得我們在大學(xué)本科階段開設(shè)數(shù)據(jù)分析課程成為可能,但需要合適的教學(xué)模式以適應(yīng)本科階段的教學(xué)。
由于數(shù)據(jù)分析的方法眾多,對不同學(xué)科的數(shù)據(jù)又會有其特殊的分析模型,在一門課中介紹全部是不可能的,透徹的介紹每種方法的原理更是不可能的。基于學(xué)生的數(shù)學(xué)和計(jì)算機(jī)基礎(chǔ),從實(shí)際問題出發(fā),介紹了常用的方差分析,回歸分析,主成份分析、判別和聚類分析等方法,以方法綜合應(yīng)用為主,理論為輔,運(yùn)用SAS軟件來實(shí)現(xiàn)。在教學(xué)過程中采用了以下幾個模式,并達(dá)到了較好的教學(xué)效果。
1 選用SAS軟件為課程配套工具軟件
在數(shù)據(jù)分析課程的教學(xué)中,算法實(shí)現(xiàn)對于本科生來說難度太大,該階段的學(xué)生只學(xué)過C語言,很多分析方法如果用C語言來編程完成,難度將無法想象。我們要培養(yǎng)數(shù)據(jù)分析師,而不是高級程序員。隨著統(tǒng)計(jì)軟件在全球的流行,我們選取了SAS軟件作為工具,結(jié)合數(shù)據(jù)分析課程的教學(xué)。通過簡單的編程即可實(shí)現(xiàn)所有數(shù)據(jù)分析方法,并且應(yīng)用多樣化,功能強(qiáng)大。但由于SAS入手較難,為了不影響數(shù)據(jù)挖掘可能的教學(xué)時間,我們?yōu)樵搶I(yè)學(xué)生準(zhǔn)備了兩周實(shí)踐課程,專門進(jìn)行SAS的教學(xué),取得了很好的效果。在數(shù)據(jù)分析課程中,每一種方法只需介紹基本思想,簡單原理,計(jì)算步驟及SAS系統(tǒng)中對應(yīng)的模塊和程序說明。例如在介紹方差分析時,同時介紹SAS系統(tǒng)中ANOVA和GLM過程,利用SAS軟件可迅速得到各種統(tǒng)計(jì)量,學(xué)生只需通過結(jié)果做相關(guān)的分析結(jié)論,簡化繁瑣計(jì)算,節(jié)省課時,提高了學(xué)生的學(xué)習(xí)興趣。
2 引入合作式教學(xué),加入討論課模式
數(shù)據(jù)分析課程當(dāng)中,理論知識的傳授和應(yīng)用能力的培養(yǎng)歸根結(jié)底是為了解決實(shí)際問題。各種分析算法,軟件都是幫助解決問題的一個工具。如何讓學(xué)生去面臨實(shí)際問題,并通過收集數(shù)據(jù),建立模型,求解模型從而解決問題,這才是我們希望學(xué)生真正得到的能力。所以,我們引入的合作式教學(xué)模式。每次討論課給定特定的專題,學(xué)生以組為單位收集相關(guān)資料數(shù)據(jù),并進(jìn)行問題分析,選定數(shù)據(jù)分析方法并建模求解,對得到的結(jié)果進(jìn)行相關(guān)的解釋,最后進(jìn)行合理性分析。如對某產(chǎn)品在各個超市的銷售量的分析,判斷地區(qū)是否對銷售量有影響。整個過程從灌輸式的教學(xué)模式轉(zhuǎn)變?yōu)橐龑?dǎo)式的教學(xué)模式,學(xué)生在討論課當(dāng)中占據(jù)主導(dǎo)地位。在分析問題得到結(jié)論后,以小組為單位進(jìn)行總結(jié)匯報,由組外同學(xué)進(jìn)行點(diǎn)評討論,教師只做啟發(fā),指導(dǎo)工作。這種教學(xué)模式,不僅大大提高了學(xué)生的主動性,調(diào)動的學(xué)生思維,提高解決問題的實(shí)際能力,表達(dá)、溝通及團(tuán)隊(duì)合作能力,而且課堂氣氛活躍,參與面廣,討論中相互發(fā)現(xiàn)問題,糾正錯誤。
3 適當(dāng)介紹方法產(chǎn)生的背景、原理、重點(diǎn)介紹方法的綜合應(yīng)用
適當(dāng)介紹方法產(chǎn)生背景和原理,可加深學(xué)生對分析方法的理解,深入了解方法的適用領(lǐng)域,所能解決的問題,與實(shí)際相結(jié)合,從而提高學(xué)生的學(xué)習(xí)興趣。但我們更應(yīng)該把分析方法綜合應(yīng)用作為首要教授的方面,即如何讓學(xué)生把所學(xué)的數(shù)據(jù)方法正確的應(yīng)用到實(shí)際問題當(dāng)中。我們應(yīng)該從以下幾個方面入手:
(1)介紹分析方法的基本背景和原理,講清應(yīng)用范圍。教學(xué)中,我們可簡單介紹分析方法的基本思想和計(jì)算方法,但其具體能解決何種問題必須講清。如:聚類分析和判別分析兩類問題,都是用于事物的分類,但兩者的本質(zhì)是完全不一樣的。判別分析中的類別是已知的,并且類別的屬性或已知,或間接的給出(通過一組已經(jīng)分類的樣本),根據(jù)已知的知識對現(xiàn)有未知的樣本進(jìn)行分類。而聚類分析則體現(xiàn)的是“物以類聚”的思想,將相似性強(qiáng)的樣本歸為一類,其中類別的特點(diǎn),數(shù)量在聚類完成前是完全不知道的。如醫(yī)生看病判斷病情屬于分類問題,而對新的疫情進(jìn)行類別區(qū)別則是屬于聚類問題。利用實(shí)例使學(xué)生區(qū)分兩種方法所能解決的問題以及兩種方法所處理的數(shù)據(jù)的區(qū)別。
(2)融入數(shù)學(xué)建模思想,加強(qiáng)分析方法的應(yīng)用。每個分析方法從理論到實(shí)際應(yīng)用都需要一個過程。如果將一個實(shí)際問題轉(zhuǎn)變?yōu)橐粋€數(shù)學(xué)能解決的問題,就需要運(yùn)用數(shù)學(xué)建模的思想,建立數(shù)學(xué)模型解決實(shí)際的問題。如:一個城市的安全程度往往可以通過這個城市的犯罪率來體現(xiàn),但是犯罪種類之多使得我們無法通過某種犯罪次數(shù)來得出結(jié)論。這就使得我們要建立主成分分析模型,運(yùn)用主成份分析方法,將現(xiàn)有的多種犯罪數(shù)據(jù)進(jìn)行線性組合,得到幾個主要的犯罪指標(biāo)――總體犯罪率,重度犯罪比例等等。利用少量的指標(biāo)去體現(xiàn)原來多個指標(biāo)所體現(xiàn)的大部分信息,達(dá)到反應(yīng)總體狀況的效果。通過簡單的、學(xué)生感興趣的例子,引入主成份模型的原理,介紹分析方法,使其感受到主成份分析的重要性和必要性。通過各個主成分依次求出,其反應(yīng)出的總體信息不斷加大,還可引入貢獻(xiàn)率和累計(jì)貢獻(xiàn)率得概念,使學(xué)生明確如何合理選擇主成分。比如當(dāng)前m個主成份的累計(jì)貢獻(xiàn)率達(dá)到85%的時候,就可認(rèn)為這m個主成份能夠反應(yīng)總體的絕大部分信息。重點(diǎn)介紹各個統(tǒng)計(jì)量在當(dāng)前模型中的含義,作用及對應(yīng)關(guān)系,使得學(xué)生能夠使用分析方法在實(shí)際中加以應(yīng)用。
(3)加強(qiáng)介紹方法的步驟、軟件實(shí)現(xiàn)及結(jié)果解釋。建立模型后如何利用軟件解決模型是學(xué)生必須掌握的技術(shù)。任何數(shù)據(jù)分析算法,都不太可能利用人工計(jì)算完成。由于我們選取了SAS作為分析軟件,所以在課堂中,介紹完原理和數(shù)學(xué)模型后,都會給出相關(guān)實(shí)現(xiàn)的步驟。SAS編程相對簡單,分析過程大多是PROC步完成,其針對每種分析方法都會有相關(guān)的過程函數(shù),并且會有與算法對應(yīng)的輸入?yún)?shù)。學(xué)生只要模仿調(diào)用相關(guān)過程,并對結(jié)果進(jìn)行相關(guān)解釋即可實(shí)現(xiàn)相應(yīng)分析方法的應(yīng)用。比如利用SAS程序進(jìn)行回歸分析簡單例子:
proc regdata= study.bclass;
modelweight = height /r clm cli dw;
run;
其中,模型參數(shù)r表示要輸出殘差分析,包括因變量的觀察值、由輸入數(shù)據(jù)和估計(jì)模型來計(jì)算的預(yù)測值、殘差值、標(biāo)準(zhǔn)誤差、學(xué)生化殘差、COOKD統(tǒng)計(jì)量等。通過計(jì)算可得到各個相關(guān)統(tǒng)計(jì)量的值,學(xué)生無需涉及計(jì)算過程,只需知道計(jì)算得到的各個統(tǒng)計(jì)量所代表的含義,并會對結(jié)果進(jìn)行解釋。只有學(xué)會對結(jié)果的解釋分析,才能解決真正的實(shí)際問題。
通過教學(xué)實(shí)踐,我認(rèn)為將統(tǒng)計(jì)軟件作為配套工具和數(shù)據(jù)分析方法結(jié)合教學(xué),可以起到相輔相成的作用,加入合作式教學(xué)模式,開展討論課不僅學(xué)生綜合能力得到了提高,而且學(xué)生團(tuán)隊(duì)合作意識得到了加強(qiáng)。同時,教師必須擔(dān)任好自己的角色,要精心設(shè)計(jì)教學(xué)中的每個細(xì)節(jié),如分析方法原理的引入,討論專題的選擇等,這樣才能起到良好的教學(xué)效果。
注釋
紀(jì)希禹. 數(shù)據(jù)挖掘技術(shù)應(yīng)用實(shí)例[M]. 機(jī)械工業(yè)出版社,2009.
篇3
據(jù)國家郵政局?jǐn)?shù)據(jù),2013年“雙11”全天共產(chǎn)生訂單快遞物流量約1.8億件。對比2012年數(shù)據(jù),“三通一達(dá)”快遞公司流量全部翻倍,日處理量已過千萬,卻并未像往年出現(xiàn)“快遞爆倉”的現(xiàn)象,網(wǎng)購者普遍認(rèn)為配送效率較高。這其中,大數(shù)據(jù)應(yīng)用起到了絕對的重要作用。
一、大數(shù)據(jù)時代
最早提出“大數(shù)據(jù)(Big Data)”的是全球知名咨詢公司麥肯錫,他們認(rèn)為“大數(shù)據(jù)是下一輪創(chuàng)新、競爭和生產(chǎn)力的前沿”,“對于企業(yè)來說,海量電子數(shù)據(jù)的應(yīng)用將成為未來競爭和增長的基礎(chǔ)”。由于大數(shù)據(jù)具有規(guī)模性、多樣性、高速性、價值性的特點(diǎn),使得數(shù)據(jù)處理工具、處理方式,隨著互聯(lián)網(wǎng)與信息技術(shù)的進(jìn)步,得到逐步發(fā)展,同時大數(shù)據(jù)應(yīng)用也已經(jīng)深入到各行各業(yè),從科技到醫(yī)療、政府、教育、經(jīng)濟(jì)以及社會的其他各個領(lǐng)域。2013年5月召開的“京交會”上,申通快遞展示了其最新的“信息化智能平臺”。該平臺通過對數(shù)據(jù)的歸納、分類和整合,可以清楚地查看申通網(wǎng)絡(luò)任何一個網(wǎng)點(diǎn)的經(jīng)營現(xiàn)狀和業(yè)務(wù)構(gòu)成等。而在2013年初,京東商城就已啟動云計(jì)算研發(fā)基地,并成立“京東商城――中國人民大學(xué)”電子商務(wù)實(shí)驗(yàn)室,著力電子商務(wù)大數(shù)據(jù)的分析與合作。
二、大數(shù)據(jù)給物流專業(yè)教育帶來的機(jī)遇與挑戰(zhàn)
據(jù)規(guī)劃,菜鳥網(wǎng)絡(luò)將建成一張能支撐日均300億元網(wǎng)絡(luò)零售額的智能物流骨干網(wǎng)絡(luò),讓全國任何一個地區(qū)做到24小時內(nèi)送貨必達(dá)。這是大數(shù)據(jù)在物流領(lǐng)域的一次大應(yīng)用,這種應(yīng)用將會改變物流行業(yè)格局,勢必給各物流運(yùn)營商帶來沖擊。所以,物流快遞行業(yè)必須及時提高企業(yè)競爭力度,擴(kuò)大企業(yè)實(shí)力,進(jìn)而迎接激烈的挑戰(zhàn),而一些菜鳥網(wǎng)帶來的不僅僅是挑戰(zhàn),還蘊(yùn)含著有利商機(jī),同時創(chuàng)造大量的就業(yè)崗位,帶來大量的人才缺口。根據(jù)麥肯錫公司的預(yù)測報告,到2018年,僅僅美國可從事“深度分析研究”的大數(shù)據(jù)專業(yè)人才短缺就將達(dá)到14萬~19萬人之間。這些人才不但需要掌握著機(jī)器學(xué)習(xí)技術(shù)、統(tǒng)計(jì)或計(jì)算機(jī)科學(xué)技術(shù),而且還必須能夠真正知道如何將龐大的數(shù)據(jù)信息轉(zhuǎn)化為有意義的商業(yè)情報。大數(shù)據(jù)的價值在于從海量的數(shù)據(jù)中發(fā)現(xiàn)新的知識,創(chuàng)造新的價值??上驳氖?,物流快遞行業(yè)正是一個產(chǎn)生大量數(shù)據(jù)的行業(yè),在物流快遞各個環(huán)節(jié)中都會產(chǎn)生海量的數(shù)據(jù)。應(yīng)用“大數(shù)據(jù)”技術(shù),通過對其中的數(shù)據(jù)進(jìn)行歸納、分類和整合,清楚地分析企業(yè)網(wǎng)絡(luò)任何一個網(wǎng)點(diǎn)的經(jīng)營現(xiàn)狀和業(yè)務(wù)情況等。然而,傳統(tǒng)物流本科教育培養(yǎng)的是更偏向物流系統(tǒng)構(gòu)建、分析,物流系統(tǒng)運(yùn)營管理等精英人才。大數(shù)據(jù)在物流行業(yè)的應(yīng)用產(chǎn)生的物流系統(tǒng)數(shù)據(jù)分析師對企業(yè)的作用將越來越大,這就對物流教育提出了更高的要求。只會IT技術(shù)的人才是不能解決物流行業(yè)數(shù)據(jù)處理問題的,大數(shù)據(jù)需要的是復(fù)合型的人才,需要將深厚的技術(shù)背景與所在行業(yè)和業(yè)務(wù)領(lǐng)域的需求相結(jié)合。物流教育機(jī)遇隨之而來。
三、我國物流專業(yè)教育現(xiàn)狀
雖然大數(shù)據(jù)給物流教育帶來了機(jī)遇,但當(dāng)前的物流教育模式,仍然不能勝任,因?yàn)槲覈菩形锪鹘逃?0多年來,取得了一定的成就,但同時也存在一定的問題。(1)學(xué)科建設(shè)不夠完善。缺乏獨(dú)立的物流知識體系,很容易造成教學(xué)安排的重復(fù),導(dǎo)致教學(xué)體系的冗余狀態(tài)。(2)教育模式陳舊?,F(xiàn)階段的教育模式仍然是重知識傳授、輕能力培養(yǎng),填鴨式教育不利于學(xué)生創(chuàng)新能力培養(yǎng),分析問題、解決問題能力也欠佳。(3)教材雜,不能因材施教。存在相當(dāng)一部分教材知識出現(xiàn)了重疊問題,很少將物流實(shí)踐經(jīng)驗(yàn)技術(shù)總結(jié)指導(dǎo)來進(jìn)行教材編寫,教材質(zhì)量普遍較低。(4)課程結(jié)業(yè)考察模式陳舊。學(xué)生只學(xué)習(xí)教材,容易形成期末突擊學(xué)習(xí),考完就忘的局面。(5)教學(xué)配套實(shí)驗(yàn)室建設(shè)落后。即使建設(shè)了相應(yīng)的物流實(shí)驗(yàn)室,但用于教學(xué)和科研的較少,擁有物流省級以上實(shí)驗(yàn)室的更少。(6)學(xué)術(shù)與實(shí)踐能力并重的物流教師缺乏。由于當(dāng)前教師都需要博士學(xué)位,因此大量年輕教師都缺乏企業(yè)實(shí)踐,對學(xué)生培養(yǎng)不利。(7)案例、互動教學(xué)少。物流是實(shí)踐行業(yè),教育應(yīng)輔以大量案例、互動教學(xué),但當(dāng)前案例教學(xué)大都較陳舊,國外案例不大符合國內(nèi)實(shí)際情況,更多的案例沒有能將問題分析透,不能讓學(xué)生在實(shí)際中學(xué)習(xí)成長。
四、大數(shù)據(jù)背景下物流專業(yè)教育模式
在當(dāng)前大數(shù)據(jù)發(fā)展如火如荼的背景下,大數(shù)據(jù)分析處理能力對物流專業(yè)教育提出了更高的要求。物流是實(shí)踐性很強(qiáng)的行業(yè),物流教育也應(yīng)立足實(shí)踐。大數(shù)據(jù)帶來的是思維的轉(zhuǎn)變,強(qiáng)調(diào)的是創(chuàng)新,是新發(fā)明、新服務(wù)的源泉。因此物流教育應(yīng)立足實(shí)踐并積極創(chuàng)新,其教育模式可適當(dāng)借鑒國外教育模式。德國模式:德國從人才培養(yǎng)目標(biāo)、課程體系、師資隊(duì)伍和實(shí)踐環(huán)節(jié)的設(shè)計(jì)上都以應(yīng)用型人才培養(yǎng)為基礎(chǔ),對于培養(yǎng)目標(biāo)而言,培養(yǎng)的人才不僅有系統(tǒng)的科學(xué)技術(shù)知識,而且具有超強(qiáng)的實(shí)際應(yīng)用能力,學(xué)生畢業(yè)后能很快勝任大中型企業(yè)的技術(shù)骨干或小型企業(yè)的技術(shù)骨干等工作,其課程體系也與企業(yè)實(shí)際應(yīng)用緊緊銜接,師資隊(duì)伍也以雙師型(即雙軌制)為主,實(shí)踐環(huán)節(jié)考核也有嚴(yán)格要求。
英國“工讀交替,實(shí)踐教學(xué)”模式:學(xué)生先到企業(yè)學(xué)習(xí),了解企業(yè)的需要和自己需要的理論知識體系,再回到學(xué)校進(jìn)行專業(yè)知識技術(shù)的學(xué)習(xí),之后再回到企業(yè)進(jìn)行實(shí)踐。通過這種形式讓學(xué)生充分將理論知識與實(shí)踐技能相結(jié)合,畢業(yè)時同時具備較好的系統(tǒng)知識與實(shí)踐技能。高校的培養(yǎng)目標(biāo)、課程設(shè)置等方面均以應(yīng)用為主,注重產(chǎn)學(xué)結(jié)合。多數(shù)高校與當(dāng)?shù)氐钠髽I(yè)形成互利合作機(jī)制,系科設(shè)置和課程設(shè)置按社會需要調(diào)整,學(xué)校招生人數(shù)大都以企事業(yè)單位的需要和勞動市場的人才預(yù)測來確定。這種人才培養(yǎng)模式不僅為社會培養(yǎng)大量應(yīng)用型工程師,也大大提高了就業(yè)率。美國“生計(jì)教育”模式:高校的專業(yè)設(shè)置、課程設(shè)置與社會職業(yè)需求緊密關(guān)聯(lián),使高校教育與社會職業(yè)高度相關(guān),高校本科應(yīng)用型人才培養(yǎng)強(qiáng)調(diào)學(xué)生在接受教育的同時接受專業(yè)知識與技能的培訓(xùn)。人才培養(yǎng)的特點(diǎn)可以概括為:教學(xué)方式靈活多樣、企業(yè)高校合作培養(yǎng)、政府企業(yè)支持培養(yǎng)、系統(tǒng)知識與專業(yè)技能同時培養(yǎng)。這三種模式總結(jié)起來,就是高校教育注重社會需求,按崗位需要來設(shè)置知識技能教育體系,注重實(shí)踐,高校與企業(yè)聯(lián)合培養(yǎng)學(xué)生,其畢業(yè)后反哺企業(yè),提高實(shí)踐能力與行業(yè)熱情。
因此,在當(dāng)前形勢下,物流教育模式可適當(dāng)做出調(diào)整,可從以下幾個方面進(jìn)行轉(zhuǎn)變:
1.明確就業(yè)定位。全國各高校的物流專業(yè)可根據(jù)自身專業(yè)優(yōu)勢進(jìn)行物流人才教育細(xì)分,不必全國都培養(yǎng)大致相同的人才。各高校有各自的優(yōu)勢專業(yè),完全可以形成自己的獨(dú)特優(yōu)勢,進(jìn)行差異化物流教育。根據(jù)定位來設(shè)置自己的培養(yǎng)計(jì)劃,按需培養(yǎng)。
2.加強(qiáng)校企合作。各高??筛鶕?jù)自己情況,加強(qiáng)與企業(yè)的合作,細(xì)分行業(yè),形成以行業(yè)為基礎(chǔ)的物流專業(yè)特色。同濟(jì)大學(xué)物流工程專業(yè)至今已與建材行業(yè)、快遞行業(yè)、快消品行業(yè)、電子產(chǎn)品行業(yè)等多個行業(yè)建立產(chǎn)學(xué)研合作基地,通過行業(yè)滲透積累科研經(jīng)驗(yàn),反哺教學(xué),培養(yǎng)卓越工程師。
3.加強(qiáng)學(xué)生實(shí)踐。在建立的產(chǎn)學(xué)研基地中,充分磨合企業(yè)需求,為企業(yè)提供科研保障的同時,加大學(xué)生實(shí)踐力度,強(qiáng)調(diào)學(xué)生在實(shí)踐中學(xué)習(xí),在實(shí)踐中成長。大數(shù)據(jù)教育靠學(xué)校自身是無法完成的,只有將學(xué)生投入到企業(yè)實(shí)踐中,從企業(yè)獲取數(shù)據(jù),應(yīng)用所學(xué)知識技能進(jìn)行挖掘分析,為企業(yè)提供決策支持,才是多贏。為此,建議設(shè)置兩個實(shí)習(xí)期:大一暑假一至兩個月的專業(yè)實(shí)習(xí),了解企業(yè)需求和學(xué)生自身所需學(xué)習(xí)的知識體系;第二個時期為大四上學(xué)期,學(xué)生學(xué)習(xí)后再實(shí)踐,要求能為企業(yè)解決一些具體問題,如大數(shù)據(jù)分析、網(wǎng)絡(luò)優(yōu)化、倉庫布局及運(yùn)作優(yōu)化等。同濟(jì)大學(xué)物流工程專業(yè)當(dāng)前已設(shè)置6周的企業(yè)實(shí)習(xí),全身心投入到具體實(shí)踐當(dāng)中。
4.開展校企合作的科研訓(xùn)練計(jì)劃。建立如全國物流大學(xué)生設(shè)計(jì)大賽類似的訓(xùn)練計(jì)劃,由企業(yè)根據(jù)自身情況題目,由學(xué)生組隊(duì)參賽,培養(yǎng)協(xié)作意識、動手能力與創(chuàng)新意識,解決實(shí)際問題,同時企業(yè)也能獲得一些“意想不到”的創(chuàng)新想法。學(xué)生的畢業(yè)論文或畢業(yè)設(shè)計(jì)盡可能安排在企業(yè)進(jìn)行,雙導(dǎo)師的培養(yǎng)模式更能讓學(xué)生快速成長。同濟(jì)大學(xué)物流工程專業(yè)的某件畢業(yè)論文,將企業(yè)的倉庫效率提高30%。
5.鼓勵教師到企業(yè)踐習(xí)。君欲善其事,必先利其器。只有當(dāng)教師擁有足夠的行業(yè)經(jīng)驗(yàn)的時候,才能更好地減少填鴨式教育,讓課堂更生動,提高教學(xué)效率,也能為企業(yè)解決更多的科研問題,形成緊密的校企合作關(guān)系,為學(xué)生教育提供更好的資源保障。
6.加強(qiáng)實(shí)驗(yàn)室、專業(yè)圖書館建設(shè)。高水平實(shí)驗(yàn)室是科研和教學(xué)的必要手段。實(shí)體仿真實(shí)驗(yàn)器材和軟件環(huán)境,可以讓學(xué)生合理地構(gòu)建自己的物流網(wǎng)絡(luò),充分發(fā)揮想象力,培養(yǎng)創(chuàng)新能力,也是作為大數(shù)據(jù)分析的必備硬件。專業(yè)圖書館建設(shè)也能彰顯專業(yè)優(yōu)勢,提供科研教學(xué)便利。
篇4
關(guān)鍵詞:房地產(chǎn)產(chǎn)業(yè);數(shù)據(jù)挖掘;技術(shù);市場
中圖分類號:F293.3 文獻(xiàn)標(biāo)識碼:A 文章編號:1001-828X(2013)10-0-02
一、引言
近幾十年來,隨著社會經(jīng)濟(jì)的不斷發(fā)展,很多的新型產(chǎn)業(yè)在不斷地發(fā)展當(dāng)中,在這其中,發(fā)展最為迅猛的是房地產(chǎn)產(chǎn)業(yè)。目前我國的房地產(chǎn)行業(yè)已然逐步變成了能對我國社會經(jīng)濟(jì)發(fā)展產(chǎn)生重大影響的產(chǎn)業(yè)部門,房地產(chǎn)產(chǎn)業(yè)給企業(yè)家?guī)砹司薮蟮慕?jīng)濟(jì)效益,增加了國民經(jīng)濟(jì)的發(fā)展的收入,并在經(jīng)濟(jì)發(fā)展的過程當(dāng)中占主導(dǎo)地位,這使得許多的企業(yè)家投入房地產(chǎn)產(chǎn)業(yè)的投資當(dāng)中,房地產(chǎn)行業(yè)在一時之間商業(yè)價值迅速增大,然而伴隨著房地產(chǎn)行業(yè)的快速發(fā)展,我國的房地產(chǎn)行業(yè)越來越多的問題被凸顯出來,如房屋空置率居高不下,房價增長幅度過快,房地產(chǎn)業(yè)投資過度等。而數(shù)據(jù)挖掘技術(shù)中的神經(jīng)網(wǎng)絡(luò)模擬法,可以充分對房地產(chǎn)市場進(jìn)行預(yù)測以及分析,并且可以得出可靠的結(jié)論,降低問題所引發(fā)的風(fēng)險,這樣才能夠保障房地產(chǎn)產(chǎn)業(yè)能夠健康并穩(wěn)健地發(fā)展。
二、房地產(chǎn)行業(yè)需要數(shù)據(jù)發(fā)掘技術(shù)支持
由于市場的競爭日益加大,很多新型產(chǎn)業(yè)由于得到不較為合理的發(fā)展需求而一夜倒閉,因此房地產(chǎn)行業(yè)想要在日益加劇的競爭中取得勝利,就需要有準(zhǔn)確的市場判斷與充分的信息支持。行業(yè)信息,客戶信息以及經(jīng)濟(jì)環(huán)境等大量的信息數(shù)據(jù)積累是房地產(chǎn)行業(yè)市場運(yùn)作的主要參考。在面對成幾何級數(shù)快速增長的龐大數(shù)據(jù),房地產(chǎn)行業(yè)需要一個可以將龐大數(shù)據(jù)轉(zhuǎn)化為有價值知識的有力分析數(shù)據(jù)工具。否則也只是空有豐富數(shù)據(jù)但是可用信息貧乏的數(shù)據(jù)墳?zāi)埂?/p>
數(shù)據(jù)挖掘,就是一項(xiàng)數(shù)據(jù)處理的有效工具,它可以從龐大的數(shù)據(jù)中發(fā)現(xiàn)潛在的模式以及關(guān)聯(lián),并且能有效的進(jìn)行預(yù)測性分析。在一些統(tǒng)計(jì)學(xué)、人工智能等數(shù)據(jù)庫技術(shù)領(lǐng)域有著廣泛的應(yīng)用。數(shù)據(jù)挖掘有助于充分看清業(yè)務(wù)發(fā)展趨勢,最大化的對未來結(jié)果進(jìn)行預(yù)測,并且?guī)椭康禺a(chǎn)行業(yè)所面臨的問題分析出解決的關(guān)鍵性因素,使得企業(yè)保持競爭優(yōu)勢地位。
三、數(shù)據(jù)挖掘在房地產(chǎn)行業(yè)的應(yīng)用
數(shù)據(jù)挖掘技術(shù)在眾多領(lǐng)域有著廣泛應(yīng)用,且成效卓著,因而逐漸被應(yīng)用于房地產(chǎn)行業(yè)的相關(guān)工作和研究。
(一)數(shù)據(jù)挖掘的概念
數(shù)據(jù)挖掘是一項(xiàng)針對企業(yè)龐大的信息存儲進(jìn)行系統(tǒng)的理解以及檢查雛菊的工具。數(shù)據(jù)挖掘可以根據(jù)預(yù)先設(shè)定的商業(yè)目標(biāo),對龐大的數(shù)據(jù)進(jìn)行分析探索,尋找出數(shù)據(jù)中隱含的商業(yè)經(jīng)濟(jì)規(guī)律,并且生成相對應(yīng)的預(yù)測分析模型。
數(shù)據(jù)挖掘由于所發(fā)現(xiàn)的都是可執(zhí)行,可以理解以及目前未知的信息,所以也常常被稱之為Knowledge Discovery in Databases即知識發(fā)現(xiàn)。與傳統(tǒng)的統(tǒng)計(jì)分析技術(shù)相比較,數(shù)據(jù)挖掘技術(shù)能更好地與數(shù)據(jù)庫進(jìn)行結(jié)合,而且數(shù)據(jù)挖掘技術(shù)中用以發(fā)現(xiàn)信息中隱藏的商業(yè)規(guī)律已經(jīng)不僅僅局限于統(tǒng)計(jì)技術(shù),其中遺傳算法,神經(jīng)網(wǎng)絡(luò),自組織圖,神經(jīng)模糊系統(tǒng)等逐漸發(fā)展而出。數(shù)據(jù)挖掘技術(shù)發(fā)現(xiàn)的信息只是,不僅可以用于預(yù)測模型的構(gòu)建,更可以被統(tǒng)計(jì)分析師用以豐富背景只是,然后在適應(yīng)的時候運(yùn)用到數(shù)據(jù)分析中。
描述與預(yù)測是一般情況下數(shù)據(jù)挖掘的兩類任務(wù)。描述性的數(shù)據(jù)挖掘任務(wù)主要是用來刻畫數(shù)據(jù)庫中數(shù)據(jù)所存在的一般特性。而預(yù)測性的數(shù)據(jù)挖掘任務(wù)則主要是以目前的數(shù)據(jù)為基礎(chǔ),通過不斷的推算以進(jìn)行未來預(yù)測。具體來說,數(shù)據(jù)挖掘技術(shù)主要可以處理一下幾種問題:
1.關(guān)聯(lián)分析。所謂關(guān)聯(lián)規(guī)則,則是在同一件事中出現(xiàn)不同項(xiàng)時,尋找屬性間的相關(guān)性。例如在某個項(xiàng)目住宅的目標(biāo)客戶對該項(xiàng)目各個方面評價的相關(guān)性分析,所尋找的是某些事件時間上的關(guān)聯(lián),如房地產(chǎn)周期以及該項(xiàng)目的股票漲跌等。
2.預(yù)測與分類。分類是根據(jù)預(yù)設(shè)好的標(biāo)準(zhǔn)以及類別,將數(shù)據(jù)庫中所記錄的信息進(jìn)行分類,如根據(jù)房地產(chǎn)客戶消費(fèi)決策模式,建立預(yù)測模式,為潛在客戶的職業(yè)家庭,收入等個人屬性分類,預(yù)測出其在購房方面可消費(fèi)支出。房地產(chǎn)行業(yè)客戶可以分為實(shí)際客戶,潛在客戶與購買者,想要如此分類,分類系統(tǒng)則會產(chǎn)生相應(yīng)的規(guī)則:如果該客戶愿意并且可以承擔(dān)每個月XX元的月供,并且在X年內(nèi)計(jì)劃在某地區(qū)進(jìn)行購房,他/她則是潛在客戶;而進(jìn)行過至少一次業(yè)務(wù)詢問的客戶,則是購買者。
3.聚類。聚類是想數(shù)據(jù)庫整體分成不同的群組,使得群組與群組直接的差別明顯化,并且使得同一群組的數(shù)據(jù)盡可能的相似。聚類與分類看似相同,其實(shí)差別甚大。分類是在進(jìn)行分類之前,以及知道要將數(shù)據(jù)分成什么性質(zhì)的哪幾類,而聚類則相反。
4.演變分析。演變分析師指數(shù)據(jù)挖掘所藐視的行為隨著時間而變化的趨勢以及規(guī)律,并且對其分析對象進(jìn)行建模。如將教育水平發(fā)展趨勢,社會經(jīng)濟(jì)發(fā)展以及認(rèn)購構(gòu)成變動進(jìn)行結(jié)合,對房地產(chǎn)日后消費(fèi)趨勢進(jìn)行分析。
5.描述可視化。通過進(jìn)行空間聚集以及相似計(jì)算等一些具體的地理位置聚類概化,形成形象的某區(qū)域的描述。
(二)數(shù)據(jù)挖掘的市場研究價值
數(shù)據(jù)挖掘的技術(shù)運(yùn)用多方面,在房地產(chǎn)的運(yùn)用當(dāng)中有十分普遍,并且數(shù)據(jù)挖掘技術(shù)在房地產(chǎn)市場的使用價值十分高,因此所產(chǎn)生的經(jīng)濟(jì)效益也是十分可觀的。同時數(shù)據(jù)挖掘的應(yīng)用也極其廣泛。房地產(chǎn)行業(yè)的客戶一般具有特征面熟復(fù)雜,客戶人群數(shù)量龐大,需求不一,并且容易受到外界因素影響,所以,數(shù)據(jù)挖掘在應(yīng)用當(dāng)中不是一層不變的,而是它具有多變性以及多層性的特點(diǎn)。合理的應(yīng)用數(shù)據(jù)挖掘技術(shù),不僅可以識別客戶的購買行為,分析客戶的購買趨勢以及購買模式,還可以設(shè)計(jì)出更好的營銷方案,較少商業(yè)成本,充分滿足客戶需要。數(shù)據(jù)挖掘在房地產(chǎn)行業(yè)的應(yīng)用價值詳見下表。
(三)在房地產(chǎn)行業(yè)中應(yīng)用數(shù)據(jù)挖掘技術(shù)
隨著社會的不斷發(fā)展,技術(shù)的不斷創(chuàng)新,房地產(chǎn)的發(fā)展迅速,數(shù)據(jù)挖掘技術(shù)在房地產(chǎn)的使用越來越多,在房地產(chǎn)和房地產(chǎn)業(yè)的研究方面應(yīng)用逐漸廣泛,為房地產(chǎn)業(yè)帶來了諸多的產(chǎn)業(yè)效益。
1.數(shù)據(jù)挖掘技術(shù)在房地產(chǎn)的應(yīng)用
數(shù)據(jù)挖掘技術(shù)應(yīng)用于房地產(chǎn),具體需要開展以下工作:
明確商業(yè)目標(biāo)。數(shù)據(jù)挖掘技術(shù)應(yīng)用的首要任務(wù)就是必須明確需要達(dá)到何種程度的商業(yè)目標(biāo),以及需要解決的問題。商業(yè)目標(biāo)描述需要盡可能地清晰以及細(xì)化,以便選擇適合的挖掘方法以及便于對數(shù)據(jù)挖掘效果的檢測,以判斷建立的模式是否有效。在實(shí)際應(yīng)用時,就需要數(shù)據(jù)挖掘工作人員對房地產(chǎn)業(yè)的目標(biāo)有一個整體把握,在目標(biāo)指導(dǎo)下開展數(shù)據(jù)收集、分析工作,從而確保房地產(chǎn)朝著前景廣闊的方向發(fā)展。
數(shù)據(jù)準(zhǔn)備。在明確商業(yè)目標(biāo)的基礎(chǔ)上,為了保證所需要提出的數(shù)據(jù)質(zhì)量,除了在進(jìn)行必要的數(shù)據(jù)修正以及檢查,還需要在不同源的數(shù)據(jù)之間考慮其一致性。如果一段數(shù)據(jù)中包含過多的字符,則需要找到對模型輸出影響最大的字符,適當(dāng)?shù)販p少其他不影響模型輸出的多于字符。若是數(shù)據(jù)集是有許多變量組合起來的,需要選擇性的擴(kuò)大變量范圍,形成效果良好的預(yù)測變量,因此在準(zhǔn)備數(shù)據(jù)階段,需要依照實(shí)際,考慮是否需要建立新的變量。在房地產(chǎn)中,就需考慮客戶、市場消費(fèi)信息調(diào)查數(shù)據(jù)的重復(fù)性、特殊性等問題,確保調(diào)查所得數(shù)據(jù)能夠反映真實(shí)的市場情況和客戶需求,進(jìn)而做出正確決策。然而某些缺失的數(shù)據(jù)本身存在有特殊的意義,比如一些富有的客戶常常會忽略收入或者是價格的影響,所以對于收集數(shù)據(jù)要進(jìn)行適當(dāng)整理和準(zhǔn)備。
建立模型。模型的建立是一個反復(fù)完善的工程,并不是一個一次性的工作。選擇適合解決某問題的模型,在其建立過程中,可能會對數(shù)據(jù)產(chǎn)生新的理解,并且修改,甚至改變開始對于問題的設(shè)定。大部分的數(shù)據(jù)挖掘模型并不是為了某個問題而特意設(shè)定的,模式之間也不存在于排斥問題,某個模型并不一定是解決這個問題的最好方法。比如:CART決策樹以及神經(jīng)網(wǎng)絡(luò)既可以幫助分類樹的建立,又可以建立回歸樹。數(shù)據(jù)模型是房地產(chǎn)市場信息的脈絡(luò),課使領(lǐng)導(dǎo)者對于相關(guān)信息有一個整體的把握,進(jìn)而分配各項(xiàng)事務(wù),推動房地產(chǎn)的發(fā)展。
輸出結(jié)果評價以及解釋。模型建立之后,還有一項(xiàng)重要的工作,就是解釋其價值以及評價其結(jié)果。在實(shí)際中,應(yīng)用數(shù)據(jù)的變化會影響模型的準(zhǔn)確率。但是模型選擇的正確評價方法并不一定是參照準(zhǔn)確度。對模型的評價需要了解錯誤類型以及產(chǎn)生的相關(guān)費(fèi)用多少。在不同預(yù)測錯誤產(chǎn)生不同代價的模型中,代價最小的模型將是最好的選擇而不是出錯率最小的模型。
實(shí)施。模型在建立成功并且驗(yàn)證通過后,有兩種常見的使用方法。第一是給分析師提供參考,由其進(jìn)行分析查看此輸出模型,并且做出方案建議以及解釋。第二是將模型應(yīng)用進(jìn)不同的數(shù)據(jù)集合上。正確的輸出模型可以標(biāo)示同一類事例,以及給同一類客戶進(jìn)行打分等。然而在應(yīng)用模型之后,即使其應(yīng)用結(jié)果很成功,也不能放棄不斷監(jiān)控模型效果。因?yàn)橐磺惺挛锒际窃诓煌W兓c發(fā)展的,過了一段時間后,很可能隨著人們的消費(fèi)觀點(diǎn)以及購買方式的改變,此模型已經(jīng)無法再進(jìn)行作用。因此,要隨著時間的變化,以及事實(shí)結(jié)合,對模型進(jìn)行測試,完善,甚至有些時候需要重新建立更新模型。
通過以上五個具體步驟完成數(shù)據(jù)挖掘,并應(yīng)用到實(shí)際的房地產(chǎn)工作中,就能實(shí)現(xiàn)數(shù)據(jù)挖掘技術(shù)的價值,促進(jìn)房地產(chǎn)的進(jìn)一步發(fā)展。
2.數(shù)據(jù)挖掘技術(shù)在房地產(chǎn)研究的應(yīng)用
數(shù)據(jù)挖掘是進(jìn)行房地產(chǎn)市場分析和預(yù)測的新技術(shù),目前已逐漸應(yīng)用于房地產(chǎn)業(yè)的相關(guān)研究當(dāng)中,但仍有許多問題有待完善。數(shù)據(jù)挖掘技術(shù)在房地產(chǎn)研究的應(yīng)用主要有以下幾個方面:
周期和規(guī)律研究。房地產(chǎn)在某段時間、某些特定地區(qū)的發(fā)展會有波動,通常會以周期的形式出現(xiàn),有規(guī)律可循,這也是房地產(chǎn)商進(jìn)行投資等決策的依據(jù)之一。數(shù)據(jù)挖掘技術(shù)科應(yīng)用于分析影響房地產(chǎn)波動的周期性因素以及這些因素之間的相互關(guān)系。
市場發(fā)展趨勢研究。房地產(chǎn)業(yè)屬于市場經(jīng)濟(jì)的一部分,受市場的影響很大,包括樓盤供應(yīng)情況、房地產(chǎn)投資開發(fā)、房地產(chǎn)市場的需求、國民經(jīng)濟(jì)增長等。數(shù)據(jù)挖掘技術(shù)則應(yīng)用于相關(guān)信息的收集,了解房地產(chǎn)的市場需求,并對市場進(jìn)行預(yù)測和預(yù)警,及時采用有效的措施對房地產(chǎn)市場加以有效的宏觀調(diào)控,促進(jìn)其可持續(xù)發(fā)展。
房地產(chǎn)客戶和競爭對手研究。研究者通過關(guān)聯(lián)分析和序列分析這兩種數(shù)據(jù)挖掘方法,可了解房地產(chǎn)客戶需求及其影響因素,找出客戶的消費(fèi)行為模式,為營銷人員提供依據(jù);也可了解競爭對手的信息和發(fā)展?fàn)顩r,以便及時進(jìn)行策略調(diào)整。
房地產(chǎn)經(jīng)濟(jì)區(qū)劃的研究。針對房地產(chǎn)經(jīng)濟(jì)發(fā)展區(qū)域分布不均衡現(xiàn)象,研究者應(yīng)用數(shù)據(jù)挖掘的比較分析方法對經(jīng)濟(jì)區(qū)劃進(jìn)行動態(tài)分析,及時制定和調(diào)整規(guī)劃。
在我國,數(shù)據(jù)挖掘技術(shù)與房地產(chǎn)領(lǐng)域的結(jié)合研究是近幾年一個較新的課題,因而還面臨許多問題,如國家缺乏數(shù)據(jù)挖掘技術(shù)在房地產(chǎn)應(yīng)用的具體標(biāo)準(zhǔn),尚未建立相關(guān)的大型數(shù)據(jù)庫,研究的結(jié)果的效用不高等等。解決好這些問題,對于房地產(chǎn)業(yè)的發(fā)展具有重要意義。
四、結(jié)束語
綜上所述,隨著市場經(jīng)濟(jì)的不斷發(fā)展,科學(xué)技術(shù)的不斷創(chuàng)新,人們生活水平的不斷提高,新型產(chǎn)業(yè)的不斷誕生,房地產(chǎn)產(chǎn)業(yè)帶來的巨大的經(jīng)濟(jì)效益已經(jīng)不容小視,如何才能在社會競爭中,保持房地產(chǎn)效益的增值呢,這就需要研發(fā)者精湛的研發(fā)技術(shù)和市場銷售者敏銳的觀察力了,數(shù)據(jù)挖掘技術(shù)正是房地產(chǎn)能夠保持快速發(fā)展的較好技術(shù)支持。數(shù)據(jù)挖掘技術(shù)在房地產(chǎn)行業(yè)的應(yīng)用,有利于其把握市場經(jīng)濟(jì)動態(tài)以及客戶購買趨勢,使得其利于激烈競爭中優(yōu)勢地位。更能有效的解決快速發(fā)展中出現(xiàn)的各種問題,使其服務(wù)水平以及營業(yè)效率更上一層樓。
參考文獻(xiàn):
[1]陳琳.江蘇房地產(chǎn)投資與經(jīng)濟(jì)增長關(guān)系實(shí)證研究[D].江蘇大學(xué),2007.
[2]肖建雄.中國房地產(chǎn)業(yè)建立戰(zhàn)略聯(lián)盟研究[D].湖南大學(xué),2007.
[3]陳超.我國房價的非理性波動研究[D].東北師范大學(xué),2007.
[4]湯丹花.江蘇省現(xiàn)代服務(wù)業(yè)發(fā)展研究[D].江蘇大學(xué),2006.
[5]伊元元.LG集團(tuán)投資房地產(chǎn)的競爭戰(zhàn)略研究[D].哈爾濱工業(yè)大學(xué),2006.
篇5
【關(guān)鍵詞】大數(shù)據(jù)時代 數(shù)據(jù)分析 信息安全防護(hù)
隨著我國網(wǎng)絡(luò)信息技術(shù)不斷的發(fā)展,當(dāng)下時代已經(jīng)成為大數(shù)據(jù)時代。以往大數(shù)據(jù)的概念主要存在于物理學(xué)領(lǐng)域、生物學(xué)領(lǐng)域、生態(tài)環(huán)境學(xué)領(lǐng)域、軍事領(lǐng)域、金融領(lǐng)域、通訊領(lǐng)域等,而當(dāng)下網(wǎng)絡(luò)和信息業(yè)的空前發(fā)展使大數(shù)據(jù)引起了人們的關(guān)注。數(shù)據(jù)信息已經(jīng)滲透到社會的各行各業(yè),人們通過相關(guān)數(shù)據(jù)信息的發(fā)現(xiàn)和利用,可達(dá)到增加生產(chǎn)率和市場消費(fèi)率的效果。但大數(shù)據(jù)技術(shù)收集信息軟件給網(wǎng)絡(luò)用戶的隱私帶來了問題,網(wǎng)絡(luò)私人信息的安全防護(hù)遭到威脅。因此本文對大數(shù)據(jù)時代的數(shù)據(jù)分析與信息安全防護(hù)做出相關(guān)研究,研究內(nèi)容如下。
1 大數(shù)據(jù)概述
大數(shù)據(jù)主要是指使用常規(guī)軟件工具無法在規(guī)定的時間內(nèi)對網(wǎng)絡(luò)往來信息進(jìn)行捕捉和管理以及處理。大數(shù)據(jù)時代的主要特點(diǎn)為5V,即數(shù)據(jù)總量大(Volume)、類型繁多(Variety)、價值密度低(Value)、速度快、時效高(Velocity)。大數(shù)據(jù)的初始計(jì)量單位為P(P=1000T)、E(E=100000T)、Z(Z=10000000T),數(shù)據(jù)量龐大,其種類包括網(wǎng)絡(luò)文字信息、音頻信息、視頻信息、圖片信息以及地理位置等,數(shù)據(jù)種類豐富對數(shù)據(jù)的處理能力也提出了較高的要求。在大數(shù)據(jù)中,雖然信息量大,但可利用的信息是有限的,因此,大數(shù)據(jù)價值密度較低。大數(shù)據(jù)相對于傳統(tǒng)數(shù)據(jù)而言,需要人們更強(qiáng)的處理信息的能力和速度,對人們的數(shù)據(jù)駕馭力量提出了挑戰(zhàn)。大數(shù)據(jù)在影響著人們生活方式的同時,還影響著各個行業(yè)的發(fā)展,大數(shù)據(jù)的出現(xiàn)也使信息安全面臨著一些問題。
2 大數(shù)據(jù)時代數(shù)據(jù)分析概述
2.1 抽樣量化
在大數(shù)據(jù)時代,樣本就是總體本身,因此在分析某事物的過程中,不需依靠少量的數(shù)據(jù)樣本,而是得到全部的數(shù)據(jù)。傳統(tǒng)的抽樣有樣本缺乏穩(wěn)定和隨機(jī)抽樣困難的情況,且在事先設(shè)定好了調(diào)查目的往往會使調(diào)查內(nèi)容和范圍受到人為限制,調(diào)查過程中的側(cè)重點(diǎn)也導(dǎo)致抽樣數(shù)據(jù)無法反映總體情況。另外樣本量的有限也使抽樣結(jié)果缺乏精確性,致使錯誤率的增加,同時傳統(tǒng)抽樣時間效率和生產(chǎn)率低。
2.2 數(shù)據(jù)模糊計(jì)算
在大數(shù)據(jù)的影響下,人們接受數(shù)據(jù)較為繁雜,數(shù)據(jù)精確性減弱。有數(shù)據(jù)規(guī)模龐大,因此對數(shù)據(jù)追求精確性的可能性較小,測量數(shù)據(jù)和調(diào)查數(shù)據(jù)都會因?yàn)橐恍┎豢煽氐囊蛩鼗蛘J(rèn)為因素致使數(shù)據(jù)精確性欠缺。大數(shù)據(jù)時代獲得的數(shù)據(jù)量多,但不精確的數(shù)據(jù)也在其中,因此對待大數(shù)據(jù)應(yīng)該看到其有利方面。數(shù)據(jù)的不精確也有利于對事物總體的了解,樣本的增加使信息更為真實(shí)。大數(shù)據(jù)的不精確是不經(jīng)意產(chǎn)生的,因此,在需要精確數(shù)據(jù)的領(lǐng)域還是需要避免不精確性的發(fā)生。
2.3 利用數(shù)據(jù)關(guān)系
關(guān)注事物的相關(guān)性,而不是只追求因果。傳統(tǒng)抽樣中會預(yù)先假定因果,但在大數(shù)據(jù)時代,數(shù)據(jù)的復(fù)雜和龐大,會導(dǎo)致因果關(guān)系復(fù)雜化和分析因果復(fù)雜化。因此,大數(shù)據(jù)不不利于追求因果關(guān)系,而利于事物相關(guān)關(guān)系的追求。大數(shù)據(jù)對數(shù)據(jù)的分析思路為分析數(shù)據(jù)相關(guān)性,事物關(guān)系之間的形式多樣化,關(guān)系和目的也是根據(jù)數(shù)據(jù)的變化而變化,沒有相對較為固定的因果和親疏關(guān)系。
大數(shù)據(jù)所提供的價值可以讓人們預(yù)判自己所想知道的事情,比如華爾街利用網(wǎng)絡(luò)民眾的情緒變化進(jìn)行拋售股票;基金公司根據(jù)對購物網(wǎng)站顧客的評論來分析產(chǎn)品銷售情況;銀行根據(jù)網(wǎng)絡(luò)求職的崗位情況判斷就業(yè);投資機(jī)構(gòu)從大數(shù)據(jù)中查找企業(yè)破產(chǎn)的前兆;美國總統(tǒng)團(tuán)隊(duì)根據(jù)社交軟件分析選民喜好。以此可以看出在大數(shù)據(jù)時代,可利用的數(shù)據(jù)信息對利用者而言十分重要。
3 大數(shù)據(jù)時代面臨的信息安全問題
3.1 信息安全風(fēng)險
由于大數(shù)據(jù)的特點(diǎn)之一為存儲信息較為廣泛,對信息安全性有一定的影響。大數(shù)據(jù)信息海量存儲技術(shù)的成熟降低了信息存儲的成本,因此大數(shù)據(jù)信息處理量顯著增加,處理中心分析信息也變得更加容易。大數(shù)據(jù)信息中心可以根據(jù)終端網(wǎng)絡(luò)用戶的行為信息進(jìn)行分析,然后將結(jié)果提供給信息利用者,分析搜索的商品后向你推薦所感興趣的商品。在移動互聯(lián)網(wǎng),終端用戶信息被隨時采集和存儲,造成了信息安全風(fēng)險。
3.2 個人隱私泄露
有一些網(wǎng)絡(luò)企業(yè)會對網(wǎng)絡(luò)終端用戶的隱私進(jìn)行搜集。為了贏得市場競爭優(yōu)勢,用戶信息成為了企業(yè)的發(fā)展根據(jù)。比如一些智能手機(jī)軟件會在用戶不知情的情況下,對用戶使用軟件的時間、地點(diǎn)和位置進(jìn)行信息記錄,發(fā)送到軟件服務(wù)器,暴露用戶的個人隱私泄露信息。
3.3 安全防護(hù)難度
大數(shù)據(jù)時代由于非結(jié)構(gòu)化的數(shù)據(jù)類型多、價值密度低,信息量龐大,因此對安全防護(hù)技術(shù)要求較高,目前我國防護(hù)技術(shù)還未能夠處理大量和多類型的數(shù)據(jù),因此數(shù)據(jù)防護(hù)難度系數(shù)較高。
4 數(shù)據(jù)時代面臨的信息安全問題的應(yīng)對措施
4.1 安全技術(shù)研發(fā)
目前大數(shù)據(jù)需要能夠處理大量和多類型的數(shù)據(jù)分析技術(shù),以主動發(fā)現(xiàn)大數(shù)據(jù)中潛藏的威脅,比如利用信息豐富開發(fā)認(rèn)證系統(tǒng)技術(shù)或建設(shè)數(shù)據(jù)真實(shí)分析系統(tǒng),將惡意信息和無用信息排除在外。
4.2 制定個人隱私泄露保護(hù)法律法規(guī)
由于大數(shù)據(jù)是新生事物,因此相關(guān)的法律法規(guī)存在空白。網(wǎng)絡(luò)上違法的數(shù)據(jù)信息行為需要有強(qiáng)制和高效的規(guī)則對其進(jìn)行規(guī)范,以保護(hù)個人信息的合理利用性。
4.3 提高民眾信息安全認(rèn)知
大數(shù)據(jù)來源于民眾,因此提高民眾的信息安全意識,可有效防范數(shù)據(jù)信息面臨的信息安全問題,從而起到維護(hù)個人隱私泄露、避免負(fù)面影響的作用。
5 結(jié)語
綜上所述,大數(shù)據(jù)時代數(shù)據(jù)分析與信息安全防護(hù)具有重要意義,當(dāng)下網(wǎng)絡(luò)和信息業(yè)的空前發(fā)展使大數(shù)據(jù)引起了人們的關(guān)注,數(shù)據(jù)信息已經(jīng)滲透到社會的各行各業(yè),數(shù)據(jù)分析使人們受益匪淺。但大數(shù)據(jù)技術(shù)收集信息軟件給網(wǎng)絡(luò)用戶的信息安全帶來了問題。比如信息安全風(fēng)險、個人隱私泄露、安全防護(hù)有難度等,本研究作者經(jīng)過多方面思考提出提高安全技術(shù)研發(fā)程度、制定個人隱私保護(hù)法律法規(guī)以及提高民眾信息安全認(rèn)知的解決意見,以促進(jìn)大數(shù)據(jù)時代信息安全性的增加。
參考文獻(xiàn)
[1]田秀霞,王曉玲,高明等.數(shù)據(jù)庫服務(wù)――安全與隱私保護(hù)[J].軟件學(xué)報,2010,21(5):991-1006.
[2]劉小龍,鄭滔.一種針對非控制數(shù)據(jù)攻擊的改進(jìn)防御方法[J].計(jì)算機(jī)應(yīng)用研究,2013,30(12):3762-3766.
[3]李峰,李虎成,於益軍等.基于并行計(jì)算和數(shù)據(jù)復(fù)用的快速靜態(tài)安全校核技術(shù)[J].電力系統(tǒng)自動化,2013,37(14):75-80.
篇6
【關(guān)鍵詞】開源數(shù)據(jù)庫 PostgreSQL 數(shù)據(jù)存儲
數(shù)據(jù)庫是一種能夠?qū)?shù)據(jù)進(jìn)行存儲和管理的“倉庫”,它是一個應(yīng)用領(lǐng)域中通用的數(shù)據(jù)處理系統(tǒng),是長期存儲在計(jì)算機(jī)內(nèi)可進(jìn)行共享的數(shù)據(jù)集合。開源數(shù)據(jù)庫是未進(jìn)行加密,源代碼為開放性的數(shù)據(jù)庫,目前主流的開源數(shù)據(jù)庫有MySQL數(shù)據(jù)庫、PostgreSQL數(shù)據(jù)庫、Ingres r3 數(shù)據(jù)庫、MaxDB數(shù)據(jù)庫、InterBase數(shù)據(jù)庫,每個數(shù)據(jù)庫均有其特性。本文以PostgreSQL數(shù)據(jù)庫為對象,重點(diǎn)對其數(shù)據(jù)存儲的實(shí)現(xiàn)路徑進(jìn)行研究。
1 PostgreSQL開源數(shù)據(jù)庫的特點(diǎn)分析
PostgreSQL是一款具有豐富特色的開源數(shù)據(jù)庫管理系統(tǒng),其不但功能齊全,而且還具有商業(yè)級數(shù)據(jù)庫管理系統(tǒng)的特性,在某些方面甚至超越了商業(yè)數(shù)據(jù)庫。PostgreSQL可在各種平臺上應(yīng)用,支持異步Copy、預(yù)寫日志容錯、表空間機(jī)制,同時還支持多種字符編碼,易于擴(kuò)展,在多用戶并發(fā)方面有著極其優(yōu)異的表現(xiàn)。大體上可將PostgreSQL的特性歸納為以下幾個方面:
1.1 開放性
PostgreSQL支持的數(shù)據(jù)類型較多,如IP地址、數(shù)組、幾何圖元、文本、數(shù)值等,同時該數(shù)據(jù)庫還允許用戶自定義正規(guī)的SQL類型。
1.2 可編程性
該數(shù)據(jù)庫能夠?yàn)橛脩籼峁┐罅康腁PI,如OBDC、Libpq等,給用戶的開發(fā)使用提供了條件。
1.3 可定制性
該數(shù)據(jù)庫可以通過多種編程語言來實(shí)現(xiàn)函數(shù)功能,如PHP、Ruby、Java、C++等等。對于數(shù)據(jù)庫而言,函數(shù)又被稱之為存儲過程,它的輸出結(jié)果可以在查詢中當(dāng)做表來使用,這一特點(diǎn)使PostgreSQL具備了可定制的特性。
1.4 索引
在PostgreSQL數(shù)據(jù)庫中,用戶既可以使用數(shù)據(jù)庫內(nèi)置的GIN、Hash表、GiST進(jìn)行索引,也可以自定義索引,GiST作為通用索引的基礎(chǔ)結(jié)構(gòu),其為多種索引策略的實(shí)現(xiàn)提供了支撐。
2 PostgreSQL開源數(shù)據(jù)庫的數(shù)據(jù)存儲實(shí)現(xiàn)路徑
對于PostgreSQL數(shù)據(jù)庫而言,在存儲層的設(shè)計(jì)中,需要重點(diǎn)考慮的問題是應(yīng)通過何種方式存儲對象規(guī)模,尤其是一些大數(shù)據(jù)的存儲。
2.1 數(shù)據(jù)外存的實(shí)現(xiàn)
2.1.1 relation與外部文件的對應(yīng)
用戶是PostgreSQL數(shù)據(jù)庫的使用者,對于這些使用者而言,每一個二維表都是一個邏輯概念,在邏輯當(dāng)中包含了兩部分內(nèi)容,一部分是表定義,另一部分是表數(shù)據(jù)。前者的主要作用是對用戶的邏輯進(jìn)行展示,它需要被數(shù)據(jù)庫系統(tǒng)保存,存放表定義的地方即表空間;后者從物理的角度上講,是以文件的形式存儲在操作系統(tǒng)當(dāng)中,即可存放在系統(tǒng)的表空間當(dāng)中,也可存放在用戶自定義的表空間當(dāng)中。數(shù)據(jù)一般都是以文件的形式被存儲在表空間當(dāng)中的,換言之?dāng)?shù)據(jù)是表空間的物理外在形式。從代碼的角度進(jìn)行分析,可通過relpathbackend函數(shù)對邏輯概念與物理存儲之間的關(guān)系進(jìn)行查看,具體步驟如下:先按照RelFileNode指定的關(guān)系,找出與外存相對應(yīng)的文件或是文件位置,然后根據(jù)入口的第一個參數(shù)mode,拼接出外存文件的路徑,再利用mode中的spcNode的值,判斷應(yīng)當(dāng)在哪個表空間上進(jìn)行物理存儲操作,最后便可得出數(shù)據(jù)的具體存儲位置。
2.1.2 系統(tǒng)relation的存儲
對于PostgreSQL數(shù)據(jù)庫系統(tǒng)而言,它的relation存儲是將數(shù)據(jù)存放在預(yù)先創(chuàng)建的表空間當(dāng)中,這里需要創(chuàng)建兩個表空間,一個是base,另一個是global。
2.2 數(shù)據(jù)內(nèi)存的實(shí)現(xiàn)
從操作系統(tǒng)的角度上講,在PostgreSQL數(shù)據(jù)庫當(dāng)中,數(shù)據(jù)的存儲就是對一些二進(jìn)制的信息進(jìn)行存儲,整個存儲過程無法獲悉文件的內(nèi)容,文件本身的邏輯含義主要取決于應(yīng)用層面,讀入的數(shù)據(jù)會存放于數(shù)據(jù)緩沖區(qū)當(dāng)中,換言之,數(shù)據(jù)的邏輯含義始于緩沖區(qū)。
2.2.1 表數(shù)據(jù)頁存儲
在PostgreSQL開源數(shù)據(jù)庫管理系統(tǒng)當(dāng)中,數(shù)據(jù)的存儲格式主要有以下幾種類型:系統(tǒng)表數(shù)據(jù)、日志文件、用戶表數(shù)據(jù)以及用戶自行創(chuàng)建的數(shù)據(jù)等。由于數(shù)據(jù)對象的創(chuàng)建方式存在一定的差別,以序列和視圖為例,它們的創(chuàng)建并不涉及任何數(shù)據(jù),僅僅是一個單純的定義,而用戶自定義的表則是由定義和數(shù)據(jù)兩部分組成,這些信息在實(shí)際存儲中,會以tuple的形式存儲于數(shù)據(jù)庫系統(tǒng)當(dāng)中,因此,在數(shù)據(jù)庫的存儲格式中,數(shù)據(jù)分為兩個部分,一部分為頁頭,另一部分為tuple數(shù)據(jù)組。根據(jù)這一前提條件,通過對PagaAddltem函數(shù)中l(wèi)ower和upper變量賦值方式的分析,便可獲得tuple的存儲方式。
2.2.2 大數(shù)據(jù)的處理
系統(tǒng)表可用于視圖、序列等定義信息的存儲,每個表都是以元祖的形式存儲在pg_class當(dāng)中。由于每個表均與一個外存文件相對應(yīng),其文件名稱則是以該對象的filenode號命名。Relfilenode的結(jié)構(gòu)如下:
typedef struct RelFileNode
{
Oid spcNode; /*tablepace*/
Oid dbNode; /*database*/
Oid relNode; /*relation*/
}Relfilenode;
從上面這個結(jié)構(gòu)當(dāng)中可以看出,在PostgreSQL數(shù)據(jù)庫系統(tǒng)當(dāng)中,表空間、數(shù)據(jù)庫、關(guān)系標(biāo)識、物理存儲是與該結(jié)構(gòu)唯一對應(yīng)的。如果一個文件當(dāng)中存儲的內(nèi)容過多,在表超過1GB后,這些文件便會被分裂為大小在1GB左右的段,首段的文件名與filenode相同,其余各段則可用filenode1、filenode2、filenode3來表述,由此能夠防止不同操作系統(tǒng)對文件大小的限制。
3 結(jié)論
綜上所述,在大數(shù)據(jù)時代的背景下,開源數(shù)據(jù)庫已經(jīng)逐步成為業(yè)內(nèi)研究的重點(diǎn),尤其是與數(shù)據(jù)庫關(guān)聯(lián)最為密切的數(shù)據(jù)存儲問題,更成為重中之重。本文主要針對主流開源數(shù)據(jù)庫中的PostgreSQL進(jìn)行了分析,并對其數(shù)據(jù)存儲的實(shí)現(xiàn)路徑進(jìn)行了論述,以期能為開源數(shù)據(jù)庫的推廣使用提供幫助。
參考文獻(xiàn)
[1]蔡佳作,歐爾格力.基于PostgreSQL的地理空間數(shù)據(jù)存儲管理方法研究[J].青海師范大學(xué)學(xué)報(自然科學(xué)版),2016(06):67-68.
[2]陳愷萌,盧科,岳麗華.PostgreSQL閃存緩沖區(qū)置換算法擴(kuò)展與性能驗(yàn)證[J].計(jì)算機(jī)科學(xué)與探索,2012(08):54-56.
[3]許彥.基于PostgreSQL存儲引擎的多線程化方法研究與實(shí)現(xiàn)[D].武漢:華中科技大學(xué),2012.
[4]董紀(jì)英,燕志偉,梁正玉.SQLite、MySQL、PostgreSQL關(guān)系型數(shù)據(jù)庫管理系統(tǒng)比較[J].電腦編程技巧與維護(hù),2014(07):98-99.
篇7
(兗州煤業(yè)榆林能化有限公司,陜西榆林719000)
[摘要]隨著信息技術(shù)的發(fā)展與應(yīng)用,各種數(shù)據(jù)信息通過互聯(lián)網(wǎng)、云終端、交際圈、物聯(lián)網(wǎng)等之間的大規(guī)模傳遞,人類進(jìn)入到一個大數(shù)據(jù)時代,數(shù)據(jù)信息之間的傳遞影響著人們的決策成本,傳統(tǒng)的信息不對等所造成的差距條件已經(jīng)消失,而不起眼的數(shù)據(jù)卻能夠創(chuàng)造巨大的價值。本文對大數(shù)據(jù)時代背景下數(shù)據(jù)分析理念進(jìn)行分析和指導(dǎo)。
[
關(guān)鍵詞 ]大數(shù)據(jù)時代;數(shù)據(jù)分析理念;分析
[DOI]10.13939/j.cnki.zgsc.2015.22.074
在傳統(tǒng)的商業(yè)運(yùn)作模式中,在運(yùn)營過程中對自身經(jīng)營發(fā)展的分析只停留在數(shù)據(jù)的簡單匯總層面,缺乏有效地對客戶網(wǎng)絡(luò)、業(yè)務(wù)范圍、營銷產(chǎn)品、競爭對手優(yōu)劣等方面進(jìn)行深入解析;而在當(dāng)今大數(shù)據(jù)時代,通過所接收的大量內(nèi)部和外部數(shù)據(jù)中所蘊(yùn)含的信息中透露的市場彈性,可以預(yù)測市場需求,進(jìn)行分析決策,從而制定更加行之有效的戰(zhàn)略發(fā)展計(jì)劃。“大數(shù)據(jù)”是一個量特別大,數(shù)據(jù)類別特別大的數(shù)據(jù)集,并且這樣的數(shù)據(jù)集無法用傳統(tǒng)數(shù)據(jù)庫工具對其內(nèi)容進(jìn)行抓取、管理和處理。在當(dāng)今信息時代,很多企業(yè)用戶在實(shí)際應(yīng)用中把多個數(shù)據(jù)集放在一起,已經(jīng)形成了PB級的數(shù)據(jù)量;數(shù)據(jù)類型廣,數(shù)據(jù)來源種類多,且數(shù)據(jù)種類和格式日漸豐富,囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),早已打破傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)范疇,如何在大數(shù)據(jù)時代背景下進(jìn)行科學(xué)有效的數(shù)據(jù)分析這需要加強(qiáng)對市場的了解,對泡沫經(jīng)濟(jì)的規(guī)避,了解數(shù)據(jù)所傳遞的信息真假。
1數(shù)據(jù)化決策的興起與運(yùn)用
在大數(shù)據(jù)時代,信息之間的爆炸增長,使得各種信息傳遞非常之快,只需要拿起網(wǎng)絡(luò)終端就可以了解到地球另一邊發(fā)生了什么。文字、圖形、影像都化作數(shù)據(jù)流在網(wǎng)絡(luò)中以電信號的方式傳遞著信息。數(shù)據(jù)流在傳遞各行各業(yè)的信息同時形成了滲透于各行業(yè)的核心資產(chǎn)和創(chuàng)新驅(qū)動力。在大數(shù)據(jù)時代,企業(yè)所擁有的數(shù)據(jù)集合規(guī)模及數(shù)據(jù)的分析和處理能力決定著企業(yè)在市場中的核心競爭力。
因此通過數(shù)據(jù)分析進(jìn)行決策漸漸成為新的分析理念,例如,在支付寶上進(jìn)行對電影票房的投資,這些投資通過對導(dǎo)演往期作品和演員的表演張力,及投資方的選角等數(shù)據(jù)進(jìn)行分析,預(yù)測電影的票房,選取投資可獲利的電影,進(jìn)行票房投資,從而獲取票房分紅。我國的石油油田根據(jù)地震技術(shù)的收集數(shù)據(jù),進(jìn)行科學(xué)統(tǒng)一規(guī)劃的分析處理,形成對地下油田的分析建模,能夠有效直觀地展示地下油藏的分布情況,從而選擇油井的開采點(diǎn)。中國人民銀行通過對人民幣匯率的漲幅,進(jìn)行數(shù)據(jù)分析,來制定符合中國國情的外匯貨幣政策,對貨幣進(jìn)行宏觀調(diào)控,這能夠有力的保護(hù)人民幣升值時,在國際貿(mào)易市場中國進(jìn)出口貿(mào)易所面臨的壓力。在大數(shù)據(jù)時代背景下,通過直覺和經(jīng)驗(yàn)進(jìn)行決策分析的優(yōu)勢不斷下降,在商業(yè)、政治及公共服務(wù)領(lǐng)域中,通過對大數(shù)據(jù)進(jìn)行數(shù)據(jù)分析從而做出符合時代背景的決策,已成了目前的潮流。
2數(shù)據(jù)分析理念及方法
(1)數(shù)據(jù)分析要引入統(tǒng)計(jì)學(xué)思想。在大數(shù)據(jù)時代背景下,傳統(tǒng)的抽樣分析已經(jīng)并不適用于對大數(shù)據(jù)的分析中,在大數(shù)據(jù)時代應(yīng)當(dāng)要轉(zhuǎn)變思維,轉(zhuǎn)變抽樣思想,樣本就是總體,要分析與某事物相關(guān)的所有數(shù)據(jù),而不是依靠少量數(shù)據(jù)樣本,這樣才能夠在最大限度地明白事物發(fā)展變更過程,能夠?qū)?shù)據(jù)所表露的信息進(jìn)行更好地處理[1]。要更樂于接受數(shù)據(jù)的紛繁蕪雜,不再追求精確的數(shù)據(jù),這并不是說其嚴(yán)謹(jǐn)性降低了,而是往往不起眼,不符合常理的數(shù)據(jù)更能夠反映實(shí)際的情況。通過對數(shù)據(jù)網(wǎng)絡(luò)之間的聯(lián)系進(jìn)行分析,不再探求難以捉摸的因果關(guān)系,通過數(shù)據(jù)的分析處理更能夠反應(yīng)數(shù)據(jù)的變更。這些想法都與統(tǒng)計(jì)學(xué)相關(guān)通過所收集的數(shù)據(jù),進(jìn)行有效的分類處理,能夠更好地反應(yīng)事物的變化,更有利于做出決策[2]。
(2)數(shù)據(jù)分析流程。在實(shí)際的數(shù)據(jù)分析過程中,因大數(shù)據(jù)貫穿區(qū)域較廣,在地域和行業(yè)之間穿插交錯,顛覆了傳統(tǒng)的線性數(shù)據(jù)收集模式,而形成了顛覆傳統(tǒng)的、非線性的決策基礎(chǔ),這種決策方式要求我們通過對數(shù)據(jù)進(jìn)行收集,將各行各業(yè)所收集的基本信息,轉(zhuǎn)化為數(shù)據(jù),將數(shù)據(jù)經(jīng)過初步的整合分類,做出符合當(dāng)?shù)禺?dāng)時的數(shù)據(jù)信息,將數(shù)據(jù)進(jìn)行深層次的技術(shù)處理,將處理過后的信息化為知識,運(yùn)用到實(shí)際的決策中去。在大數(shù)據(jù)時代,數(shù)據(jù)的積累并不會貶值,而且還會不斷增值,為了更全面、深入地了解研究對象,往往需要對數(shù)據(jù)進(jìn)行整合,這就使得數(shù)據(jù)的積累尤為重要。
(3)數(shù)據(jù)分析對統(tǒng)計(jì)學(xué)的意義。在大數(shù)據(jù)時代背景下數(shù)據(jù)分析理念能夠有效地對數(shù)據(jù)流進(jìn)行合理地分類處理,進(jìn)行科學(xué)的統(tǒng)計(jì)行為,統(tǒng)計(jì)與分析主要利用分布式數(shù)據(jù)庫,或者分布式計(jì)算集群來對存儲于其內(nèi)的海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總等,這就意味著所有有用的數(shù)據(jù)信息均來源于數(shù)據(jù)分析處理之后的結(jié)果。大數(shù)據(jù)的數(shù)據(jù)分析理念擴(kuò)寬了統(tǒng)計(jì)學(xué)的研究范圍,而不僅僅只是實(shí)現(xiàn)數(shù)據(jù)的對比,而是從根本上豐富了研究的內(nèi)容,如:一些實(shí)時性需求會用到EMC 的GreenPlum、Oracle的Exadata,以及基于MySQL的列式存儲Infobright等,而一些批處理,或者基于半結(jié)構(gòu)化數(shù)據(jù)的需求可以使用Hadoop,滿足大多數(shù)常見的分析需求,對傳統(tǒng)的統(tǒng)計(jì)工作有著四個轉(zhuǎn)變。統(tǒng)計(jì)研究過程的轉(zhuǎn)變,使統(tǒng)計(jì)過程成為收集與研究。統(tǒng)計(jì)與分析這部分的主要特點(diǎn)和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大,統(tǒng)計(jì)研究工作思想的轉(zhuǎn)變,數(shù)據(jù)的收集不斷增加,信息的錄入不斷升級,其對系統(tǒng)資源,特別是I/O會有極大的占用。這就使得能夠更好地進(jìn)行數(shù)據(jù)分析處理決策[3]。
3數(shù)據(jù)分析過程中注意事項(xiàng)
3.1數(shù)據(jù)分析要明確變量
將數(shù)據(jù)收集進(jìn)行處理是為了明確市場中的某一個變量意義,這就使得在進(jìn)行數(shù)據(jù)分析的時候要能夠明確地找尋變量存在前后所發(fā)生的變化,通過數(shù)據(jù)對比可以知道該變量在大數(shù)據(jù)的市場中所存在的影響因素。是否對市場有著風(fēng)險或有利于市場的開發(fā)利用,能夠在數(shù)據(jù)分析后做出合理決策。
3.2統(tǒng)計(jì)中不再追求精確的數(shù)據(jù)
大數(shù)據(jù)時代下,數(shù)據(jù)的不精確性不僅不會破壞總體信息可靠性,還有利于進(jìn)行剝絲抽繭,從而了解總體情況。大數(shù)據(jù)時代,越來越多的數(shù)據(jù)提供越來越多的信息,也會讓人們越來越了解總體的真實(shí)情況。錯綜復(fù)雜的數(shù)據(jù)能夠反映數(shù)據(jù)之下到底是泥潭還是機(jī)遇。數(shù)據(jù)之間傳遞的信息良莠不齊,如果要一一追求準(zhǔn)確性不利于統(tǒng)計(jì)工作的開展,因此可以將個別的異常值剔除。大數(shù)定律告訴我們,隨著樣本的增加,樣本平均數(shù)越來越接近總體,這就使得樣本與總體的差異性很小,更加符合實(shí)際情況。
4結(jié)論
綜上所述,大數(shù)據(jù)包含結(jié)構(gòu)內(nèi)外的海量數(shù)據(jù),隨著云計(jì)算平臺進(jìn)行大規(guī)模收集處理,通過建立數(shù)據(jù)庫的手段,對數(shù)據(jù)分流,使用數(shù)據(jù)挖掘等方法進(jìn)行處理、分析,使得所數(shù)據(jù)結(jié)果更加符合顯示狀況。數(shù)據(jù)分析理念是通過闡明存在于世界、物質(zhì)、感官享受上的復(fù)雜網(wǎng)絡(luò)關(guān)系,從而做出符合時代背景的分析決策。
參考文獻(xiàn):
[1]維克托·邁爾·舍恩伯格,肯尼思·庫克耶.大數(shù)據(jù)時代:生活、工作與思維的大變革[M].杭州:浙江人民出版社,2013.
篇8
關(guān)鍵詞:實(shí)踐教學(xué) Crystal Reports 數(shù)據(jù)分析 應(yīng)用型人才
中圖分類號:G642.41 文獻(xiàn)標(biāo)識碼:C DOI:10.3969/j.issn.1672-8181.2013.19.087
1 實(shí)踐教學(xué)的分類
目前,高校人才培養(yǎng)目標(biāo)正在向應(yīng)用型人才方向轉(zhuǎn)移,比如:獨(dú)立學(xué)院、職業(yè)學(xué)院以及高職高專都明確提出他們的人才培養(yǎng)目標(biāo)就是滿足社會需要的實(shí)用型人才,而實(shí)用型人才培養(yǎng)的重要環(huán)節(jié)是加強(qiáng)實(shí)踐教學(xué),學(xué)生通過大量的實(shí)驗(yàn)活動提升自己的理論與實(shí)際操作水平。
一般認(rèn)為,實(shí)踐教學(xué)由基礎(chǔ)型、設(shè)計(jì)型和綜合應(yīng)用創(chuàng)新型等三類各具特色并逐層深化的實(shí)踐教育方式構(gòu)成一個完整的體系。
1.1 基礎(chǔ)型實(shí)踐教學(xué)
基礎(chǔ)型實(shí)踐教學(xué)由基礎(chǔ)課及專業(yè)基礎(chǔ)課中包含的演示型、基礎(chǔ)型和設(shè)計(jì)型實(shí)驗(yàn)環(huán)節(jié)組成,目標(biāo)在于鞏固和提高學(xué)生學(xué)習(xí)的理論知識。
1.2 設(shè)計(jì)型實(shí)踐教學(xué)
設(shè)計(jì)型實(shí)踐教學(xué)由專業(yè)課中的綜合型試驗(yàn)或獨(dú)立實(shí)踐課程組成,目的在于進(jìn)一步提高學(xué)生的動手能力、理論聯(lián)系實(shí)踐的能力及創(chuàng)新能力。該類實(shí)驗(yàn)采用在教師指導(dǎo)下,學(xué)生自主選題、自主設(shè)計(jì)、集體交流,鼓勵創(chuàng)新和團(tuán)隊(duì)協(xié)作等新型實(shí)驗(yàn)教學(xué)方法,使學(xué)生的實(shí)踐能力有跨越性的突破。
1.3 綜合應(yīng)用與創(chuàng)新型實(shí)踐教學(xué)
綜合應(yīng)用與創(chuàng)新型實(shí)踐教學(xué)以學(xué)生參與各項(xiàng)校內(nèi)外社會活動為主,學(xué)生可隨不同的指導(dǎo)老師,按興趣分組,按能力分工,著眼于學(xué)生實(shí)踐能力的綜合培養(yǎng),著眼于潛力個性開拓,著眼于創(chuàng)新精神的激勵。努力培養(yǎng)學(xué)生掌握企業(yè)管理和工程設(shè)計(jì)的基本方法,實(shí)現(xiàn)學(xué)生從具備一定實(shí)驗(yàn)?zāi)芰Φ骄哂休^高實(shí)戰(zhàn)能力的跨越。
2 Crystal Reports 系統(tǒng)
2.1 Crystal Reports簡介
Crystal Reports 是SAP公司開發(fā)的、功能強(qiáng)大、動態(tài)和可操作的報表解決方案,它能讀取多種數(shù)據(jù)源,在網(wǎng)絡(luò)環(huán)境下設(shè)計(jì)、開發(fā)可視化報表,嵌入到企業(yè)ERP系統(tǒng)或普通應(yīng)用系統(tǒng)中。在Crystal Reports的幫助下,用戶能夠制作企業(yè)OLAP在線分析,進(jìn)行企業(yè)業(yè)務(wù),比如財(cái)務(wù)、生產(chǎn)和銷售管理的在線分析,以便指導(dǎo)企業(yè)經(jīng)營工作,全球很多大公司都在選用這個軟件。
2.2 Crystal Reports特點(diǎn)
2.2.1 豐富的呈現(xiàn)形式
多種報表樣式:普通報表、交叉表和多維報表;
20多種圖形:條形圖、餅圖、曲線圖、甘特圖、雷達(dá)圖等,另外提供常用的報表模板。
2.2.2 廣泛的數(shù)據(jù)源連接
提供超過35個數(shù)據(jù)驅(qū)動用于訪問任何相關(guān)數(shù)據(jù)源,支持在一份報表中整合多個數(shù)據(jù)源的能力,包括:ODBC、ADO等數(shù)據(jù)存儲方式。
2.2.3 可視化設(shè)計(jì)環(huán)境
通過拖放元素組成報表,設(shè)置標(biāo)題,自定義變量,整合數(shù)據(jù)庫字段等,有排序?qū)<?、分組專家、匯總專家和圖標(biāo)專家等向?qū)А_€有強(qiáng)大的公式語言:160多個系統(tǒng)函數(shù),也可以自定義需要的函數(shù)。如圖1所示。
圖1 Crystal Reports的可視化設(shè)計(jì)界面
2.2.4 多種文件導(dǎo)出格式
如:Word、Excel、HTML、XML、PDF、RTF、CSV、TXT等,方便將信息遞交給不同需求的用戶。
2.3 學(xué)習(xí)Crystal Reports軟件的好處
對于信管專業(yè)的學(xué)生,培養(yǎng)目標(biāo)包括三個方面:第一,掌握計(jì)算機(jī)科學(xué)和管理學(xué)的基本知識和技能;第二,具備進(jìn)行信息系統(tǒng)分析、設(shè)計(jì)的能力;第三,能進(jìn)行計(jì)算機(jī)知識和管理知識的交叉復(fù)合應(yīng)用,能夠在專業(yè)應(yīng)用上有所創(chuàng)新。根據(jù)專業(yè)培養(yǎng)目標(biāo),要求信管專業(yè)的學(xué)生成為進(jìn)行軟件開發(fā),進(jìn)行OLTP在線事務(wù)處理和OLAP在線分析處理的應(yīng)用型人才。
在企事業(yè)單位的數(shù)據(jù)處理過程中,通常利用大型數(shù)據(jù)庫和大型軟件系統(tǒng)來完成相關(guān)任務(wù),同時需要進(jìn)行應(yīng)用軟件的二次開發(fā),比如ERP軟件SAP、Oracle應(yīng)用于企業(yè)后需要定制各種財(cái)務(wù)、生產(chǎn)和銷售分析報表,SAP、Oracle的ERP系統(tǒng)本身自帶的報表不可能滿足所有用戶的所有需求,因此這些大型的標(biāo)準(zhǔn)化軟件需要系統(tǒng)實(shí)施人員進(jìn)行再開發(fā),而Crystal Reports由于具有上述優(yōu)點(diǎn)而成為最好的開發(fā)工具,所以可以選擇Crystal Reports對信息管理和電子商務(wù)專業(yè)的同學(xué)進(jìn)行相關(guān)的系統(tǒng)訓(xùn)練以適應(yīng)社會發(fā)展的需要。
3 利用Crystal Reports 進(jìn)行實(shí)踐教學(xué)的方法
Crystal Reports既是一個在線分析軟件也是一個報表開發(fā)工具,因此,可認(rèn)為屬于程序設(shè)計(jì)科目,我們把它作為理論課程《數(shù)據(jù)分析與挖掘》的實(shí)驗(yàn)部分介紹給信息管理和電子商務(wù)專業(yè)的學(xué)生是因?yàn)檫@門課程的主要內(nèi)容是介紹數(shù)據(jù)庫的OLAP在線分析和數(shù)據(jù)倉庫的數(shù)據(jù)挖掘,在進(jìn)行OLAP分析中,需要利用多維報表工具,而Crystal Reports可以制作多維報表。
從Crystal Reports的特點(diǎn)以及它的應(yīng)用范圍來看,可以把利用它進(jìn)行的實(shí)踐活動歸類為設(shè)計(jì)型實(shí)踐和綜合應(yīng)用與創(chuàng)新型實(shí)踐相結(jié)合的實(shí)驗(yàn)項(xiàng)目,所以對同學(xué)們要求按照“規(guī)范設(shè)計(jì),鼓勵創(chuàng)新”的原則進(jìn)行實(shí)驗(yàn)活動。
由于《數(shù)據(jù)分析與挖掘》課程的理論性強(qiáng)、內(nèi)容多、難度大,所以相關(guān)實(shí)驗(yàn)采取學(xué)生分組進(jìn)行,每個小組2-3人,明確小組中每人的職責(zé),比如:數(shù)據(jù)收集、OLAP報表制作、結(jié)果分析、報告撰寫等工作內(nèi)容,要求他們齊心協(xié)力、通力合作,首先把實(shí)驗(yàn)內(nèi)容和分工情況匯報給實(shí)驗(yàn)指導(dǎo)老師,經(jīng)過實(shí)驗(yàn)老師的確認(rèn)同意后,學(xué)生才能繼續(xù)后面的實(shí)驗(yàn)。實(shí)驗(yàn)時間除了學(xué)院實(shí)驗(yàn)室安排的課時(一般在實(shí)驗(yàn)專周中的15學(xué)時),還可以在實(shí)驗(yàn)課后用自己的電腦完成,完成后撰寫5000字左右的實(shí)驗(yàn)報告,把實(shí)驗(yàn)過程完整地記錄下來,并對實(shí)驗(yàn)提出自己的建議,以便實(shí)驗(yàn)老師不斷完善實(shí)驗(yàn)?zāi)J?、改善?shí)驗(yàn)指導(dǎo),使之更符合社會發(fā)展和培養(yǎng)目標(biāo)的需要。
由于Crystal Reports是《數(shù)據(jù)分析與挖掘》課程的實(shí)驗(yàn)項(xiàng)目,所以讓同學(xué)們接觸實(shí)際應(yīng)用案例是首先必須考慮的問題,我們采取鼓勵同學(xué)廣開門路,挖掘數(shù)據(jù)來源,實(shí)行一個案例一個小組,找不到合適數(shù)據(jù)源的小組可以共享其他小組數(shù)據(jù)的方法解決數(shù)據(jù)源和案例問題,經(jīng)過同學(xué)們的努力,收集了10多個企業(yè)實(shí)際運(yùn)行數(shù)據(jù),由于數(shù)據(jù)和信息是企業(yè)的生命,也是企業(yè)嚴(yán)加保護(hù)的資源,一般企業(yè)不愿提供,因此我們只要求企業(yè)過去10年至過去5年的部分?jǐn)?shù)據(jù),并對數(shù)據(jù)加以刪減修改變更,保證企業(yè)的數(shù)據(jù)不泄密,同學(xué)們收集到的數(shù)據(jù)類型主要有Excel、Access、SQL Server以及Oracle等,這些類型的數(shù)據(jù)都可以被Crystal Reports讀取,但是讀取之前必須進(jìn)行ETL的操作,即對數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換和載入數(shù)據(jù)庫,以規(guī)范數(shù)據(jù)格式,完成數(shù)據(jù)標(biāo)準(zhǔn)化操作。
實(shí)驗(yàn)教師在整個實(shí)驗(yàn)活動中除了在實(shí)驗(yàn)室向同學(xué)們演示Crystal Reports的使用方法外,還必須跟蹤同學(xué)們的實(shí)驗(yàn)進(jìn)度,加強(qiáng)對實(shí)驗(yàn)過程的管理,要求同學(xué)們分組用PPT演示稿上臺介紹自己的實(shí)驗(yàn)情況,讓全體同學(xué)分享他們的成果,實(shí)驗(yàn)老師對同學(xué)們完成的實(shí)驗(yàn)報告要進(jìn)行點(diǎn)評,讓他們知道自己那些地方做得好,那些地方有欠缺,以便今后改進(jìn)提高。
4 取得的成果及對實(shí)驗(yàn)教學(xué)的思考
在經(jīng)過實(shí)驗(yàn)專周的活動后,同學(xué)們完成了基于企業(yè)經(jīng)營業(yè)務(wù)的在線分析OLAP實(shí)驗(yàn),分組提交了各種報告,如圖2所示。
圖2 學(xué)生的OLAP實(shí)驗(yàn)報告
從這些報告中,我們可以看出大部分同學(xué)完成情況良好,制作的圖表美觀大方,文本格式標(biāo)準(zhǔn)規(guī)范,大家通過實(shí)驗(yàn)理解了數(shù)據(jù)分析與挖掘的基本概念,學(xué)會了Crystal Reports的操作方法,能夠利用軟件工具讀取各種數(shù)據(jù)源,進(jìn)行數(shù)據(jù)的OLAP在線分析,按照需要制作標(biāo)準(zhǔn)報表、交叉報表和多維報表,這個過程相當(dāng)于對應(yīng)用軟件系統(tǒng)進(jìn)行了二次開發(fā),開發(fā)的結(jié)果為企業(yè)的經(jīng)營決策提供重要的參考意見,達(dá)到了預(yù)期目標(biāo)。
通過這些實(shí)驗(yàn)項(xiàng)目的實(shí)施,我們感覺到在實(shí)驗(yàn)教學(xué)應(yīng)該注意如下幾點(diǎn):
第一,教學(xué)思想具備理念新穎性。
教學(xué)模式的構(gòu)建受教學(xué)思想的支配,教學(xué)思想是教學(xué)模式的靈魂和核心,好的教學(xué)模式必須以先進(jìn)的教學(xué)思想為指導(dǎo),體現(xiàn)先進(jìn)的教學(xué)理念。實(shí)施新穎的教學(xué)思想可以通過向同學(xué)們開出現(xiàn)代的、先進(jìn)的學(xué)習(xí)科目來實(shí)現(xiàn),比如:數(shù)據(jù)倉庫、數(shù)據(jù)挖掘等。
第二,教學(xué)目標(biāo)強(qiáng)調(diào)技術(shù)實(shí)用性。
在當(dāng)今信息技術(shù)條件下,應(yīng)用性人才必須能夠?qū)⑿畔⒓夹g(shù)直接應(yīng)用于工作實(shí)踐中。實(shí)踐教學(xué)的目的就是培養(yǎng)學(xué)生具備這樣的應(yīng)用能力,而不是簡單地對理論的驗(yàn)證或?qū)夹g(shù)的一般了解,我們向同學(xué)們介紹Crystal Reports就是出于提高他們技術(shù)能力的需要。
第三,教學(xué)內(nèi)容充分考慮社會適應(yīng)性。
應(yīng)用型人才培養(yǎng)是以某一技術(shù)領(lǐng)域或職業(yè)崗位的能力培養(yǎng)為核心。因此,實(shí)踐教學(xué)的內(nèi)容必須滿足社會適應(yīng)性的能力要求,同時還要提供適應(yīng)學(xué)生可持續(xù)發(fā)展需要的能力和素質(zhì)。在內(nèi)容體系的組織上,實(shí)踐教學(xué)與理論教學(xué)必須相互滲透,理論知識需要通過實(shí)踐再認(rèn)識,并通過實(shí)踐課程來實(shí)現(xiàn)。
第四,教學(xué)手段突出技術(shù)先進(jìn)性。
當(dāng)代電子信息技術(shù)的快速發(fā)展,使得教育技術(shù)手段得到極大的提高,先進(jìn)的教學(xué)技術(shù)對教學(xué)模式的改革起到了直接的推動作用,多媒體技術(shù)的普及,使仿真訓(xùn)練等更多地應(yīng)用于實(shí)踐教學(xué)。比如Cisco公司的Packet Tracer網(wǎng)絡(luò)模擬仿真軟件就是一個非常好的例子,在我們的教學(xué)過程中,我們也采用了這個軟件向同學(xué)們介紹計(jì)算機(jī)網(wǎng)絡(luò)知識,效果非常顯著。
總之,實(shí)踐教學(xué)需要走不斷改革創(chuàng)新之路,滿足社會對應(yīng)用型人才的需求,開辟實(shí)踐教學(xué)的新途徑,找出新辦法,培養(yǎng)合格的社會需要、國家需要的應(yīng)用型、復(fù)合型人才。
篇9
關(guān)鍵詞:財(cái)會數(shù)據(jù);質(zhì)量;財(cái)會數(shù)據(jù)不真實(shí)
中圖分類號:F23文獻(xiàn)標(biāo)識碼:A文章編號:1672-3198(2012)19-0128-01
1概述
企業(yè)財(cái)會數(shù)據(jù)的準(zhǔn)確與否,將對企業(yè)的發(fā)展造成直接影響,財(cái)會的不真實(shí)數(shù)據(jù),已無法真實(shí)反映出企業(yè)的生產(chǎn)經(jīng)營活動情況,誤導(dǎo)決策者的思維,已危害到企業(yè)利益,危害到社會。在現(xiàn)代市場經(jīng)濟(jì)社會,財(cái)會數(shù)據(jù)占有非常重要的作用。是國家經(jīng)濟(jì)管理、企業(yè)內(nèi)部經(jīng)濟(jì)管理及市場投資者等各方面決策的依據(jù)。
2數(shù)據(jù)不真產(chǎn)生的原因
企業(yè)財(cái)會數(shù)據(jù)之所以能造成不真實(shí),究其原因,其產(chǎn)生的原因筆者認(rèn)為有如下幾個方面:
2.1個別領(lǐng)導(dǎo)的思想認(rèn)識有偏差
單位負(fù)責(zé)人是本單位財(cái)會工作的主要責(zé)任者,應(yīng)該對本單位財(cái)會數(shù)據(jù)的真實(shí)性、可靠性、完整性負(fù)責(zé)。由于為了維護(hù)個人或小集團(tuán)利益,在一些單位的個別領(lǐng)導(dǎo)的指導(dǎo)思想認(rèn)識上就產(chǎn)生了偏差,令財(cái)會人員虛報數(shù)據(jù),甚至弄虛作假,這是造成財(cái)會數(shù)據(jù)不真實(shí)的一個重要原因。
2.2執(zhí)行企業(yè)業(yè)績評價程序有問題
企業(yè)業(yè)績評價體系是衡量企業(yè)的業(yè)績、提供企業(yè)經(jīng)營的有用信息,它引導(dǎo)企業(yè)的經(jīng)營行為、激勵和約束經(jīng)營者的功能。現(xiàn)代企業(yè)制度是以產(chǎn)權(quán)明晰、權(quán)責(zé)明確、政企分開、管理科學(xué)為特點(diǎn)的企業(yè)制度。業(yè)績評價為監(jiān)控提供分析信息,激勵約束機(jī)制據(jù)此調(diào)控企業(yè)內(nèi)部的利益關(guān)系,從而引導(dǎo)企業(yè)經(jīng)營行為,朝著企業(yè)價值最大化的目標(biāo)前進(jìn)。
企業(yè)業(yè)績評價歷來都偏重于其經(jīng)營的結(jié)果和利潤、資產(chǎn)收益率等財(cái)務(wù)性評價指標(biāo),強(qiáng)調(diào)企業(yè)是否能實(shí)現(xiàn)經(jīng)營結(jié)果的目標(biāo)、同比或橫向比所處的水平等,而很少關(guān)注產(chǎn)生經(jīng)營結(jié)果的程序或過程是否合理。不注重進(jìn)行非財(cái)務(wù)性評價指標(biāo)的運(yùn)用和分析,忽略了企業(yè)實(shí)現(xiàn)預(yù)期結(jié)果的程序。企業(yè)中存在著只看重業(yè)績評價體系結(jié)果的狀態(tài),而忽視產(chǎn)生數(shù)據(jù)的過程的思維,這就形成了企業(yè)不考慮長遠(yuǎn)的事情,而只顧眼前利益,勢必產(chǎn)生財(cái)會造假等非常態(tài)的現(xiàn)象,這些現(xiàn)象的發(fā)生導(dǎo)致了財(cái)會數(shù)據(jù)不真實(shí)。
雖然財(cái)會專業(yè)的法律和法規(guī)基本健全,但企業(yè)中卻大量的存在著有法不依的現(xiàn)狀,政府對違規(guī)的監(jiān)管程度又不力,尤其是其產(chǎn)生高額利潤的吸引,使得企業(yè)財(cái)會失真的現(xiàn)象屢禁不止。
2.3業(yè)務(wù)素質(zhì)低下造成失誤數(shù)據(jù)較多
財(cái)會相關(guān)的工作人員業(yè)務(wù)素質(zhì)的高低程度,對財(cái)會數(shù)據(jù)的質(zhì)量將直接產(chǎn)生影響。一個方面是專業(yè)人員學(xué)習(xí)基礎(chǔ)低,學(xué)歷較低是不少企業(yè)所面臨的困境;另一方面是上進(jìn)心差責(zé)任心不強(qiáng),致使許多財(cái)會師對新的財(cái)會制度掌握不及時,熟悉程度低下,尤其是年輕的同志專業(yè)知識和經(jīng)驗(yàn)以及業(yè)務(wù)熟練的匱乏,在出現(xiàn)復(fù)雜的財(cái)會業(yè)務(wù)的情況下,很難處理好;另外,財(cái)會人員的職業(yè)道德素質(zhì)存在問題,面對違規(guī)違紀(jì)的現(xiàn)象聽之任之,甚至有主動為領(lǐng)導(dǎo)出謀劃策的情況,這些也是造成財(cái)會數(shù)據(jù)不真實(shí)的一個原因。
2.4企業(yè)產(chǎn)權(quán)制度不明晰,監(jiān)督不到位
目前國有企業(yè)的產(chǎn)權(quán)制度不明確對財(cái)會數(shù)據(jù)不真實(shí)也會產(chǎn)生重要影響。在這種體制下,國有企業(yè)的財(cái)產(chǎn)所有權(quán)主體屬于國家所有,而實(shí)際上國有企業(yè)的產(chǎn)權(quán)主體卻缺位,所以形成了國有企業(yè)沒有真正的所有者,這就造成了國有企業(yè)內(nèi)部沒有有效的約束機(jī)制。國家授權(quán)的國有資產(chǎn)管理機(jī)構(gòu)也不是國有資產(chǎn)的所有者,對企業(yè)的監(jiān)督也不到位。
企業(yè)領(lǐng)導(dǎo)更多關(guān)注的是經(jīng)營的效果,而對其它比較淡化,雖然企業(yè)內(nèi)部有審計(jì)監(jiān)督,但在這種體制下也變得十分軟弱。即使是政府各有關(guān)部門每年一度的稅收、財(cái)務(wù)檢查和財(cái)會師事務(wù)所的財(cái)會審計(jì)報表也不能對企業(yè)財(cái)會達(dá)到有效地監(jiān)督。
3針對財(cái)會數(shù)據(jù)不真實(shí)的防護(hù)和治理對策
財(cái)會數(shù)據(jù)不真實(shí)是諸多原因形成的,在綜合治理上也應(yīng)采取多種對策進(jìn)行,筆者認(rèn)為具體實(shí)施的措施應(yīng)有如下方面:
3.1嚴(yán)格守法意識
要做到嚴(yán)格守法,必須提高企業(yè)領(lǐng)導(dǎo)在指導(dǎo)思想上的嚴(yán)格守法意識,端正指導(dǎo)思想,不但要對企業(yè)的當(dāng)前負(fù)責(zé),更要對企業(yè)的未來和可持續(xù)性發(fā)展負(fù)責(zé),牢固樹立必須建立真實(shí)、可靠、完整的區(qū)域財(cái)會資料的思想。加強(qiáng)財(cái)會數(shù)據(jù)不真實(shí)的治理工作,認(rèn)真學(xué)習(xí)財(cái)會法規(guī),保證企業(yè)今后財(cái)會數(shù)據(jù)的真實(shí)可靠性。
3.2企業(yè)業(yè)績評價體系需改進(jìn)
企業(yè)在改進(jìn)的業(yè)績評價體系中,要多關(guān)注企業(yè)管理形成過程的合理性和科學(xué)性,要建立能對財(cái)會數(shù)據(jù)產(chǎn)生全過程進(jìn)行考核的體系,監(jiān)督企業(yè)財(cái)會工作在合法的軌道上運(yùn)行,確保企業(yè)在管理中有可靠的財(cái)會數(shù)據(jù)可依。同時,還要完善社會上的監(jiān)督,使企業(yè)與政府等經(jīng)濟(jì)監(jiān)督主管部門能有效地結(jié)合,實(shí)現(xiàn)對企業(yè)經(jīng)濟(jì)活動的確認(rèn)和監(jiān)督,以保證財(cái)會數(shù)據(jù)的真實(shí)性。
在執(zhí)行財(cái)會法規(guī)方面,做到嚴(yán)格執(zhí)法、違法必究,并加大處罰力度,讓再有覬覦者不敢逾越雷池。
3.3提高素質(zhì)
財(cái)會數(shù)據(jù)能否做到真實(shí)可靠,其中的一部分是通過提高財(cái)會工作人員的素質(zhì)來實(shí)現(xiàn)的,所以業(yè)務(wù)素質(zhì)的提高已迫在眉睫。為適應(yīng)企業(yè)發(fā)展的要求,企業(yè)財(cái)會工作人員不謹(jǐn)需要掌握本專業(yè)的基礎(chǔ)理論,還需要適應(yīng)本工作崗位的基本技能,同時,還要具有對本企業(yè)經(jīng)營核算分析及參與企業(yè)的決策的能力。這就要求企業(yè)必須建立具有一支職業(yè)道德高尚,個人素質(zhì)過硬,遵守法律法規(guī),健康向上的財(cái)會工作人員隊(duì)伍。
3.4采用微機(jī)電算,提效保真
目前的財(cái)會數(shù)據(jù),均已采用微機(jī)進(jìn)行電算,在采用統(tǒng)一的財(cái)會數(shù)據(jù)計(jì)算軟件后,有效地克服了手工計(jì)算所造成的失誤,通過采用微機(jī)電算,不但提高了工作效率,而且有效地堵住了財(cái)會數(shù)據(jù)計(jì)算過程中的漏洞,使財(cái)會數(shù)據(jù)的保真性有了明顯提高。
3.5強(qiáng)化財(cái)會監(jiān)督和企業(yè)內(nèi)財(cái)會控制
實(shí)施企業(yè)財(cái)會監(jiān)督,是企業(yè)各項(xiàng)經(jīng)濟(jì)活動和財(cái)務(wù)收支在法律所允許的范圍內(nèi)運(yùn)行的有力保證。各經(jīng)濟(jì)監(jiān)督部門要保證各監(jiān)督職能之間相互作用,有效發(fā)揮監(jiān)督作用。企業(yè)只有充分發(fā)揮好內(nèi)部審計(jì)監(jiān)督的職能,企業(yè)內(nèi)的財(cái)務(wù)收支、經(jīng)濟(jì)活動才能保證在正常的軌道上發(fā)展。在強(qiáng)化企業(yè)監(jiān)督的同時,加強(qiáng)企業(yè)內(nèi)部財(cái)會控制也很重要,企業(yè)在內(nèi)部為貫徹執(zhí)行國家財(cái)會法律,加強(qiáng)對財(cái)會數(shù)據(jù)的環(huán)節(jié)過程進(jìn)行監(jiān)督和管理,及時發(fā)現(xiàn)并有效糾正財(cái)會工作中出現(xiàn)的問題,提高財(cái)會數(shù)據(jù)質(zhì)量,真實(shí)反映企業(yè)經(jīng)濟(jì)管理活動具有重要意義。
篇10
分布式數(shù)據(jù)庫系統(tǒng)作為計(jì)算機(jī)網(wǎng)絡(luò)和數(shù)據(jù)庫有機(jī)結(jié)合體,建立計(jì)算機(jī)信息平臺和分布式數(shù)據(jù)庫系統(tǒng)兩者之間息息相關(guān),相互作用。然而,網(wǎng)絡(luò)環(huán)境復(fù)雜性,加之一直處在開放式狀態(tài),致使存在諸多不安全因素,直接影響到分布式數(shù)據(jù)庫系統(tǒng)的安全使用?;诖?,文章通過對分布式數(shù)據(jù)系統(tǒng)的不安全因素進(jìn)行分析,提出了分布式數(shù)據(jù)庫系統(tǒng)安全防護(hù)措施,以供參考、完善。
【關(guān)鍵詞】分布式 數(shù)據(jù)庫系統(tǒng) 安全分析
分布式數(shù)據(jù)庫作為一種計(jì)算機(jī)數(shù)據(jù)庫系統(tǒng),對計(jì)算機(jī)數(shù)據(jù)儲存于共享尤為重要。在計(jì)算機(jī)飛速發(fā)展的時代,分布式數(shù)據(jù)庫系統(tǒng)的應(yīng)用在帶來方便的同時,也面臨著巨大挑戰(zhàn),必須盡快找出處在不安全因素,并采取相應(yīng)的安全措施進(jìn)行處理,從而為用戶使用提供安全性保障。
1 分布式數(shù)據(jù)系統(tǒng)的不安全因素
1.1 黑客攻擊
黑客攻擊的方法是各種各樣的,不僅能夠利用網(wǎng)絡(luò)信息上的“監(jiān)聽客戶―數(shù)據(jù)庫服務(wù)器―服務(wù)器的報文”的方式來竊取數(shù)據(jù)信息,還可利用用戶的口令實(shí)施身份攻擊。此外,為了達(dá)到攻擊的目的性,黑客還可通過破譯攻擊方式,使用密碼分析來獲取加密文件,再解密或者是篡改數(shù)據(jù)信息。一般情況下,黑客攻擊的目的主要是為了擾亂系統(tǒng)的穩(wěn)定運(yùn)行與竊取數(shù)據(jù)信息,其中黑客攻擊的方式包括3種類型:假裝攻擊、迂回攻擊及竊取攻擊。
1.2 內(nèi)部威脅
由于分布式數(shù)據(jù)庫系統(tǒng)終端位置的物理特性分布具有分散性的特點(diǎn),威脅到系統(tǒng)運(yùn)用內(nèi)部本身的安全性,加上它的每一個分站點(diǎn)都會存在薄弱環(huán)節(jié),會直接給整個系統(tǒng)運(yùn)行的安全帶來威脅。因此,對于每一個分站點(diǎn)的潛在安全風(fēng)險引起的問題,都會發(fā)出警報,這時必須充分利用網(wǎng)絡(luò)安全性為系統(tǒng)提供安全防護(hù)措施。
1.3 計(jì)算機(jī)病毒
計(jì)算機(jī)病毒的發(fā)展與網(wǎng)絡(luò)、自身因素有關(guān),對計(jì)算機(jī)網(wǎng)絡(luò)來說,網(wǎng)絡(luò)環(huán)境的開發(fā)性加快了計(jì)算機(jī)病毒傳播的速度,難以根除計(jì)算機(jī)病毒。對計(jì)算機(jī)病毒本身而言,計(jì)算機(jī)病毒本身具有傳染性較強(qiáng)、隱蔽性良好和傳播速度快的特點(diǎn),在發(fā)現(xiàn)病毒的時候通常已經(jīng)被感染計(jì)算機(jī)病毒。
2 分布式數(shù)據(jù)庫系統(tǒng)安全防護(hù)措施
2.1 建立安全審核系統(tǒng)
在運(yùn)用分布式數(shù)據(jù)庫系統(tǒng)過程中,應(yīng)建立安全審核系統(tǒng),對獲得任何時間、用戶訪問數(shù)據(jù)庫系統(tǒng)具有舉足輕重的作用,能夠提升數(shù)據(jù)庫系統(tǒng)使用的安全性。并且還應(yīng)建立相應(yīng)的用戶權(quán)限安全性審核體系,用來找出威脅系統(tǒng)安全性的來源,以此建立有針對性的數(shù)據(jù)庫安全防護(hù)系統(tǒng)。例如某省公安廳交通警察總隊(duì)的某個項(xiàng)目中,運(yùn)用了數(shù)據(jù)庫系統(tǒng)安全審計(jì)系統(tǒng),通過部署數(shù)據(jù)庫審核系統(tǒng),在不更改業(yè)務(wù)網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上,采用旁路鏡像方法,實(shí)時采集服務(wù)器和數(shù)據(jù)庫網(wǎng)絡(luò)數(shù)據(jù)流,協(xié)議分析和識別信息數(shù)據(jù),最終將全部網(wǎng)絡(luò)操作進(jìn)行還原,然后記錄儲存于取證分析操作痕跡,以此提出相應(yīng)的設(shè)定安全策略,審核多個不同的分站點(diǎn),防止違規(guī)操作同時,向管理員報警,從而實(shí)現(xiàn)分布式部署。
2.2 凈化網(wǎng)絡(luò)環(huán)境
針對上述復(fù)雜、開放性網(wǎng)絡(luò)環(huán)境條件下,分布式數(shù)據(jù)庫系統(tǒng)運(yùn)用中存在的不安全因素,為了降低網(wǎng)絡(luò)環(huán)境的影響力,真正做到安全防范,必須凈化網(wǎng)絡(luò)環(huán)境,加強(qiáng)網(wǎng)絡(luò)管理力度,為系統(tǒng)使用的安全性提供保障。例如某市為了凈化網(wǎng)絡(luò)環(huán)境,確保計(jì)算機(jī)信息系統(tǒng)安全,促進(jìn)計(jì)算機(jī)應(yīng)用與發(fā)展,按照《中華人民共和國計(jì)算機(jī)信息系統(tǒng)安全保護(hù)條例》相關(guān)規(guī)定,結(jié)合當(dāng)?shù)赜?jì)算機(jī)應(yīng)用情況,明確相關(guān)部門工作職責(zé),加強(qiáng)網(wǎng)絡(luò)管理,收集和通報計(jì)算機(jī)病毒,對計(jì)算機(jī)病毒來源進(jìn)行追查,定期檢測計(jì)算機(jī)病毒,及時消除計(jì)算機(jī)病毒傳播與擴(kuò)散。
2.3 病毒防控措施
分布式數(shù)據(jù)庫系統(tǒng)內(nèi)部儲存與管理著海量數(shù)據(jù)信息,都是為了防止黑客利用各種非法手段篡改、破壞和竊取數(shù)據(jù)庫中的文件,為了保護(hù)數(shù)據(jù)庫系統(tǒng)中全部文件的安全性與完整性,必須對分布式數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)庫文件進(jìn)行病毒防控,做好相應(yīng)的病毒預(yù)防與控制措施,從而有效降低黑客攻擊的威脅性。例如某校為了預(yù)防與控制本校計(jì)算機(jī)感染病毒,維護(hù)用戶利益,按照國家與公安部門相關(guān)規(guī)定,結(jié)合本校的實(shí)情,制定相應(yīng)的病毒防控措施,要求學(xué)校信息化建設(shè)和管理領(lǐng)導(dǎo)小組負(fù)責(zé)病毒預(yù)防與控制工作,并成立病毒防控小組,負(fù)責(zé)監(jiān)督與指導(dǎo)病毒防控工作,根據(jù)有關(guān)規(guī)定檢測計(jì)算機(jī)系統(tǒng)和軟件的病毒,對產(chǎn)生病毒計(jì)算機(jī)進(jìn)行清除,并更新防病毒軟件,新接入的軟件必須經(jīng)過檢測,確定沒有病毒后才能使用。
2.4 保密安全措施
用戶訪問權(quán)限在通過一系列身份驗(yàn)證后,分站點(diǎn)和分站點(diǎn)之間才可以進(jìn)行數(shù)據(jù)互動。為了確保數(shù)據(jù)信息的保密性,在數(shù)據(jù)信息傳遞的整個過程中,一般會對需要傳輸?shù)臄?shù)據(jù)信息設(shè)置密碼,在通信雙方建立一條保密通道,對數(shù)據(jù)信息訪問與傳輸進(jìn)行加密處理,以此避免數(shù)據(jù)被竊取、反復(fù)發(fā)送及遭到黑客攻擊。另外,應(yīng)使用實(shí)時入侵檢測方式,加大分站點(diǎn)之間的安全監(jiān)測力度,在通信雙方建立一條安全通道,加強(qiáng)數(shù)據(jù)信息傳輸?shù)谋C苄?。例如某公司為了確保整個分布式數(shù)據(jù)系統(tǒng)信息系統(tǒng)中數(shù)據(jù)信息的保密性,在發(fā)送信息數(shù)據(jù)過程中,使用端對端加密方式對數(shù)據(jù)信息進(jìn)行加密,然后進(jìn)入TCP/IP數(shù)據(jù)包封裝,將其設(shè)置成不可識別或者是不可閱讀的信息數(shù)據(jù),最后通過網(wǎng)絡(luò)方式傳送到另一個用戶系統(tǒng)中(目的地),再對信息數(shù)據(jù)進(jìn)行解密重組,變成可讀數(shù)據(jù)信息。
3 結(jié)束語
在開放式和復(fù)雜的網(wǎng)絡(luò)環(huán)境中運(yùn)用分布式數(shù)據(jù)庫系統(tǒng)時,應(yīng)充分分析了解不安全因素,通過建立訪問控制和審計(jì)體系和安全審核系統(tǒng)方式,凈化網(wǎng)絡(luò)環(huán)境,實(shí)時預(yù)防和控制病毒傳播,從而做好分布式數(shù)據(jù)庫系統(tǒng)保密安全措施,確保分布式數(shù)據(jù)庫系統(tǒng)安全使用。
參考文獻(xiàn)
[1]鄒平吉.對分布式數(shù)據(jù)庫系統(tǒng)的安全分析與探討[J].林區(qū)教學(xué),2013(12):98-100.
[2]韓春陽.分布式數(shù)據(jù)庫系統(tǒng)的安全策略研究[J].硅谷,2014(07):164-164,181.
熱門標(biāo)簽
數(shù)據(jù)分析論文 數(shù)據(jù)挖掘論文 數(shù)據(jù)安全論文 數(shù)據(jù)庫論文 數(shù)據(jù)管理論文 數(shù)據(jù)誤差 數(shù)據(jù)采集 數(shù)據(jù)挖掘總結(jié) 數(shù)據(jù)通信論文 數(shù)據(jù) 心理培訓(xùn) 人文科學(xué)概論
相關(guān)文章
1政務(wù)數(shù)據(jù)協(xié)同治理的分析
3建筑業(yè)統(tǒng)計(jì)數(shù)據(jù)質(zhì)量探討