基于大數(shù)據(jù)審計的信息安全日志分析法
噪聲數(shù)據(jù)隨著經(jīng)濟和信息技術(shù)的不斷發(fā)展，許多企業(yè)開始引入了ＥＲＰ等系統(tǒng)，這些系統(tǒng)使得企業(yè)的眾多活動數(shù)據(jù)可以實時記錄，形成了大量有關(guān)企業(yè)經(jīng)營管理的數(shù)據(jù)倉庫。從這些海量數(shù)據(jù)中獲取有用的審計數(shù)據(jù)是目前計算機審計的一個應(yīng)用。接下來小編為你帶來基于大數(shù)據(jù)審計的信息安全日志分析法，希望對你有幫助。
大數(shù)據(jù)信息安全日志審計分析方法
1．海量數(shù)據(jù)采集。
大數(shù)據(jù)采集過程的主要特點和挑戰(zhàn)是并發(fā)數(shù)高，因此采集數(shù)據(jù)量較大時，分析平臺的接收性能也將面臨較大挑戰(zhàn)。大數(shù)據(jù)審計平臺可采用大數(shù)據(jù)收集技術(shù)對各種類型的數(shù)據(jù)進行統(tǒng)一采集，使用一定的壓縮及加密算法，在保證用戶數(shù)據(jù)隱私性及完整性的前提下，可以進行帶寬控制。
2．?dāng)?shù)據(jù)預(yù)處理。
在大數(shù)據(jù)環(huán)境下對采集到的海量數(shù)據(jù)進行有效分析，需要對各種數(shù)據(jù)進行分類，并按照一定的標(biāo)準(zhǔn)進行歸一化，且對數(shù)據(jù)進行一些簡單的清洗和預(yù)處理工作。對于海量數(shù)據(jù)的預(yù)處理，大數(shù)據(jù)審計平臺采用新的技術(shù)架構(gòu)，使用基于大數(shù)據(jù)集群的分布式計算框架，同時結(jié)合基于大數(shù)據(jù)集群的復(fù)雜事件處理流程作為實時規(guī)則分析引擎，從而能夠高效并行地運行多種規(guī)則，并能夠?qū)崟r檢測異常事件。
3．統(tǒng)計及分析。
按照數(shù)據(jù)分析的實時性，分為實時數(shù)據(jù)分析和離線數(shù)據(jù)分析。大數(shù)據(jù)平臺在數(shù)據(jù)預(yù)處理時使用的分布式計算框架Storm就非常適合對海量數(shù)據(jù)進行實時的統(tǒng)計計算，并能夠快速反饋統(tǒng)計結(jié)果。Storm框架利用嚴(yán)格且高效的事件處理流程保證運算時數(shù)據(jù)的準(zhǔn)確性，并提供多種實時統(tǒng)計接口以使用。
4．?dāng)?shù)據(jù)挖掘。
數(shù)據(jù)挖掘是在沒有明確假設(shè)的前提下去挖掘信息、發(fā)現(xiàn)知識，所以它所得到的信息具有未知、有效、實用三個特征。與傳統(tǒng)統(tǒng)計及分析過程不同的是，大數(shù)據(jù)環(huán)境下的數(shù)據(jù)挖掘一般沒有預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進行基于各種算法的計算，從而起到預(yù)測的效果，并進一步實現(xiàn)一些高級別數(shù)據(jù)分析的需求。
大數(shù)據(jù)分析信息安全日志的解決方案
統(tǒng)一日志審計與安全大數(shù)據(jù)分析平臺能夠?qū)崟r不間斷地將用戶網(wǎng)絡(luò)中來自不同廠商的安全設(shè)備、網(wǎng)絡(luò)設(shè)備、主機、操作系統(tǒng)、數(shù)據(jù)庫系統(tǒng)、用戶業(yè)務(wù)系統(tǒng)的日志和警報等信息匯集到管理中心，實現(xiàn)全網(wǎng)綜合安全審計；同時借助大數(shù)據(jù)分析和挖掘技術(shù)，通過各種模型場景發(fā)現(xiàn)各種網(wǎng)絡(luò)行為、用戶異常訪問和操作行為。
1．系統(tǒng)平臺架構(gòu)。
以國內(nèi)某大數(shù)據(jù)安全分析系統(tǒng)為例，其架構(gòu)包括大數(shù)據(jù)采集平臺、未知威脅感知系統(tǒng)、分布式實時計算系統(tǒng)(Storm)、復(fù)雜事件處理引擎(Esper)、Hadoop平臺、分布式文件系統(tǒng)(HDFS)、分布式列數(shù)據(jù)庫(Hbase)、分布式并行計算框架(Map／Reduce、Spark)、數(shù)據(jù)倉庫(Hive)、分布式全文搜索引擎(ElasticSearch)、科學(xué)計算系統(tǒng)(Euler)。這些技術(shù)能夠解決用戶對海量事件的采集、處理、分析、挖掘和存儲的需求。
如圖1所示，系統(tǒng)能夠?qū)崟r地對采集到的不同類型的信息進行歸一化和實時關(guān)聯(lián)分析，通過統(tǒng)一的控制臺界面進行實時、可視化的呈現(xiàn)，協(xié)助安全管理人員迅速準(zhǔn)確地識別安全事件，提高工作效率。
2．實現(xiàn)功能。
系統(tǒng)能夠?qū)崿F(xiàn)的功能包括：審計范圍覆蓋網(wǎng)絡(luò)環(huán)境中的全部網(wǎng)絡(luò)設(shè)備、安全設(shè)備、服務(wù)器、數(shù)據(jù)庫、中間件、應(yīng)用系統(tǒng)，覆蓋200多種設(shè)備和應(yīng)用中的上萬類日志，快速支持用戶業(yè)務(wù)系統(tǒng)日志審計；系統(tǒng)收集企業(yè)和組織中的所有安全日志和告警信息，通過歸一化和智能日志關(guān)聯(lián)分析引擎，協(xié)助用戶準(zhǔn)確、快速地識別安全事故；通過系統(tǒng)的.安全事件并及時做出安全響應(yīng)操作，為用戶的網(wǎng)絡(luò)環(huán)境安全提供保障；通過已經(jīng)審計到的各種審計對象日志，重建一段時間內(nèi)可疑的事件序列，分析路徑，幫助安全分析人員快速發(fā)現(xiàn)源；整個Hadoop的體系結(jié)構(gòu)主要通過分布式文件系統(tǒng)(HDFS)來實現(xiàn)對分布式存儲的底層支持。
3．應(yīng)用場景。
上述系統(tǒng)可解決傳統(tǒng)日志審計無法實現(xiàn)的日志關(guān)聯(lián)分析和智能定位功能。如在企業(yè)的網(wǎng)絡(luò)系統(tǒng)中，大范圍分布的網(wǎng)絡(luò)設(shè)備、安全設(shè)備、服務(wù)器等實時產(chǎn)生的日志量非常大，要從其中提取想要的信息非常困難，而要從設(shè)備之間的關(guān)聯(lián)來判斷設(shè)備故障也將是一大難點。例如，某企業(yè)定位某設(shè)備與周圍直連設(shè)備的日志消息相關(guān)聯(lián)起來判斷該設(shè)備是否存在異�；蚬收�，如對于其中一臺核心交換機SW1，與之直連的所有設(shè)備如果相繼報接口down的日志，則可定位該設(shè)備SWl為故障設(shè)備，此時應(yīng)及時做出響應(yīng)。而傳統(tǒng)數(shù)據(jù)難以通過周圍設(shè)備的關(guān)聯(lián)告警來定位該故障，大數(shù)據(jù)審計平臺則是最好的解決方法。
大數(shù)據(jù)分析方法可以利用實體關(guān)聯(lián)分析、地理空間分析和數(shù)據(jù)統(tǒng)計分析等技術(shù)來分析實體之間的關(guān)系，并利用相關(guān)的結(jié)構(gòu)化和非結(jié)構(gòu)化的信息來檢測非法活動。對于集中存儲起來的海量信息，可以讓審計人員借助歷史分析工具對日志進行深度挖掘、調(diào)查取證、證據(jù)保全。
【基于大數(shù)據(jù)審計的信息安全日志分析法】相關(guān)文章：
日志大的失望04-14
信息能力提升研修日志12-07
信息提升工程研修日志11-20
信息技術(shù)研修日志11-26
教育信息化日志02-22
愛在吉大日志04-30
審計工作日志的寫法01-29
信息技術(shù)能力研修日志08-13