近日,由聚銘網(wǎng)絡(luò)申報(bào)的《一種基于變長(zhǎng)記錄的安全日志壓縮存儲(chǔ)和檢索方法》與《一種基于神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)惡意行為識(shí)別方法》兩項(xiàng)發(fā)明專利通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局授權(quán),正式獲得國(guó)家發(fā)明專利證書(shū)!
針對(duì)當(dāng)前業(yè)內(nèi)需要對(duì)億級(jí)日志數(shù)據(jù)進(jìn)行高效率壓縮存儲(chǔ)和檢索,以及減少對(duì)磁盤(pán)和CPU資源消耗的需求,聚銘網(wǎng)絡(luò)發(fā)明了《一種基于變長(zhǎng)記錄的安全日志壓縮存儲(chǔ)和檢索方法》。
該發(fā)明通過(guò)利用各類設(shè)備的歷史日志解析結(jié)果,獲取不同模式在整體日志上的分布情況,為壓縮編碼提供實(shí)際依據(jù)。具體技術(shù)步驟如下:
-
搭建日志收取環(huán)境:根據(jù)實(shí)際需求,構(gòu)建適合收集不同類型設(shè)備日志的環(huán)境;
-
獲取日志中模式分布數(shù)據(jù):對(duì)相關(guān)原始日志的解析情況進(jìn)行統(tǒng)計(jì)分析,對(duì)每種設(shè)備及相關(guān)模式的占比情況進(jìn)行標(biāo)注,為后續(xù)壓縮編碼提供依據(jù);
-
對(duì)模式中的固定部分進(jìn)行變長(zhǎng)編碼:某類設(shè)備或系統(tǒng)的日志具有較大的命中概率,針對(duì)大量重復(fù)的模式或數(shù)據(jù)進(jìn)行變長(zhǎng)編碼,實(shí)現(xiàn)高效壓縮存儲(chǔ);
-
建立固定模式中的單詞索引:由于日志的固定部分在壓縮后已經(jīng)被編碼替代,故無(wú)法直接進(jìn)行檢索,所以需要預(yù)先建立模式中所包含的單詞和索引的關(guān)系;
-
對(duì)模式中的變化部分進(jìn)行變長(zhǎng)編碼并建立索引:針對(duì)模式中的變化部分,進(jìn)行變長(zhǎng)編碼,并建立相應(yīng)的索引,以便于檢索。
-
根據(jù)固定部分和變長(zhǎng)部分進(jìn)行日志還原:首先對(duì)固定部分進(jìn)行解碼,然后根據(jù)固定部分中的信息,按照變長(zhǎng)部分的編碼方式對(duì)變長(zhǎng)部分進(jìn)行解碼,最終得到完整的原始日志;
-
根據(jù)固定部分、變長(zhǎng)部分以及索引關(guān)系進(jìn)行檢索:當(dāng)用戶輸入某個(gè)或某些關(guān)鍵詞進(jìn)行搜索時(shí),通過(guò)固定部分編碼和索引關(guān)系、變長(zhǎng)部分編碼和索引關(guān)系,聯(lián)合進(jìn)行高效的日志檢索。
基于本項(xiàng)發(fā)明專利,聚銘綜合日志分析系統(tǒng)(SAS)能夠提供更加高效、節(jié)省存儲(chǔ)空間的日志壓縮存儲(chǔ)和檢索方法,幫助各類機(jī)構(gòu)和企事業(yè)單位客戶更好地管理日志數(shù)據(jù),提高網(wǎng)絡(luò)安全防護(hù)能力。
《一種基于神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)惡意行為識(shí)別方法》為更好地發(fā)現(xiàn)網(wǎng)絡(luò)安全問(wèn)題、檢測(cè)各類逃避手段提供了分析依據(jù)、方法及工具,特別是針對(duì)動(dòng)態(tài)域名請(qǐng)求及其后續(xù)發(fā)生的行為甄別提供了有力的解決方案。
首先通過(guò)采集大量正常域名和動(dòng)態(tài)域名的數(shù)據(jù),形成訓(xùn)練數(shù)據(jù);其次獲取網(wǎng)絡(luò)流量數(shù)據(jù)包,并根據(jù)設(shè)定的數(shù)據(jù)過(guò)濾器篩選出符合分類要求的數(shù)據(jù),并按照規(guī)則進(jìn)行歸并;然后對(duì)篩選歸并后的數(shù)據(jù)進(jìn)行特征預(yù)抽取,提取出代表性的數(shù)據(jù)特征,將其標(biāo)記為正常流量或異常流量;接著使用LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,生成相應(yīng)的權(quán)重及偏置描述文件;最后將待分類流量的特征向量輸入訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中,根據(jù)輸出結(jié)果進(jìn)行流量分類和識(shí)別。
在該項(xiàng)發(fā)明的加持下,聚銘網(wǎng)絡(luò)流量智能分析審計(jì)系統(tǒng)(iNFA)能夠更好的挖掘網(wǎng)絡(luò)環(huán)境中存在各類惡意行為,對(duì)全網(wǎng)流量實(shí)時(shí)進(jìn)行威脅感知、可疑流量分析,為廣大機(jī)構(gòu)及企事業(yè)單位客戶提供更加高效、有力的網(wǎng)絡(luò)安全防護(hù)工具。
未來(lái),聚銘網(wǎng)絡(luò)將繼續(xù)深耕網(wǎng)絡(luò)安全領(lǐng)域,加大產(chǎn)品研發(fā)力度,充分利用人才、設(shè)備等資源優(yōu)勢(shì),積極探索前沿技術(shù),不斷加強(qiáng)科研創(chuàng)新,提升企業(yè)核心競(jìng)爭(zhēng)力,為廣大政企客戶提供更優(yōu)質(zhì)的產(chǎn)品和服務(wù)。