技術(shù)
導(dǎo)讀:在企業(yè)數(shù)字化轉(zhuǎn)型逐漸進(jìn)入加速期,IT應(yīng)用日益深入、擴(kuò)大的當(dāng)下,云大物移智邊端等數(shù)字技術(shù)落地企業(yè)漸成常態(tài)。
日志數(shù)據(jù)分散,存儲(chǔ)環(huán)境復(fù)雜,集中管理難;
在業(yè)務(wù)系統(tǒng)不受干擾的前提下,實(shí)時(shí)監(jiān)控難;
熔斷信息發(fā)現(xiàn)滯后,及時(shí)通知難。此外,核心業(yè)務(wù)監(jiān)控不足,不能精細(xì)化分析;
不能滿足合規(guī)審計(jì)需求;
故障排除慢,系統(tǒng)運(yùn)維效率低;用戶數(shù)據(jù)難以掌控……
對(duì)于此類問(wèn)題,大多數(shù)企業(yè)的IT管理人都可以下意識(shí)地給出解法,那就是企業(yè)需要部署或者優(yōu)化自身的日志管理能力。然而,在企業(yè)數(shù)字化轉(zhuǎn)型逐漸進(jìn)入加速期,IT應(yīng)用日益深入、擴(kuò)大的當(dāng)下,云大物移智邊端等數(shù)字技術(shù)落地企業(yè)漸成常態(tài)。在這樣的背景下,一方面,日志管理已然成為剛需,大有標(biāo)配之勢(shì);另一方面,云、容器技術(shù)、IoT等應(yīng)用,帶來(lái)了數(shù)據(jù)量的急劇增加,數(shù)據(jù)形態(tài)的多元化,這對(duì)日志數(shù)據(jù)的采集、存儲(chǔ)、分析等帶來(lái)了更多新的挑戰(zhàn)。
“與此同時(shí),企業(yè)在這個(gè)過(guò)程中逐漸發(fā)現(xiàn)日志數(shù)據(jù)的價(jià)值,并將其視為‘?dāng)?shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)’的引擎之一,這對(duì)日志管理產(chǎn)品的分析功能和價(jià)值落地提出了更高的要求。”北京優(yōu)特捷信息技術(shù)有限公司(以下簡(jiǎn)稱日志易)技術(shù)副總裁黃俊毅在接受ENI經(jīng)濟(jì)和信息化網(wǎng)采訪時(shí)概括道:“也就是說(shuō),日志管理不僅要助力企業(yè)應(yīng)對(duì)挑戰(zhàn),還要讓企業(yè)數(shù)智化創(chuàng)新‘如虎添翼’。
技術(shù)+信創(chuàng):助力企業(yè)應(yīng)對(duì)IT挑戰(zhàn)
日志管理的功能在當(dāng)下已是耳熟能詳:滿足等保審計(jì)、留存要求,運(yùn)維監(jiān)控,安全運(yùn)營(yíng),運(yùn)營(yíng)分析這四項(xiàng)是大多數(shù)日志管理工具所具備的基本功能。技術(shù)能力及對(duì)企業(yè)需求的把控,決定了日志管理相關(guān)產(chǎn)品實(shí)現(xiàn)其功能所覆蓋的廣度、深度及落地價(jià)值。
依托日志易多年深耕日志管理領(lǐng)域的經(jīng)驗(yàn),黃俊毅以不同階段企業(yè)對(duì)于日志管理的需求,應(yīng)對(duì)需求的技術(shù)及產(chǎn)品的發(fā)展歷程,介紹了日志管理在技術(shù)加持之下,由難到易、由慢到快、由簡(jiǎn)單收集、監(jiān)控到關(guān)聯(lián)分析的演進(jìn)過(guò)程。
十年前,日志管理剛剛起步的階段,功能更加傾向于滿足留存審計(jì)的需求,IT系統(tǒng)相對(duì)較少,數(shù)據(jù)有限,企業(yè)主要采用數(shù)據(jù)庫(kù)的方式收集及存儲(chǔ)日志。隨著IT系統(tǒng)的逐漸增多,數(shù)據(jù)量快速增長(zhǎng),數(shù)據(jù)庫(kù)已是難承其重。在這個(gè)階段,日志易等日志管理廠商開始使用開源搜索引擎技術(shù)進(jìn)行日志收集和分析。直到今天搜索引擎軟件ES(Elasticsearch)依然為諸多企業(yè)及日志管理產(chǎn)品商所采用。
然而ES技術(shù)作為舶來(lái)品,以及分析功能較弱的特點(diǎn),導(dǎo)致一方面,對(duì)部分日志數(shù)據(jù)進(jìn)行分析的安全法要求難以落地,基于安全考慮采用自主創(chuàng)新產(chǎn)品的需求不能滿足。另外一方面,由于產(chǎn)品分析功能的缺失,導(dǎo)致企業(yè)的日志管理面臨一系列的挑戰(zhàn)。
比如,在統(tǒng)一日志管理方面,傳統(tǒng)日志管理平臺(tái)日志查詢方式原始、效率低下,無(wú)法基于日志進(jìn)行深層次的業(yè)務(wù)邏輯分析和告警,同時(shí)缺乏安全可控的日志管理手段等。在運(yùn)維監(jiān)控分析方面,傳統(tǒng)管理平臺(tái)性能弱,難以靈活實(shí)現(xiàn)跨部門協(xié)作、響應(yīng)。監(jiān)控遲緩、運(yùn)維被動(dòng)響應(yīng),監(jiān)控維度粗獷,故障排查方式落后等;在安全運(yùn)營(yíng)方面,綜合分析能力薄弱,告警降噪能力不足,聯(lián)動(dòng)處理自動(dòng)化不足,告警結(jié)果未與安全設(shè)備形成聯(lián)動(dòng),新技術(shù)、新架構(gòu)覆蓋范圍和檢測(cè)技術(shù)不足,如容器、微服務(wù)等,日志處理能力不足,海量日志溯源效率低,未能做到全攻擊鏈日志采集。
正是基于對(duì)企業(yè)需求及挑戰(zhàn)前瞻性的思考,較早采用開源搜索引擎技術(shù)之一的日志易又先行一步“改弦易張”,2018年,日志易自主研發(fā)的日志搜索分析引擎Beaver上線,強(qiáng)化了分析功能、每天可處理PB級(jí)日志、實(shí)現(xiàn)了國(guó)產(chǎn)自研,性能數(shù)倍于國(guó)外開源軟件的同時(shí),還可以為企業(yè)節(jié)省50%以上的成本。經(jīng)過(guò)數(shù)年技術(shù)的打磨與實(shí)踐,如今擁有成熟產(chǎn)品矩陣、自主創(chuàng)新的日志易“機(jī)器大數(shù)據(jù)智能平臺(tái)”在金融及制造等行業(yè)助力企業(yè)應(yīng)對(duì)IT挑戰(zhàn),打造了諸多創(chuàng)新應(yīng)用場(chǎng)景。
日志易“機(jī)器大數(shù)據(jù)智能平臺(tái)”
智能分析加持:企業(yè)數(shù)字化運(yùn)營(yíng)“如虎添翼”
“數(shù)據(jù)驅(qū)動(dòng)”是企業(yè)數(shù)字化轉(zhuǎn)型的目標(biāo),也是實(shí)現(xiàn)企業(yè)降本增效的重要路徑。隨著企業(yè)進(jìn)入由數(shù)致智的轉(zhuǎn)型新階段,“數(shù)據(jù)驅(qū)動(dòng)”的范疇不斷擴(kuò)大及深化。在這個(gè)過(guò)程中,加持了智能分析功能的日志管理平臺(tái),為運(yùn)維、安全、運(yùn)營(yíng)分析領(lǐng)域落地“日志數(shù)據(jù)驅(qū)動(dòng)”場(chǎng)景及“如虎添翼”價(jià)值發(fā)揮了決定性的作用。
對(duì)于用戶比較關(guān)注的功能邊界問(wèn)題,黃俊毅逐一進(jìn)行了分析介紹。比如在運(yùn)維及安全領(lǐng)域,一些網(wǎng)絡(luò)管理的產(chǎn)品或者系統(tǒng),發(fā)揮的是對(duì)硬件設(shè)施或者CPU內(nèi)存的監(jiān)控,而日志數(shù)據(jù)的分析更擅長(zhǎng)于業(yè)務(wù)類的指標(biāo)監(jiān)控,比如交易量、請(qǐng)求量、耗時(shí)等等。在故障臺(tái)賬方面,網(wǎng)管及日志發(fā)現(xiàn)的問(wèn)題,最終的目標(biāo)是定位問(wèn)題,在這個(gè)方面日志數(shù)據(jù)對(duì)于網(wǎng)管系統(tǒng)是一個(gè)補(bǔ)充,雙方是互補(bǔ)的關(guān)系。在實(shí)時(shí)運(yùn)營(yíng)分析層面,傳統(tǒng)的BI分析主要基于結(jié)構(gòu)化數(shù)據(jù),對(duì)于非結(jié)構(gòu)化數(shù)據(jù)(包括IT 系統(tǒng)和設(shè)備的運(yùn)行數(shù)據(jù),甚至一些物聯(lián)網(wǎng)數(shù)據(jù)等)則很少使用,實(shí)時(shí)性較差。而日志涉及到非結(jié)構(gòu)化數(shù)據(jù)來(lái)源更廣泛、數(shù)據(jù)量更豐富,可以與傳統(tǒng)的業(yè)務(wù)分析數(shù)據(jù)形成互補(bǔ),為企業(yè)展現(xiàn)更全面、精準(zhǔn)的業(yè)務(wù)狀況,促進(jìn)業(yè)務(wù)優(yōu)化。
而在金融、汽車、能源等產(chǎn)業(yè),圍繞日志數(shù)據(jù)進(jìn)行的智能運(yùn)營(yíng)分析在提升核心業(yè)務(wù)運(yùn)營(yíng)決策、用戶體驗(yàn),提高良品率、車聯(lián)網(wǎng)前端運(yùn)營(yíng)等方面,創(chuàng)新場(chǎng)景及成果也在持續(xù)地落地過(guò)程中。
在金融行業(yè),包括農(nóng)信銀通過(guò)日志易實(shí)時(shí)監(jiān)控業(yè)務(wù)狀態(tài)、更快定位故障,交易耗時(shí)分析用時(shí)減少了97%,監(jiān)控大屏展示延遲縮短了98%,異常感知及定位耗時(shí)減少了90%,熔斷信息查詢定位,用時(shí)縮短了90%;江蘇銀行借助日志易實(shí)時(shí)監(jiān)控業(yè)務(wù)狀態(tài),提升了服務(wù)保障與用戶體驗(yàn);大家保險(xiǎn)通過(guò)構(gòu)建智能日志中心平臺(tái),挖掘數(shù)據(jù)資產(chǎn)價(jià)值,提升了核心業(yè)務(wù)運(yùn)營(yíng)決策效率。
在汽車行業(yè),隨著智能網(wǎng)聯(lián)新能源汽車的快速發(fā)展,企業(yè)部署了一系列大數(shù)據(jù)系統(tǒng),車輛越多,系統(tǒng)負(fù)載的數(shù)據(jù)量就越大,每天可以產(chǎn)生幾十到上百TB。早期,日志易與車企的合作重點(diǎn)在于保障系統(tǒng)的穩(wěn)定運(yùn)行,監(jiān)控請(qǐng)求的耗時(shí)、成功率等等運(yùn)維相關(guān)的工作。隨著日志易平臺(tái)分析功能的日益增強(qiáng),其與客戶合作的范疇延伸至車聯(lián)網(wǎng)、車載等前端內(nèi)部狀態(tài)數(shù)據(jù)。
除此之外,工業(yè)產(chǎn)線分析也是日志易平臺(tái)分析功能發(fā)揮的重要舞臺(tái)之一,在實(shí)施運(yùn)維的同時(shí),通過(guò)對(duì)產(chǎn)線重要節(jié)點(diǎn)精準(zhǔn)數(shù)據(jù)的分析,幫助企業(yè)及時(shí)發(fā)現(xiàn)問(wèn)題,實(shí)現(xiàn)質(zhì)量追溯,提高良品率及生產(chǎn)效率。
作為日志管理核心功能之一,應(yīng)對(duì)制造業(yè)越來(lái)越高的數(shù)據(jù)安全需求,日志易強(qiáng)化了用戶行為分析和數(shù)據(jù)泄露分析功能,提升了企業(yè)的監(jiān)控能力,滿足了其安全的需求。
專精特新小巨人:下一步發(fā)力的新起點(diǎn)
2021年,日志易入選工信部專精特新“小巨人”企業(yè),除此之外,日志易已經(jīng)當(dāng)選信創(chuàng)工委會(huì)大數(shù)據(jù)組組長(zhǎng),獲得35項(xiàng)發(fā)明專利、18項(xiàng)外觀專利,還有國(guó)家高新技術(shù)企業(yè)、中關(guān)村前沿企業(yè)、德勤北京“朝陽(yáng)明日之星”等多個(gè)榮譽(yù)傍身。而“小巨人”的入選條件,不僅是對(duì)日志易產(chǎn)品技術(shù)、公司價(jià)值及發(fā)展?jié)摿Φ恼J(rèn)可,更是對(duì)企業(yè)能力的總結(jié):10年專注于日志管理領(lǐng)域,市場(chǎng)占有率高;研發(fā)能力強(qiáng),不斷創(chuàng)新,擁有Beaver自研高性能搜索引擎、SPL低代碼語(yǔ)言支持300多種函數(shù)、指令,可對(duì)不同時(shí)段、不同類型數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析,對(duì)于產(chǎn)業(yè)鏈強(qiáng)鏈補(bǔ)鏈成果明顯;自主品牌且具有競(jìng)爭(zhēng)優(yōu)勢(shì)。
日志易智能日志中心
近年來(lái),在這個(gè)新的起點(diǎn)之上,日志易在產(chǎn)品研發(fā)、平臺(tái)智能化等方面持續(xù)發(fā)力,中國(guó)本土豐富的用戶資源,政府對(duì)于數(shù)字經(jīng)濟(jì)的持續(xù)推進(jìn)等態(tài)勢(shì)為日志易平臺(tái)的推廣及不斷優(yōu)化提供良好的土壤。
談及產(chǎn)業(yè)發(fā)展趨勢(shì)及日志易下一步提升的方向,黃俊毅提到,云原生等創(chuàng)新趨勢(shì)對(duì)于日志平臺(tái)搜索引擎的分級(jí)部署、關(guān)聯(lián)搜索、關(guān)聯(lián)分析等功能提出了更高的要求,日志易機(jī)器數(shù)據(jù)智能分析平臺(tái)已經(jīng)能夠完全滿足這種新形式下的日志管理需求。對(duì)于時(shí)下熱門的大模型技術(shù),日志易已經(jīng)開始了關(guān)注和探索,以期進(jìn)一步提升平臺(tái)的智能化能力,持續(xù)滿足不同階段企業(yè)對(duì)于日志管理的需求和期待。