Telemetrijos apimties mažinimas pasitelkiant Cribl

2022 metais Getty Images inžinierių komanda susidūrė su klasikiniu mastelio didinimo iššūkiu. Jų pagrindinė žurnalų kaupimo sistema kasdien priimdavo kelis terabaitus telemetrijos, o prognozuojamas metinis apimties augimas siekė 30 %. Išlaikant tokią dinamiką, įmonei grėsė papildomos išlaidos, skaičiuojamos milijonais dolerių. Situaciją komplikavo fragmentuotos konfigūracijos, nepakankamai skaidrūs filtravimo mechanizmai ir negalėjimas peržiūrėti masyvų prieš juos įkeliant. Kiekvienas naujo šaltinio prijungimas virsdavo spėjimų žaidimu, o visos informacijos saugojimas vien tik „dėl viso pikto“ tapo itin neefektyviu verslo vykdymo modeliu.

Siekdami išspręsti šį infrastruktūrinį uždavinį, specialistai pakeitė pačią darbo su duomenimis paradigmą, pasirinkdami Cribl platformą. Naujasis sprendimas leido apdoroti telemetriją tiesiogiai tranzito metu — sistema automatiškai išvalo, filtruoja, restruktūrizuoja ir peradresuoja informacijos srautus dar iki indeksavimo etapo. Toks požiūris architektams suteikė precedento neturintį matomumą ir lankstumą. Platforma tapo įrankiu, kuris atvėrė realias galimybes visapusiškai valdyti nuosavus duomenis. Dabar informacija reikiamu formatu pasiekia būtent tas sistemas, kuriose ji yra reikalinga, todėl saugumo komandos gali dirbti su specifiniais srautais neperkraudamos pagrindinės SIEM sistemos.

Gili techninė transformacija pareikalavo įdiegti aiškią inžinerinę struktūrą. Inžinieriai nustatė griežtas šaltinių ir konvejerių pavadinimų suteikimo taisykles, taip pat pradėjo pridėti metaduomenis tiesiogiai prie naudingojo krūvio. Pavyzdžiui, specialus šaltinio kilmės laukas tapo kritiškai svarbus tolesniam klaidų nustatymui. Tuo pat metu Cribl Stream sprendimas leido izoliuoti skirtingus darbo krūvius ir konkrečius naudojimo scenarijus. Toks infrastruktūrinis nepriklausomumas užtikrina, kad konfigūracijos klaida viename padalinyje arba lokalus aktyvumo šuolis nepaveiks viso korporatyvinio tinklo stabilumo. Siekiant saugiai testuoti architektūrą nekeliant rizikos produkcinei aplinkai, aktyviai taikomas maršrutizavimas į devnull ir anonimizuotų imčių generavimo įrankiai. Papildomu pranašumu tapo dirbtinio intelekto integracija: Cribl Copilot leidžia greitai kurti konvejerius ir generuoti KQL paieškos užklausas.

Akivaizdžiausias optimizavimo rezultatas buvo tiesioginis gaunamų žurnalų apimties sumažinimas perpus. Ne mažiau svarbu ir tai, kad įmonei pavyksta išlaikyti šį rodiklį stabilų kelerius metus, nepaisant nuolatinio spartaus verslo augimo. Pagrindinis sutaupymas pasiektas sumažinus indeksatorių klasteriui keliamus reikalavimus. Tačiau esminiais tapo būtent procesiniai pokyčiai, ypač privalomos telemetrijos rinkimo užklausos formos įdiegimas. Ji verčia informacijos savininkus prieš integraciją atsakyti į keletą kritinių klausimų: kokio tipo duomenys bus įkeliami, kokios numatomos apimtys, koks būtinas saugojimo terminas ir kokios prieigos politikos bus taikomos. Tai perkelia atsakomybę už žurnalų kaupimo tikslingumą proceso iniciatoriui ir padeda išvengti nekontroliuojamo duomenų šiukšlių kaupimo.

Pakeisti kūrėjų ir susijusių padalinių įpročius pasirodė esą gerokai sudėtingiau nei tiesiog sukonfigūruoti programinę įrangą. Ekspertai pabrėžia, kad sėkmingas tokių didelio masto projektų įgyvendinimas turi būti grindžiamas vidinių partnerių aktualiausių problemų sprendimu, o ne vien naujų funkcinių galimybių demonstravimu. Stebėsenos specialistai turi plėtoti tinklą laipsniško perėjimo principu, siūlydami kitoms komandoms sprendimus skubioms licencijavimo išlaidų pertekliaus ar įvykių matomumo infrastruktūroje problemoms spręsti. Tokioje paradigmoje operacijų padalinys virsta patikimu sprendimų teikėju, kurio veikla išlieka stabili įprastu režimu.

Apibendrinant, efektyvus duomenų konvejerių valdymas reikalauja derinti proaktyvų maršrutizavimą su griežta žurnalų kaupimo disciplina. Petabaitų nefiltruotos informacijos saugojimas nebėra pagrįstas žingsnis: įmonėms reikalingi įrankiai, leidžiantys struktūruoti telemetriją dar iki jos indeksavimo. Tai leidžia atlaisvinti finansinius išteklius ir užtikrinti, kad saugumo analitikai dėmesį sutelktų išskirtinai į aktualias grėsmes.

iIT Distribution, kaip Cribl sprendimų distributorius ir Value Added Distributor (VAD), teikia išsamią ekspertinę pagalbą visuose tokių projektų įgyvendinimo etapuose. iITD specialistų komanda padeda atlikti išsamų poreikių vertinimą, suprojektuoti optimalią architektūrą ir užtikrinti visapusišką duomenų srautų valdymo sistemų diegimo priežiūrą. iIT Distribution ekspertai tampa integralia partnerio ekosistemos dalimi, teikdami reikalingas technines konsultacijas, padedančias didinti bendrą kibernetinį atsparumą ir optimizuoti įmonės IT investicijas.