Šiuolaikiniai kalbiniai modeliai gali generuoti aukštos kokybės kodą per kelias sekundes. Tai didžiulė vertė programuotojams ir IT komandai, tačiau vienu metu potenciali rizika. Darbuotojas – sąmoningai ar nesąmoningai – gali suformuluoti užklausą, kuri sukurs skriptą, pavyzdžiui, duomenų ekfiltracijai, neautorizuotų veiksmų automatizavimui ar pasiruošiant elementams, naudojamiems atakos metu.
Jei modelis neturi kontrolės mechanizmų ir vadinamųjų AI Guardrails, atsakymas gali turėti organizacijos saugumui nepriimtinų turinių.
Case study – tas pats modelis, du visiškai skirtingi rezultatai
Atliekant Proof of Concept tipo testus buvo analizuojamas tas pats LLM modelis dviejose scenarijuose.
Scenarijus 1 – be apsauginių mechanizmų
Parašius užklausą dėl skripto kūrimo, siekiant gauti jautrius sisteminius duomenis, modelis sukūrė pilną kodą, atliekančią nurodytą užduotį.
Iš saugumo perspektyvos tai reiškia, kad vartotojas gavo paruoštą įrankį, kuris gali būti naudojamas taisykles pažeidžiančiam veiksmui.

Scenarijus 1: modelio LLM naudojimas be apsauginių mechanizmų
Scenarijus 2 – su CrowdStrike Falcon AIDR
Tas pats modelis buvo naudojamas su aktyvia politika CrowdStrike Falcon AIDR.
Rezultatas buvo visiškai kitoks – užklausa buvo analizuota pagal intenciją, o atsakymas blokuotas pagal galiojančią saugumo politiką. Guardrails mechanizmas uždraudė potencialiai pavojingų turinių generavimą dar prieš jums pasiekiant vartotoją.
Tai įrodo, kad veiksminga AI apsauga nėra modelių prieigos blokavimas, o išmani jų saugaus naudojimo taisyklių vykdymas.

Scenarijus 2: modelio LLM naudojimas su CrowdStrike AIDR