LLM, agenter og RAG
Penetrationstest af LLM- og AI-systemer
En sprogmodel med adgang til dine data og dine værktøjer er en ny angrebsflade. Vi tester, hvad der sker, når nogen skriver instruktioner, den ikke burde følge.
Manuel test. Ingen forudbetaling.
Fokusområder
Det vi går efter i en AI-løsning
Modellen er sjældent problemet. Det er koblingen til dine data og systemer, der giver konsekvenser.
Promptinjektion
Direkte og indirekte. Vi tester, om instruktioner gemt i et dokument, en e-mail eller en webside kan overtage styringen af modellen og få den til at handle på angriberens vegne.
Adgang til værktøjer
Kan modellen kalde funktioner, den ikke burde? Kan den sende data ud, oprette poster eller udføre handlinger uden godkendelse? Det er her, en agent bliver farlig.
Datalækage
Systemprompter, nøgler, andre brugeres data og indhold fra vidensbasen, der ikke burde nå frem til den aktuelle bruger.
RAG og vidensbaser
Adgangskontrol på tværs af dokumenter, forgiftning af indeks og indhold fra kilder, der ikke er kontrolleret. Klassisk adgangskontrol i ny indpakning.
Misbrug og omkostninger
Omgåelse af begrænsninger, ubegrænset forbrug og udnyttelse af dyre kald. Både et sikkerheds- og et budgetproblem.
Selve applikationen
Det klassiske sikkerhedsarbejde hører med: autentificering, adgangskontrol, API'er og forretningslogik i den applikation, modellen er bygget ind i.
Regler og krav
AI, data og dansk regulering
GDPR og databeskyttelsesloven
Sender løsningen personoplysninger til en model, skal du kunne redegøre for, hvad der sendes, hvorhen og hvem der kan få det tilbage. Vi tester konkret, om andre brugeres oplysninger kan hentes frem.
AI-forordningen
EU's regler stiller krav om robusthed og sikkerhed for systemer i de højere risikoklasser. En dokumenteret sikkerhedstest af løsningen er en brugbar del af det tekniske grundlag.
NIS2
Indgår AI-løsningen i en væsentlig tjeneste, hører den under risikostyringen i cyber- og informationssikkerhedsloven på lige fod med resten af systemlandskabet.
CFCS' trusselsvurderinger
Center for Cybersikkerhed peger på, at angribere også bruger AI, og at nye teknologier indføres hurtigere end kontrollerne. Vi tester ud fra det trusselsbillede, ikke ud fra en generisk tjekliste.
Ofte stillede spørgsmål
Om test af AI-løsninger
Relaterede sider
Test AI-løsningen, før den får flere rettigheder
Fortæl os, hvad løsningen kan, og hvilke data den har adgang til. Så foreslår vi et omfang og en fast pris.
Kontakt os