Sicurezza dei sistemi AI
Penetration test per applicazioni basate su LLM e agenti AI
Un modello linguistico non distingue un'istruzione legittima da una nascosta in un documento. Se quel modello può interrogare un database o richiamare un'API, il penetration test deve spostarsi sul nuovo confine di fiducia della Sua applicazione.
Test manuale, non benchmark automatici. Retest illimitato incluso.
Copertura
Le classi di rischio che verifichiamo
Prendiamo come riferimento la OWASP Top 10 per applicazioni LLM e la estendiamo alla Sua architettura specifica.
Prompt injection diretta e indiretta
Istruzioni nascoste in documenti, pagine web, email o ticket che il modello elabora e interpreta come comandi legittimi.
Fuga di dati dal contesto
Estrazione del prompt di sistema, dei documenti indicizzati e dei dati di altri utenti attraverso il canale di recupero del RAG.
Abuso degli strumenti
Agenti con accesso a funzioni, API o database: verifichiamo se un utente possa indurli a eseguire azioni fuori dal proprio livello di autorizzazione.
Isolamento fra utenti nel recupero
Nei sistemi RAG multi-tenant il filtro sui permessi è spesso applicato dopo il recupero: testiamo se i documenti di un cliente raggiungano un altro.
Aggiramento delle policy
Tecniche di jailbreak, codifiche alternative e attacchi multi-turno che erodono progressivamente le istruzioni di sistema.
Costi e disponibilità
Abuso delle risorse di inferenza, prompt che generano cicli ricorsivi e assenza di limiti per utente su chiamate a pagamento.
Svolgimento
Come testiamo un sistema AI
- 01
Mappatura dell'architettura
Modelli utilizzati, sorgenti dei dati, strumenti richiamabili, confini di fiducia e punti in cui contenuti non fidati entrano nel contesto.
- 02
Modellazione delle minacce
Definiamo che cosa un attaccante otterrebbe di concreto: dati di altri utenti, azioni privilegiate, aggiramento di controlli di business.
- 03
Test manuale avversariale
Sessioni di attacco condotte da tester umani, con conversazioni a più turni e payload costruiti sul dominio applicativo specifico.
- 04
Verifica dei controlli tradizionali
Autenticazione, autorizzazione e sicurezza delle API restano decisive: un agente vulnerabile è spesso solo il varco verso un difetto classico.
- 05
Report e retest
Payload riproducibili, valutazione dell'impatto e indicazioni di mitigazione, con riverifica illimitata dopo le correzioni.
Riferimenti normativi
AI e obblighi in Italia e in Europa
Regolamento europeo sull'intelligenza artificiale
Per i sistemi classificati ad alto rischio sono previsti obblighi di robustezza, accuratezza e cibersicurezza lungo tutto il ciclo di vita. Un test avversariale documentato è una delle poche evidenze tecniche concrete che può portare in sede di valutazione della conformità.
GDPR e provvedimenti del Garante
Se il sistema elabora dati personali, l'estrazione di informazioni dal contesto costituisce una violazione a tutti gli effetti. Il Garante Privacy ha già mostrato particolare attenzione ai servizi basati su modelli generativi: la documentazione dei test rafforza la posizione di accountability.
NIS2 e nuove componenti applicative
Un assistente AI integrato nei processi aziendali è una componente ICT come le altre e rientra nelle misure di gestione del rischio previste dal D.Lgs. 138/2024, comprese quelle sulla sicurezza dell'acquisizione e dello sviluppo dei sistemi.
ISO/IEC 42001 e 27001
Per chi struttura un sistema di gestione dell'intelligenza artificiale, il report fornisce l'evidenza di verifica indipendente richiesta dai controlli su valutazione dell'impatto e sicurezza tecnica, integrandosi con il perimetro ISO 27001 già in essere.
Domande frequenti
Sicurezza AI: dubbi ricorrenti
Servizi collegati
Metta alla prova il Suo sistema AI prima dei Suoi utenti
Ci descriva architettura, sorgenti dati e strumenti richiamabili: le proponiamo un piano di test avversariale.
Richieda un preventivo