LLM, agentes y RAG
Test de intrusión de sistemas de IA y modelos LLM
Un asistente con acceso a su base de conocimiento es un usuario más, y además obedece al texto que lee. Probamos qué consigue quien escribe las instrucciones adecuadas en un documento, un correo o un ticket de soporte.
Evaluación alineada con OWASP Top 10 for LLM Applications.
Vectores
Qué probamos en un sistema de IA
El modelo casi nunca es el problema. El problema es lo que le ha dado usted: contexto, herramientas y permisos.
Inyección de instrucciones
Directa y, sobre todo, indirecta: instrucciones ocultas en documentos, correos, páginas web o tickets que el modelo procesa como si fueran suyas.
Fuga de contexto y de datos
Extracción del prompt de sistema, de documentos de otros usuarios en sistemas RAG multiinquilino y de datos memorizados durante el ajuste fino.
Abuso de herramientas y agentes
Un agente que puede consultar la base de datos, enviar correos o llamar a una API interna hereda esos permisos. Probamos qué hace cuando se le engaña.
Autorización en la capa RAG
Comprobamos si el filtrado por permisos se aplica en la recuperación o solo en la interfaz, que es el fallo más repetido en despliegues internos.
Cadena de suministro del modelo
Modelos y complementos de terceros, plantillas de prompts en repositorios públicos y dependencias de la canalización de inferencia.
Coste, abuso y disponibilidad
Consultas diseñadas para disparar el gasto por tokens, eludir los límites de uso o degradar el servicio para el resto de usuarios.
Cumplimiento
La IA ya tiene su propio marco normativo
Estas son las obligaciones que empiezan a aparecer en los pliegos y en los cuestionarios de seguridad de sus clientes.
Reglamento Europeo de Inteligencia Artificial
Los sistemas clasificados como de alto riesgo deben acreditar robustez, exactitud y ciberseguridad a lo largo de todo su ciclo de vida. Un test de intrusión documentado sobre el sistema desplegado es una de las evidencias más directas para esa obligación, y España cuenta además con una agencia supervisora propia en la materia.
RGPD y decisiones automatizadas
Si el sistema trata datos personales o influye en decisiones sobre personas, el artículo 22 y el principio de exactitud entran en juego. Documentamos qué datos personales pueden extraerse por vía indirecta, incluidos los que llegan al contexto desde documentos internos.
OWASP Top 10 for LLM Applications
Utilizamos la taxonomía de referencia del sector para clasificar cada hallazgo, de modo que su equipo pueda comparar resultados entre auditorías y hablar el mismo idioma que sus proveedores de modelos.
ENS y guías del CCN
Para despliegues en el sector público, encajamos los hallazgos en las medidas del anexo II relativas a protección de la información y de las aplicaciones, y tomamos como referencia las guías del CCN sobre uso seguro de la inteligencia artificial.
Preguntas frecuentes
Sobre la auditoría de sistemas de IA
Servicios relacionados
Pruebe su asistente antes de abrirlo a los clientes
Cuéntenos qué herramientas y qué datos tiene al alcance su sistema de IA y le proponemos un alcance realista.
Solicitar presupuesto