IA ofensiva y seguridad de la IA

De Alias Robotics, en Vitoria. Framework de agentes para seguridad ofensiva, con artículo publicado y resultados contrastados en programas de recompensas. Es el proyecto europeo más serio del ramo, es de código abierto y está a dos horas en coche de aquí. Conviene seguirlo aunque no lo use.

El paper. Interesa por la metodología de evaluación, que es lo que casi nunca acompaña a este tipo de herramientas: sin protocolo de medida, las cifras de cualquier agente son publicidad.

Escáner autónomo multiagente que detecta, explota y valida. Lo interesante es la fase de validación: es exactamente donde el resto de proyectos falla y acaba entregando ruido que alguien tiene que descartar a mano.

Orquesta las herramientas de siempre —nmap, nuclei, ffuf— con un modelo que encadena y prioriza, pero que no emite veredicto: la validación se hace con la herramienta, no con el modelo. Es exactamente el criterio correcto, y el que separa un asistente útil de un generador de hallazgos inventados.

El pionero. Hoy lo superan varios, pero su separación entre razonamiento, generación y parseo sigue siendo la mejor explicación de por qué un modelo de lenguaje suelto no hace un test de intrusión.

Del laboratorio ipa-lab. Minimalista a propósito: su valor es que se lee entero en una tarde y detrás hay literatura revisada sobre escalada de privilegios en Linux. Es el mejor punto de entrada si quiere entender el bucle, no solo ejecutarlo.

Para no perderse. Censo mantenido del sector, que cambia cada pocas semanas. Úselo como radar, no como criterio: incluir no es recomendar.

El equivalente a ATT&CK para sistemas de inteligencia artificial. Es el vocabulario común: sin él, dos informes sobre el mismo modelo no son comparables y el cliente no puede agregar nada.

Punto de partida razonable para definir alcance. Trátelo como taxonomía y no como lista de comprobación: quien lo recorre entero y firma ha auditado el documento, no el sistema.

De Microsoft. Automatiza el red teaming de IA generativa y da cobertura sistemática de familias de prompts adversariales. Bien para amplitud; la profundidad sigue siendo manual.

De NVIDIA. Escáner de vulnerabilidades para modelos de lenguaje, con cientos de sondas listas. Es lo más parecido a un nmap de modelos, con la misma virtud y el mismo defecto: le dice qué hay, no qué significa.