Lo que pide un auditor, o el motor de evidencias de Sekit.
Monitorización y registros de eventos del sistema de IA
Cómo se vigila un sistema de IA en uso y qué se registra: monitorización de desempeño, deriva del modelo, mal uso, resultados dañinos y fallos de control frente a umbrales y respuestas definidas, y qué recoge el registro de eventos sobre entradas, salidas, decisiones y anulaciones humanas.
Del catálogo de evidencias de Sekit
En la práctica
Un sistema de IA no falla como falla el software normal: puede seguir funcionando mientras se desvía silenciosamente de su objetivo, produce respuestas peores, o se usa mal para algo que no fue aprobado. Los registros de monitoreo y eventos del sistema de IA registran rendimiento, deriva, mal uso y fallos de control contra umbrales definidos, además de muestras de entradas, salidas y anulaciones humanas. Los auditores preguntan cuál es el umbral para decir "esta IA se desvió" y a quién se le avisa, y verifican si existe monitoreo para el chatbot del proveedor que usa el equipo de ventas, no solo para el modelo insignia construido internamente.
Brechas habituales
Existe monitoreo para sistemas de IA construidos internamente pero no para el chatbot del proveedor que usa el equipo de atención al cliente a diario.
No hay un umbral definido para lo que cuenta como deriva o rendimiento degradado, así que nadie notaría un deterioro lento.
Los eventos de anulación humana no se registran, así que no hay constancia de cuándo el personal tuvo que corregir o rechazar un resultado de la IA.
Preguntas que hará tu auditor
¿Qué se monitorea de un sistema de IA una vez que está en producción?
Rendimiento, deriva, mal uso y resultados dañinos contra umbrales definidos, registrados en los registros de monitoreo y eventos del sistema de IA.
¿El monitoreo cubre herramientas de IA de proveedores, o solo los sistemas que construiste?
Ambos, ya que un chatbot o copiloto comprado conlleva el mismo riesgo de deriva y mal uso que un modelo propio.
¿Qué pasa cuando se cruza un umbral monitoreado?
Se dispara una respuesta definida, escalada de la misma forma en que se clasifica una alerta de seguridad y se le asigna un responsable.
¿Llevas un registro de las anulaciones humanas de decisiones de IA?
Sí, registros de muestra capturan cuándo el personal corrigió o rechazó un resultado de la IA, junto con la entrada y salida que lo motivaron.
Dónde lo exige la regulación
NIS2 art. 3.2 (Supervisión y registro) exige esto, que en un sistema de IA se extiende a la deriva, el mal uso y la anulación humana, no solo a los eventos de infraestructura.
Pregúntale a Sekura: «¿Qué evidencia demuestra A.6.2.6?»