Lo que pide un auditor, o el motor de evidencias de Sekit.
Evaluación de impacto de sistemas de IA
El procedimiento para evaluar el impacto de un sistema de IA antes de usarlo y cuando cambia de forma importante, más las evaluaciones ya hechas: a quién puede afectar, qué riesgos y efectos más amplios tiene, y quién aprobó la decisión.
Del catálogo de evidencias de Sekit
En la práctica
Este control plantea una pregunta más específica que una revisión de riesgo general: si el sistema de IA podría tratar peor a algunas personas que a otras, o excluir a quienes debería servir. Una IA de selección de personal o un chatbot de atención al cliente necesita que alguien revise a quién afecta, si los resultados difieren entre grupos, y si alguien con discapacidad o con dominio limitado del idioma queda en desventaja. Esto pertenece a la evaluación de impacto del sistema de IA. Los auditores piden un ejemplo concreto: si alguien verificó si el modelo del proveedor trata distinto a hablantes no nativos o a solicitantes de mayor edad.
Brechas habituales
La evaluación de impacto pregunta por el riesgo de datos pero nunca pregunta si la IA trata distinto a diferentes grupos de personas.
Nadie consideró la accesibilidad, si las personas con discapacidad pueden usar el sistema de IA o si este las evalúa de forma justa.
La revisión de impacto se hizo para el caso de uso principal pero no para un grupo secundario también afectado por la herramienta, por ejemplo solicitantes frente a empleados.
Preguntas que hará tu auditor
¿Evaluaste si el sistema de IA afecta de forma distinta a diferentes grupos de personas?
Sí, la evaluación de impacto incluye una sección sobre efectos diferenciales y de accesibilidad para la población realmente afectada por el sistema.
¿Quiénes son las personas o grupos afectados por este sistema de IA en concreto?
Aparecen nombrados en el registro de la evaluación: por ejemplo solicitantes, clientes o empleados, según para qué se use el sistema.
¿Qué hiciste cuando se identificó un posible efecto injusto?
El hallazgo y la mitigación, o la decisión de seguir adelante igual con su justificación, quedan registrados en la evaluación.
¿Esto cubre accesibilidad, no solo equidad entre grupos demográficos?
Sí, la evaluación considera si las personas con discapacidad pueden usar el sistema o si son evaluadas por él en igualdad de condiciones.
Dónde lo exige la regulación
El artículo 35.7 del RGPD exige que la evaluación de impacto describa los riesgos evaluados para los derechos de las personas afectadas, lo que en IA incluye el impacto diferencial.
Controles relacionados
Vía el tema compartido del Sekit CSF, no el índice del propio marco.