Intervención humana en decisiones automatizadas

¿Qué significa “únicamente automatizada”?

En las Directrices WP251, revisadas por última vez en febrero de 201, se explicó que cuando decimos “únicamente”, hablamos de decisiones en las que no hay ninguna participación humana significativa.

En el caso que un algoritmo clasifique a personas y alguien simplemente hace clic en “aceptar” sin cuestionarlo… eso sigue siendo automatizado. No vale con que un humano esté delante si no tiene capacidad real de cambiar la decisión o de intervenir con criterio.

Para que esa participación sea válida, tiene que haber alguien con la autoridad y el conocimiento necesario para revisar lo que el sistema ha decidido, sopesar datos adicionales y, si hace falta, cambiar la decisión.

¿Cuándo hablamos de una intervención humana significativa?

La realidad es que muchas decisiones automatizadas no lo son al cien por cien. En ocasiones, el sistema ofrece una “recomendación” y, luego, una persona toma la decisión definitiva teniendo en cuenta otros factores. En ese caso, no estaríamos hablando de una decisión puramente automatizada.

Aunque también puede pasar lo contrario. Un ejemplo que da la ICO (la autoridad de protección de datos del Reino Unido): en una fábrica, el sueldo de los trabajadores se calcula automáticamente según su productividad, sin intervención humana. En ese caso, sí estaríamos ante una decisión automatizada según el artículo 22 del RGPD.

La sentencia del TJUE de 7 de diciembre de 2023 (asunto C-634/21, “SCHUFA”) también lo indica: incluso cuando un sistema genera un valor de riesgo y ese valor se transmite a otro responsable que luego decide basándose en él… eso sigue siendo una decisión automatizada.

¿Cómo saber si hay verdadera supervisión humana?

Para evaluar la intervención humana no basta con revisar el sistema: hay que revisar todo el contexto. ¿Quién participa? ¿Cuándo? ¿Con qué margen de maniobra? Estas son algunas claves que pueden ayudarte a entender si esa participación es significativa:

Competencia y autoridad

La persona tiene que tener realmente la posibilidad de modificar la decisión automatizada.

Ejemplo: En el supuesto de un informe sobre un recluso que solicita libertad condicional. El sistema genera un riesgo de reincidencia. Un funcionario de prisiones puede leerlo, sí… pero no tiene autoridad para cambiar nada. La decisión está en manos del juez. Ahí, la intervención del funcionario no cuenta como significativa.

Preparación y formación

La persona que supervisa debe entender tanto el sistema como el contexto. No basta con “estar formado”: tiene que tener conocimientos aplicables y específicos.

Otro ejemplo se daría ante un diagnóstico médico automatizado, debe intervenir un profesional de la especialidad. No puede ser una personas sin la formación adecuada. Y debe ser capaz de analizar el caso con ojo crítico, entender cómo funciona el sistema y detectar sus limitaciones.

Independencia y diligencia

¿La persona puede realmente ejercer su criterio sin presiones? A veces, ni siquiera hace falta una orden directa: basta con que el entorno desincentive cuestionar al sistema.

Ejemplo: Si en una empresa se ha invertido mucho dinero en un sistema automatizado, puede que nadie se atreva a ponerlo en duda. O quizá las personas encargadas de supervisar evitan hacerlo para no complicarse. También puede operar el sesgo de automatización, ese impulso de asumir que “el sistema no se equivoca”.

Por eso, la supervisión debe ser revisada de forma continua. Y a veces, lo mejor es que no recaiga en una sola persona.

Medios para ejercer su competencia

Aquí se pone en valor los recursos, los tiempos y los procedimientos.

Procedimientos claros y efectivos:

La persona tiene que poder intervenir antes de que la decisión afecte al individuo. Si el sistema actúa en segundos —como al denegar el acceso a un avión, un concierto o una app de salud— puede que el tiempo para actuar sea simplemente insuficiente.

Información completa y comprensible:

No basta con saber qué decidió el sistema. También hay que determinar cómo y por qué. Eso incluye los datos usados, los criterios aplicados, las limitaciones del sistema, e incluso los factores contextuales que no fueron considerados.

Herramientas y apoyo adecuado:

No todas las decisiones son comprensibles a simple vista. A veces se necesita software específico, visualizaciones o ayuda técnica para analizar los resultados de forma crítica.

Fuente: AEPD

Nos encontramos ante el reto de adaptar las decisiones cada vez más automatizadas, para que cumplan con el Reglamento General de Protección de Datos, y mantengan los derechos de los ciudadanos a salvo.

En Forlopd nuestro compromiso se enfoca en cumplir con las normativas con tal de proteger la información de las empresas de cualquier posible sanción administrativa. Puedes solicitar más información a través de nuestro formulario de contacto.