Inteligencia artificial agéntica obliga a replantear los controles sobre las decisiones automatizadas

La primera sería la función de proponer. La IA podría entregar ideas, recomendaciones o proyectos, pero esa propuesta no debería convertirse automáticamente en una decisión.

La segunda sería la función de ejecutar. Se refiere a convertir una propuesta en una acción concreta, como enviar una comunicación, modificar un registro o realizar un pago. Tener permiso para preparar una propuesta no debería significar automáticamente tener permiso para ejecutarla.

La tercera sería la función de revisar. Un sistema diferente debería comprobar los antecedentes, las reglas aplicables, la coherencia de la decisión y sus posibles riesgos. Además, debería tener la posibilidad de devolver un caso o detenerlo cuando encuentre un problema.

La cuarta sería la función de guardar información. El sistema debe decidir qué antecedentes conserva y para qué podrán utilizarse después. No debería guardar solamente una conclusión, sino también la información que la respaldó, las posibles objeciones y el nivel de revisión que tuvo.

La quinta sería la función de cambiar las reglas o detener el sistema. Debe existir una persona o autoridad con capacidad real para modificar las instrucciones, los permisos o los criterios utilizados por la IA y, cuando sea necesario, detener su funcionamiento.

Esta última función es especialmente importante. Si la propia IA pudiera cambiar las reglas que la controlan y continuar funcionando sin autorización externa, el control sobre ella sería muy limitado.

El Derecho ya tiene algunas herramientas

Aunque las normas actuales no fueron creadas específicamente para estos sistemas, varias de sus herramientas pueden servir para controlarlos.

Entre ellas están el derecho a defenderse, conocer información relevante, cuestionar una decisión, proteger los datos personales y exigir que cada autoridad actúe dentro de sus facultades.

También existen normas sobre decisiones tomadas de manera automática y nuevas reglas sobre inteligencia artificial que consideran aspectos como la supervisión humana, los riesgos, la transparencia, la responsabilidad y los mecanismos para presentar reclamos.

El desafío consiste en aplicar estas herramientas no solo al resultado final de una decisión, sino también a todo el proceso que llevó hasta ella.

Poder revisar cómo se tomó una decisión

En este contexto, Lerer propone la idea de una “integridad revisable del proceso de decisión”. En términos simples, significa que debe ser posible reconstruir y revisar cómo se llegó a una determinada decisión.

Para ello, debería poder saberse qué información se utilizó, qué instrucciones recibió la IA, qué sistemas participaron, quién estaba autorizado para realizar cada acción y qué controles se aplicaron.

También debe existir una posibilidad real de cuestionar la decisión. La persona afectada debería poder conocer los antecedentes relevantes y plantear sus objeciones.

Además, quien revise el resultado debe tener verdadera independencia y capacidad para cambiarlo. Finalmente, debe existir una persona o autoridad responsable y con facultades para detener el proceso cuando sea necesario.

Que haya una persona supervisando no siempre es suficiente

La sola participación de una persona no garantiza que exista un verdadero control.

Un funcionario que recibe cientos de decisiones elaboradas por una IA, sin tiempo suficiente para revisarlas y sin acceso a la información utilizada, podría terminar aprobándolas automáticamente.

Para que exista una supervisión real, la persona debe saber qué revisar, contar con información suficiente, disponer de tiempo y tener autoridad para modificar o detener la decisión.

Una firma humana, por sí sola, no garantiza que haya existido una revisión efectiva.

La memoria de la IA también debe ser controlada

La información que una IA guarda puede influir en decisiones futuras. Por eso, si una decisión equivocada queda almacenada, puede terminar repitiéndose.

Para evitarlo, debería ser posible saber de dónde provino esa información, qué antecedentes la respaldaron, quién la revisó y si existieron cuestionamientos.

También debería poder identificarse qué decisiones posteriores utilizaron una información que después fue corregida.

Junto con ello, debe existir una forma efectiva de detener un sistema cuando se detecta un problema. Para ello, una persona o autoridad debe tener esa facultad y contar con un mecanismo independiente para hacerlo.

El desafío para el Derecho

El problema que plantea la inteligencia artificial agéntica no consiste solamente en determinar si una respuesta es correcta o incorrecta.

Cuando una IA puede investigar, coordinarse con otros sistemas, ejecutar acciones, guardar decisiones y utilizarlas posteriormente, también es necesario saber quién puede hacer qué, qué información utiliza, quién controla el proceso, quién responde por los resultados y quién puede detenerlo.

Por ello, la propuesta apunta a distribuir las distintas funciones, permitir que las decisiones sean cuestionadas, asegurar una revisión real y establecer responsabilidades claras.

El objetivo final es evitar que una misma estructura pueda proponer una decisión, ejecutarla, demostrar por sí misma que fue correcta y utilizarla después como base para nuevas decisiones.