Agustina Davis: “Delegar decisiones del Estado a algoritmos sin control humano efectivo pone en riesgo el debido proceso”

Por Lía Amanda Ruiz Jacomino, Universidad Andrés Bello

La incorporación de sistemas automatizados, modelos predictivos e inteligencia artificial en la gestión pública chilena ha avanzado de manera sostenida en los últimos años. Desde la asignación de beneficios sociales hasta procesos de fiscalización y evaluación de riesgos, el uso de algoritmos en decisiones administrativas con impacto directo en los derechos de las personas plantea interrogantes profundas sobre la vigencia real de garantías fundamentales como el debido proceso, la transparencia y la protección de los datos personales.

Este fenómeno, usualmente presentado bajo la narrativa de la eficiencia, la modernización del Estado y la optimización de recursos, ha abierto un debate jurídico de fondo: ¿hasta qué punto puede el Estado delegar funciones decisorias en sistemas automatizados sin afectar principios estructurales del Estado de Derecho? ¿Existe hoy un control humano efectivo sobre estas decisiones? ¿Quién responde cuando un algoritmo discrimina, se equivoca o vulnera derechos fundamentales?

La reciente entrada en vigor de la Ley N° 21.719 sobre protección de datos personales busca corregir un rezago histórico del ordenamiento jurídico chileno, incorporando estándares más exigentes de licitud, transparencia y responsabilidad. Sin embargo, su implementación se produce en un contexto complejo: coexistencia de sistemas automatizados ya en funcionamiento, proveedores tecnológicos que operan como “cajas negras”, y una institucionalidad pública que deberá fiscalizarse a sí misma a través de la nueva Agencia de Protección de Datos Personales.

En este escenario, persisten preguntas clave: ¿puede invocarse el secreto comercial para impedir que una persona conozca las razones de una decisión administrativa que la afecta? ¿Existe un riesgo real de que la protección de datos y el control de la inteligencia artificial queden reducidos a declaraciones simbólicas? ¿El desafío que enfrenta Chile es principalmente normativo o cultural?

Para abordar estas cuestiones, Diario Constitucional entrevistó a Agustina Davis Komlos, abogada, socia de BBD Legal, coordinadora del área de Empresa y Regulación Económica de la Facultad de Derecho UNAB, y especialista en regulación, propiedad intelectual y derecho internacional. En esta conversación, analiza críticamente los riesgos del uso de decisiones automatizadas en el Estado, el alcance real de la Ley 21.719 y los desafíos estructurales que enfrenta Chile para compatibilizar tecnología, poder público y derechos fundamentales.

1. Hoy el Estado adopta decisiones que afectan derechos de las personas mediante sistemas automatizados. ¿No cree usted que estamos delegando funciones decisorias sensibles a algoritmos sin que exista un control efectivo compatible con el debido proceso? ¿Puede hablarse realmente de justicia administrativa en ese escenario?

Efectivamente, existe un riesgo real de delegar funciones decisorias sensibles a sistemas automatizados sin un control humano efectivo. El problema no es el uso de tecnología en sí, sino que ésta se utilice para producir decisiones con efectos jurídicos relevantes sin garantizar estándares básicos del debido proceso, como la motivación, la posibilidad de contradicción y la revisión efectiva. Cuando una persona no puede comprender ni cuestionar la lógica que determina una decisión administrativa, la noción de justicia administrativa se ve seriamente debilitada.

2. En organismos públicos ya se utilizan sistemas automatizados para asignar beneficios, fiscalizar o perfilar riesgos. ¿Dónde ve usted el mayor peligro: en el sesgo algorítmico, en la opacidad tecnológica o derechamente en la ausencia de responsabilidad humana identificable?

Los tres riesgos existen, pero para mí, el más grave es la ausencia de responsabilidad humana identificable. El sesgo y la opacidad pueden y deben corregirse con herramientas técnicas; la falta de un responsable claro, en cambio, erosiona la base misma del Estado de Derecho.

3. Durante años Chile tuvo una legislación de protección de datos claramente rezagada. ¿La Ley N° 21.719 llega a tiempo o estamos nuevamente legislando después de que la tecnología ya desbordó al derecho? ¿Qué fallas estructurales del sistema previo hicieron inevitable esta reforma?

Chile acumuló por años un rezago normativo que permitió prácticas masivas de tratamiento de datos sin controles reales. La reforma era inevitable porque el sistema previo carecía de sanciones efectivas, de una autoridad especializada y de mecanismos claros frente a decisiones automatizadas. El problema ahora no es solo normativo, sino de implementación: una buena ley puede fracasar si no se aplica con convicción.

4. La futura Agencia de Protección de Datos Personales concentrará amplias facultades. Si esta agencia no fiscaliza con firmeza al propio Estado, ¿no corremos el riesgo de que la ley se transforme en una declaración simbólica más que en una garantía efectiva?

Si la Agencia no fiscaliza con la misma severidad al Estado que al sector privado, la ley corre el peligro de transformarse en una declaración simbólica. La credibilidad del sistema dependerá, en gran medida, de que el Estado acepte someterse a control, sanción y corrección cuando vulnera derechos. Sin eso, no hay garantía efectiva, solo retórica regulatoria.

5. En términos de cumplimiento real, ¿quién está hoy más lejos de respetar la protección de datos: el sector público, las grandes empresas tecnológicas o los proveedores que venden “cajas negras” al Estado? ¿Existe una cultura de tolerancia al incumplimiento?

Hoy el mayor déficit está en el sector público y en ciertos proveedores tecnológicos que operan con modelos opacos. Existe una cultura de tolerancia al incumplimiento, especialmente cuando se invoca la eficiencia, la urgencia o la falta de capacidades internas. El problema es estructural: durante años se normalizó tratar datos personales sin gobernanza, sin evaluaciones de impacto y sin rendición de cuentas real.

6. El discurso público suele presentar la inteligencia artificial como sinónimo de eficiencia. ¿No se está usando la IA como excusa para sacrificar garantías básicas, como la explicación de una decisión o la posibilidad real de impugnarla?

Creo que si una tecnología no tiene fundamentos claros ni control, entonces no es compatible con un uso legítimo por parte del Estado, por muy eficiente que sea.

7. Chile discute nuevas leyes sobre inteligencia artificial mientras aún implementa la Ley 21.719. ¿No ve el riesgo de una fragmentación normativa que termine debilitando la protección de derechos en lugar de fortalecerla? ¿Quién debiera liderar esa coordinación regulatoria?

Regular datos personales, inteligencia artificial y automatización en compartimentos estancos puede debilitar la protección de derechos en lugar de fortalecerla. Se requiere coordinación normativa, criterios comunes y una visión sistémica liderada por el Estado, con un rol central de la Agencia de Protección de Datos, en diálogo con otros reguladores y con el poder legislativo.

8. Para cerrar: ¿el problema de fondo en Chile es jurídico o cultural? ¿Seguimos entendiendo la protección de datos como un obstáculo burocrático y no como un límite democrático al uso del poder tecnológico del Estado?

El problema de fondo es cultural. Persistimos en una lógica de cumplimiento formal, donde la protección de datos se percibe como una carga administrativa y no como un límite democrático al ejercicio del poder tecnológico. Mientras no entendamos que controlar la automatización del Estado es proteger la democracia, ninguna ley será suficiente.