El Juzgado de Familia, Niñez y Adolescencia de Paso de los Libres (Argentina) ordenó el bloqueo a nivel nacional de una aplicación que genera imágenes sexuales falsas de mujeres utilizando inteligencia artificial. Dictaminó que los actos denunciados afectan gravemente la dignidad e intimidad de las afectadas, configurándose a su juicio un caso de violencia de género. En su decisión, citó una serie de instrumentos normativos nacionales e internacionales que cautelan los derechos de mujeres y menores de edad.
La decisión fue adoptada en el marco de la denuncia que el padre de una joven realizó ante los tribunales. Alegó que a través de WhatsApp se difundieron imágenes editadas con la referida aplicación, que mostraban a su hija adolescente desnuda y en actitudes sexuales, siendo varias las menores afectadas. En virtud de estos hechos, el juez del caso decretó el bloqueo cautelar de la aplicación en cuestión, así como una investigación para establecer responsabilidades.
En su análisis de fondo, el Juzgado observa que, “(…) de acuerdo al informe pericial informático remitido por el Área de Seguridad Informática de la Dirección de Informática, la aplicación cuenta con una naturaleza técnica “que utiliza inteligencia artificial (IA), específicamente modelos generativos avanzados como Redes Generativas Antagónicas (GANs) o modelos de difusión, para modificar digitalmente imágenes de personas. Su función principal consiste en simular la eliminación digital de ropa en fotografías cargadas por los usuarios. Para la Generación de Contenido: la IA produce nuevas imágenes, eliminando digitalmente la ropa y completando visualmente las áreas ocultas con resultados plausibles”.
Agrega que, “(…) en cuanto a las consideraciones Éticas y Legales, refiere que la aplicación presenta serias problemáticas: Violación de privacidad: creación y distribución de imágenes íntimas sin consentimiento explícito. Riesgos de abuso: acoso, extorsión, difusión indebida de imágenes no consentidas. Consentimiento: la aplicación permite la manipulación de imágenes sin autorización explícita, violando la dignidad personal, concluyendo que: la aplicación es una plataforma que utiliza inteligencia artificial para generar imágenes manipuladas simulando desnudez, presentando serios cuestionamientos éticos y legales”.
Comprueba que, “(…) teniendo presente que si bien las imágenes fueron creadas y luego difundidas por Whatsapp –por autor aún no identificado-no es menos cierto que el daño actual y concreto sobre las adolescentes se materializó a través del uso de la mencionada aplicación que facilitó la creación del contenido sexual simulado sin control ni verificación de edad, ni filtros preventivos, permitiendo el uso de imágenes de terceros sin consentimiento. El entorno digital no garantiza barreras efectivas de edad ni consentimiento, lo que expone especialmente a niños y adolescentes a formas modernas de violencia simbólica, digital y psicológica, configurando una situación de alto riesgo que exige medidas cautelares urgentes de protección”.
El Juzgado concluye que, “(…) aquí nos situamos en la competencia propia de esta judicatura y que consiste en un proceso de prevención/protección contra la violencia de género que en el caso particular tiene como destinatarias a adolescentes menores de edad, configurando el plexo normativo de protección de los derechos involucrados: la Convención de los Derechos del Niño, Ley N° 26.061 de Protección Integral de los Derechos de la Niñez y Adolescencia; la Ley N° 26.485 de Protección Integral para prevenir, sancionar y erradicar la violencia contra las Mujeres y en específico la “Ley Olimpia” que incluye a la violencia digital entre las modalidades de violencia contra las mujeres de la Ley 26.485 e incorpora en su objeto el respeto de la dignidad, reputación e identidad, incluso en los espacios digitales”.
Al tenor de lo expuesto, el Juzgado acogió la solicitud y ordenó el bloqueo de la página web denunciada. Del mismo modo, despachó oficios a la unidad de ciberdelitos para iniciar una investigación que permita identificar a los culpables.
Vea sentencia Juzgado de Familia, Niñez y Adolescencia de Paso de los Libres.