Ordenan bloquear una web que creaba imágenes íntimas falsas con IA

El Juzgado de Familia, Niñez y Adolescencia de Paso de los Libres dictó este jueves una medida cautelar para proteger los derechos de adolescentes cuyo rostros fueron utilizados sin consentimiento en imágenes creadas por la Inteligencia Artificial (IA) para difundir intimidades.

La medida establecida por la doctora Marta Rut Legarreta regirá hasta tanto se acredite el cese del riesgo de daño, priorizando el interés superior de las adolescentes afectadas.

La medida de protección se dictó en el marco de una causa por vulneración de derechos de adolescentes. La jueza Marta Rut Legarreta ordenó al ENACOM el bloqueo inmediato de un sitio web que estaba siendo usado en territorio argentino. La aplicación utilizaba inteligencia artificial para generar imágenes de desnudez falsas con rostros reales sin consentimiento.

La medida cautelar se enmarca en una causa por vulneración de derechos de adolescentes, tras detectarse que el contenido fue difundido a través de WhatsApp. La aplicación señalada permite manipular fotografías reales, simulando la eliminación de ropa mediante técnicas de IA sin verificar la edad ni consentimiento de las personas involucradas.

Según el fallo, la decisión se mantendrá vigente hasta que se acredite el cese del riesgo de daño, y se apoya en normativas como la Ley Olimpia (N° 27.736), que reconoce la violencia digital como una forma de violencia de género.

Además del bloqueo del sitio, la jueza solicitó al ENACOM la intervención sobre los servidores DNS utilizados por la aplicación y notificó a la Unidad Fiscal Especializada en Ciberdelincuencia (UFECI) para colaborar en la investigación y localización de los responsables.

La magistrada alertó sobre la ausencia de controles en entornos digitales, destacando que “el entorno digital no garantiza barreras efectivas de edad ni consentimiento, lo que expone especialmente a niños y adolescentes a formas modernas de violencia simbólica, digital y psicológica”.

Un informe técnico elaborado por el Área de Seguridad Informática del Poder Judicial de Corrientes, a cargo del licenciado José Nicolás Bruzzo, detalló que la herramienta emplea modelos avanzados de inteligencia artificial, como redes generativas antagónicas (GANs) y modelos de difusión. Estos sistemas permiten la eliminación digital de ropa en imágenes reales, generando contenido manipulado que vulnera la privacidad, dignidad e identidad de las personas.

También se constató que el sitio web carecía de controles de edad, almacenamiento seguro de datos y transparencia sobre sus desarrolladores, agravando los riesgos de abuso, acoso y exposición no consentida.