La UE investiga a Grok, la IA de Elon Musk, por los deepfakes sexuales

La Unión Europea se suma al creciente escrutinio regulatorio global de la capacidad que tiene Grok para crear deepfakes sexuales.

La Comisión Europea, brazo ejecutivo de la UE, lanzó una investigación formal de X bajo la ley de Servicios Digitales, que regula las plataformas digitales con el fin de reducir el contenido dañino en Internet.

“Los deepfakes sexuales de mujeres y niños son una forma violenta e inaceptable de degradación”, dijo la vicepresidente de soberanía tecnológica, seguridad y democracia de la Comisión Europea, Henna Virkkunen, en un comunicado de prensa.

En el mes de diciembre los usuarios de X hallaron un nuevo uso favorito de la función de chatbot de la plataforma, Grok: desvestir las fotos de mujeres y niños sin consentimiento. Musk y su equipo no reaccionaron a tiempo ante el incidente. Y el mismo Musk reposteó imágenes generadas por Grok en su cuenta personal, mofándose de la preocupación de sus críticos.

En respuesta hubo jurisdicciones de todo el mundo que empezaron a investigar formalmente la plataforma. En Indonesia, Filipinas y Malasia, Grok se prohibió este mes debido a este problema, aunque Filipinas y Malasia restauraron el acceso después de que la compañía prometiera mayores medidas de seguridad. Reino Unido y California también iniciaron investigaciones formales este mes, en tanto que Australia expresó su preocupación y Brasil le dio a xAI 30 días para que dejaran de circular los deepfakes sexuales.

En respuesta al creciente escrutinio, la compañía anunció este mes que implementaría medidas técnicas para que los usuarios no puedan solicitar “imágenes de personas reales en ropa reveladora como las bikinis”, y que limitaría la generación y edición en la cuenta de Grok de los suscriptores de pago. Las pruebas de la app de Grok mostraron que sigue respondiendo a la solicitud de desvestir a la gente que aparece en fotografías.

Bajo escrutinio

La investigación de la UE analizará si X ha estado evaluando y mitigando los riesgos de Grok de manera adecuada.

“Con esta investigación determinaremos si X cumple con sus obligaciones legales bajo la ley de servicios digitales o si trata los derechos de los ciudadanos europeos – incluyendo los de mujeres y niños – como daño colateral de su servicio”, dijo Virkkunen.

En paralelo a esta nueva investigación, la Comisión también amplía una investigación anterior a los sistemas de recomendación de X, que presentan nuevo contenido a los usuarios. Se reveló hace poco que también ese sistema está basado en Grok.

Además, la comisión multó a X con unos US$140 millones el mes pasado por el diseño engañoso de sus tildes azules y la falta de transparencia con las publicidades.

La UE seguirá recabando evidencia y podría imponer medidas internas si determina que X no está cooperando. Pero aunque Grok quede bajo control por acción regulatoria global, falta mucho todavía para que se resuelva el grave problema de la pornografía deepfake no consensuada que a menudo afecta a mujeres y  niños.

Casi todos los generadores de deepfakes ofrecen generación de videos de alta calidad y hasta algunos ponen una lista de situaciones sexuales para usar de fondo con las falsas imágenes, según demostró un trabajo de WIRED de 50 sitios web de deepfakes. El problema también está presente en Telegram, según WIRED, donde hay más de 1,4 millones de cuentas registradas en 39 bots y canales creadores de deepfakes.