El lanzamiento de Veo 3 de Google en mayo supuso un gran salto cualitativo en la generación de vídeo con inteligencia artificial, y justamente hoy aterriza en España. Su capacidad para crear clips que a veces cuesta distinguir de los reales abrió un amplio abanico de posibilidades creativas. Sin embargo, como suele ocurrir con este tipo de tecnología, su lado oscuro no ha tardado en manifestarse. Un nuevo informe revela cómo esta herramienta se está utilizando para generar y propagar vídeos racistas en TikTok.
El problema, destapado por un informe de MediaMatters, muestra una preocupante tendencia: numerosas cuentas de TikTok están publicando vídeos cortos generados con Veo 3 que recurren a temas de racismo y odio. Algo que también se refleja en las interacciones que generan.
La mayoría de estos vídeos, con una duración media de ocho segundos y la marca de agua «Veo» visible, muestran principalmente a personas negras, representadas con estereotipos criminales o deshumanizantes. El contenido también ataca a inmigrantes y a la comunidad judía, demostrando lo fácil que puede ser usar esta IA para manipular la realidad.
Saltarse las barreras de seguridad parece demasiado fácil
Desde Google siempre han querido hacer hincapié en la seguridad y los “guardrails” de sus modelos de IA. Esto también ocurre con otros modelos, que cuentan con diferentes filtros para bloquear contenidos que vulneren principios éticos. Pero parece ser que, en el caso de Veo 3, estas defensas son más permeables y han sido sorteadas con facilidad para generar el contenido deseado.
Esto se debe, en parte, a que la IA no ha sido entrenada con todos los estereotipos que se usan en la vida cotidiana para mostrar conductas racistas. Por ejemplo, no comprende la «sutileza» de usar monos para representar personas. Además, la ambigüedad en los prompts que se le introducen permite generar contenido problemático sin activar las alarmas del sistema. Incluso en pruebas externas diseñadas para evaluar estos filtros, se comprobó que era fácil generar ese tipo de vídeos.
Si se revisan las políticas internas de Google y TikTok, queda claro que prohíben expresamente la generación y difusión de contenido de odio. En el caso de TikTok, es tajante: “No permitimos ningún discurso de odio, comportamiento de odio o promoción de ideologías de odio”.
Google también cuenta con una política estricta, pero también ha presentado problemas en su generador de imágenes que cualquier petición que se le hacía acababa generando una imagen de inclusiva y ofensiva.
Pero el problema es que no existen herramientas eficaces para hacer cumplir estas normas a gran escala. Un portavoz de TikTok declaró a Ars Technica que, aunque usan una combinación de tecnología y moderadores humanos, el volumen de vídeos que se suben a la plataforma supera con creces su capacidad de revisión. Afirmaron que más de la mitad de las cuentas investigadas por MediaMatters ya habían sido eliminadas antes de la publicación del informe. El problema es que, antes de ser eliminadas, esos vídeos ya habían acumulado miles de visualizaciones, y sembrado esta semilla en la mente de muchas personas.
Un problema en diversas redes sociales
Este fenómeno no es exclusivo de TikTok. También se han detectado casos similares en X (antes Twitter), una red con una moderación mucho más laxa, donde los bulos circulan sin freno. Encima, con una IA integrada como Grok, que no es capaz de distinguir entre un vídeo real y uno generado por IA, aunque algunos usuarios la utilizan como guía para intentar distinguir lo real de lo artificial.
El mayor temor es que esto sea solo el comienzo. Google tiene planes para integrar Veo 3 directamente en YouTube Shorts. Esta integración podría facilitar aún más la creación y viralización de contenido problemático en una de las plataformas de vídeo más grandes del mundo, poniendo a prueba sus sistemas de moderación como nunca antes.
Imágenes | Solen Feyissa Aaron Weiss
Vía | Ars Technica
–
La noticia
TikTok se llena de vídeos racistas generados con IA: el nuevo desafío que las redes no saben cómo frenar
fue publicada originalmente en
Genbeta
por
José Alberto Lizana
.
