Google ha presentado una nueva herramienta de detección para mejorar la seguridad y precisión en la identificación de contenido digital.
Relacionados
La capacidad de diferenciar el contenido real del generado por IA se vuelve crucial a medida que crece la cantidad de contenido producido por modelos avanzados de lenguaje.
Una nueva tecnología de marca de agua invisible
Este mes, Google anunció la prueba beta de SynthID, una tecnología que inserta una marca de agua digital invisible al ojo humano en todo contenido generado con sus modelos de IA Gemini. Esta herramienta permite identificar el origen del contenido mediante un escaneo, verificando si fue producido con IA.
SynthID no solo etiqueta el contenido de manera imperceptible, sino que también ofrece a los usuarios y desarrolladores la posibilidad de comprobar su autenticidad en imágenes, videos, audios y textos, facilitando el trabajo de detección de desinformación y deepfakes.
Colaboración con desarrolladores y código abierto
Además, Google ha puesto a disposición esta tecnología de forma gratuita para que los desarrolladores puedan integrarla en sus propios modelos de lenguaje generativo. A través de su plataforma de código abierto Google Responsible Generative AI Toolkit, y en colaboración con Hugging Face, los desarrolladores pueden implementar esta tecnología y contribuir a la creación de aplicaciones de IA más seguras.
¿Cómo funciona SynthID?
En un análisis técnico publicado en la revista Nature de octubre de 2024, se detalla el funcionamiento de SynthID. De manera resumida, cuando un modelo de lenguaje grande (LLM) responde a una consulta, el modelo asigna valores de probabilidad invisibles a cada palabra potencial que puede elegir, formando así la marca de agua digital.
Cada respuesta generada por el modelo, ya sea en texto corto o extenso, recibe una marca única basada en los patrones de probabilidad ajustados, que aumentan la precisión y robustez de SynthID con la longitud del contenido.
Opinión de expertos sobre la tecnología SynthID
El Dr. Peter Slattery, investigador del MIT FutureTech, resaltó la importancia de esta tecnología. Según él, herramientas como SynthID son urgentes para proteger la integridad de la información en línea y reducir el uso indebido de contenido generado por IA, como en el caso de los deepfakes y la desinformación.
No obstante, Slattery advirtió sobre la posibilidad de que algunos patrones de marca de agua digital, similares al de SynthID, podrían ser manipulados o falsificados. “Debemos ser cautelosos para asegurar que las marcas de agua sean resistentes a manipulaciones”, expresó. Si bien la tecnología es un avance importante, la capacidad de falsificar marcas podría generar un falso sentido de seguridad.
Limitaciones de SynthID y desafíos futuros
A pesar de las fuertes capacidades de detección de SynthID, los investigadores de Google reconocen que esta tecnología no es una solución definitiva. Entre las limitaciones, señalaron la vulnerabilidad a ataques de falsificación y edición, como el parafraseo de texto a través de modelos de lenguaje que podrían debilitar o eliminar las marcas.
Google está consciente de estos desafíos y planea seguir investigando para mejorar la robustez de SynthID, garantizando que pueda adaptarse a los continuos avances en la generación de contenido por IA.