La versión completa y en inglés de este ensayo abreviado se puede consultar aquí.
Suscríbete aquí al nuevo boletín informativo del Brennan Center en español
En agosto de 2023, la firma encuestadora YouGov le preguntó a la población estadounidense qué tan preocupada estaba por las distintas consecuencias que pueden surgir de la inteligencia artificial (IA). La gran mayoría, el 85 por ciento de las personas encuestadas, respondió que estaba “muy” o “bastante preocupada” por la propagación de videos y audios ultrafalsos o deepfakes.
Sin embargo, el problema es que esa preocupación por los contenidos ultrafalsos acarrea un riesgo intrínseco: cualquier figura pública o parte interesada sin escrúpulos puede usar esta mayor conciencia para afirmar falsamente que un audio o video legítimo fue generado artificialmente y, por lo tanto, es falso.
Los profesores de derecho Bobby Chesney y Danielle Citron llaman a este fenómeno liar’s dividend o “el dividendo del mentiroso” en español. Chesney y Citron postulan que el mentiroso que desea evadir su responsabilidad se volverá más creíble, a medida que el público conozca más sobre las amenazas que plantean los contenidos ultrafalsos.
La teoría es simple: cuando la gente vea que los contenidos ultrafalsos son cada vez más realistas, la falsa alegación de que un contenido real fue generado por IA también se vuelve más convincente.
Este ensayo explora las motivaciones y desmotivaciones de cualquier persona que quiera presentar este tipo de mentiras, a fin de comprender mejor las situaciones en las que se podría afirmar falsamente la artificialidad de algo real, y presenta las intervenciones que pueden reducir la efectividad de esas alegaciones.
Se prevé que la dirigencia política continúe usando la amenaza de los contenidos ultrafalsos como una forma de evadir su responsabilidad por hechos reales, pero esta realidad no tiene por qué derribar las bases epistémicas de la democracia. Establecer normas en contra de estas mentiras, seguir desarrollando y diseminando tecnologías para determinar la procedencia de los contenidos audiovisuales y reforzar la capacidad del público de discernir la verdad son todas técnicas que pueden mitigar los beneficios de la mentira y, así, reducir los incentivos para hacerlo.
Claro que la dirigencia política, en cambio, podría hacer uso de alegaciones menos contundentes y hacer comentarios indirectos para sembrar la duda en lugar de negar rotundamente una verdad, o bien dejar que sus representantes presenten alegaciones directas o indirectas en su nombre. Pero estas tácticas también pueden ser mitigadas por las mismas intervenciones antes mencionadas.
Los contenidos ultrafalsos en la política
La manipulación de contenidos audiovisuales no es ninguna novedad, pero los avances en el aprendizaje profundo (deep learning) han generado herramientas que cualquiera puede utilizar para producir contenidos ultrafalsos con rapidez y a un muy bajo costo.
La investigadora Shruti Agarwal y sus coautores escriben sobre tres enfoques comunes de producción de videos ultrafalsos: cambio de rostro, sincronización de labios y teatro de títeres. En un cambio de rostro, el rostro de una persona en un video se cambia por el de otra. En una sincronización de labios, los movimientos de la boca de una persona se alteran para que se correspondan con otra grabación de audio. Y en un contenido ultrafalso al estilo de un teatro de títeres, se realiza la animación de la persona objetivo con un actor frente a una cámara. Los contenidos ultrafalsos solo de audio, que no tienen ningún elemento visual, también se están volviendo más prevalentes.
Si bien este ensayo no tiene como objetivo realizar una revisión de la literatura técnica sobre este tema, basta con indicar que las innovaciones técnicas están produciendo contenidos ultrafalsos más capaces que nunca de engañar al público. No todos los contenidos ultrafalsos serán convincentes; en muchos casos, no lo serán. Pero se han utilizado contenidos ultrafalsos con éxito para realizar estafas bancarias y exigir el rescate de familiares supuestamente secuestrados.
Los contenidos ultrafalsos han tomado impulso también en la esfera política. En septiembre de 2023, se hizo viral un clip de audio falso en el que se oía a Michal Šimečka, líder del partido político Eslovaquia Progresista pro Europa y Norteamérica, decirle a un periodista cómo pensaba manipular las elecciones de su país.
También han circulado contenidos ultrafalsos sobre el presidente Joe Biden, el expresidente Donald Trump y otros líderes políticos de los Estados Unidos. Se están realizando esfuerzos de gran envergadura para rastrear el uso de contenidos ultrafalsos —como la Base de datos de incidentes sobre IA y el sitio web Contenidos ultrafalsos en las elecciones presidenciales de 2024— y, sin duda, seguirán creciendo, a medida que aumentan los casos y progresan las investigaciones.
Aparece el dividendo del mentiroso
Los contenidos ultrafalsos amplifican la incertidumbre. Es decir, es inherente que la gente pueda terminar cuestionando la veracidad de los acontecimientos que ven en cualquier video, lo cual puede reducir la aceptación de nueva información verdadera.
De hecho, de acuerdo a una noticia reciente sobre la guerra entre Israel y Hamas, la “mera posibilidad de que puedan circular contenidos generados por IA está haciendo que la gente ignore imágenes, videos y audios reales por considerarlos falsos”.
En un mundo donde los contenidos ultrafalsos sean prevalentes y la incertidumbre se extienda, cualquier figura pública o persona privada puede capitalizar esa incertidumbre para sembrar la duda sobre audios o videos reales y posiblemente beneficiarse del dividendo del mentiroso.
En los tribunales de justicia, se ha intentado utilizar la llamada “defensa ultrafalsa”, en la que se afirma que una evidencia audiovisual real contra una persona demandada o acusada es falsa.
Guy Reffitt, presunto miembro de una milicia antigobierno, fue acusado de haber llevado un revólver durante los disturbios del 6 de enero de 2021 en el Capitolio y atacado a autoridades del orden público; su abogado afirmó que la evidencia de la fiscalía era contenido ultrafalso. Del mismo modo, el equipo de abogados de Tesla alegó que los comentarios que hizo Elon Musk sobre la seguridad de sus vehículos autónomos no debían emplearse como evidencia ante la justicia porque podían ser contenidos ultrafalsos.
Se han realizado alegaciones parecidas en el mundo de la política. En julio de 2023, el periodista Nilesh Christopher publicó un artículo sobre un caso en el que un político de India insistía en que los audios vergonzosos publicados de su voz habían sido generados por IA, aunque varios equipos de investigación estuvieron de acuerdo en que al menos uno de esos audios era auténtico.
La próxima sección se basa en la literatura académica existente sobre el tema e intenta responder cómo se desarrollaría un dividendo del mentiroso durante la próxima contienda presidencial en los Estados Unidos (o en las elecciones de cualquier otra democracia).
Cómo se utiliza el dividendo del mentiroso
Numerosas referencias al dividendo del mentiroso describen una situación en la que una figura pública intenta detener el daño a su reputación por algún audio o video real que se hace público y, para eso, afirma falsamente que ese contenido fue generado por IA (y, por lo tanto, es falso).
Veamos un ejemplo de cómo podría ocurrir esto en la política: consideremos el video, ahora infame, del programa Access Hollywood que salió a la luz en octubre de 2016. En el clip, el entonces candidato presidencial Trump hace alarde de cómo manosea y besa a las mujeres sin su consentimiento. Trump se disculpó algunas horas después de que el video salió publicado, pero al año siguiente sugirió, según se pudo saber, que ese clip no era auténtico. Si apareciera un clip parecido en 2024, resulta fácil imaginar una situación en la que un candidato intente rechazarlo y decir que fue generado por IA desde el primer momento.
Que un candidato o una candidata niegue falsamente la veracidad de un contenido real diciendo que fue generado por IA podría muy bien ser la forma que tome el dividendo del mentiroso durante las elecciones futuras. Pero también podría surgir una gama mucho más amplia de situaciones. Tanto la persona que hace la afirmación falsa como el contenido específico de su afirmación podrían adoptar diferentes formas.
Claro que podría ser el mismo candidato político quien niegue la veracidad de un contenido perjudicial para su imagen diciendo que fue generado por IA. Pero también podrían hacerlo las personas que tienen una relación de representación establecida (como su personal de campaña), otras personas partidarias o hasta voces no afiliadas o anónimas que quieran ayudar al candidato en cuestión. Cuando aparecen videos o audios comprometedores, sería un momento lógico para reclutar a personas que puedan validar y defender al candidato en público.
Desde la perspectiva de quienes quieran publicar mentiras, la tarea de decidir quién entrega el mensaje falso de que un contenido real fue generado por IA implica considerar los pro y los contra. Por un lado, el candidato podría beneficiarse al afirmar la artificialidad de un contenido real directamente sin depender de intermediarios.
Dado su alto perfil, negar un contenido dañino personalmente podría permitirle maximizar la atención pública y la exposición en los medios y mantener su viabilidad electoral, en especial si el contenido es muy perjudicial. Por otro lado, la negación directa por parte del candidato trae consigo el riesgo de enfrentar un contraataque a su reputación si se refuta su mentira.
En cambio, depender de un representante oficial o extraoficial para repudiar un material incriminatorio podría mitigar ese riesgo: si se confirma la autenticidad del contenido y el candidato no lo negó personalmente, entonces no sería tan probable recibir un ataque a su reputación por haber intentado capitalizar el dividendo del mentiroso.
Que lo haga alguien sin ninguna conexión oficial con el candidato maximizaría esta posible negación y podría ser muy útil cuando se trata de un acontecimiento grabado donde pudo haber testigos oculares (lo cual aumenta las probabilidades de que se descubra la mentira).
Cómo modificar el cálculo del candidato
¿Cuándo quisiera sacar provecho un candidato político —ya sea personalmente o a través de sus representantes— del dividendo del mentiroso? Qué tanto se beneficiaría al afirmar falsamente que un audio o un video real fue generado por IA depende de la consideración de varios factores, como los métodos sociales y técnicos para distinguir entre un contenido generado por IA y otro auténtico; las percepciones del público sobre las capacidades de la IA; la confianza del público en quienes afirman que el contenido fue generado por IA y la probabilidad de que el candidato reciba un contraataque si no le creen la mentira.
Métodos de detección
Los detectores de contenidos ultrafalsos no bastan para desmentir una alegación falsa de artificialidad, pero las normas mejoradas de procedencia de contenidos podrían hacer estas mentiras menos creíbles.
Cuando un acontecimiento tuvo muchos testigos oculares o si ocurre en una circunstancia difícil de desmentir, como durante un debate o una ronda de prensa, puede ser fácil obtener la evidencia para refutar las afirmaciones de artificialidad. Pero, cuando el momento fue capturado por una o pocas personas, el candidato o la candidata puede preguntarse si es que pueden refutar la prueba. La promesa más lógica es que la IA pueda venir a salvarnos de sí misma.
Imaginemos modelos de detección de IA que puedan identificar contenidos ultrafalsos con una precisión perfecta. Así, quien quiera mentir sobre un contenido ultrafalso tendría muy poco margen de acción. Por ejemplo, si una parte interesada alega que un video auténtico de un candidato fue generado por IA, cualquiera que lo dudara podría colocar ese contenido en un modelo de detección. El modelo de detección no lo identificaría como generado por IA y, entonces, la falta de uno positivo sería una prueba determinante de la mentira. Sin embargo y por desgracia, no existen estas pociones mágicas.
Las investigaciones sobre detectores de contenidos ultrafalsos mediante IA han producido niveles de precisión asombrosos de más del 90 por ciento, cuando se estudian datos de contenidos ultrafalsos confirmados. Pero hay muchas salvedades.
En primer lugar, los detectores entrenados para identificar contenidos ultrafalsos generados con los métodos existentes de hoy en día serán menos efectivos para aquellos generados mediante técnicas más nuevas. Los generadores de contenidos ultrafalsos también pueden agregar en las imágenes y videos ediciones especialmente elaboradas que, aunque sean imperceptibles para el ser humano, pueden engañar a los detectores automáticos de contenidos ultrafalsos.
Estos juegos del gato y el ratón, en los que las técnicas más nuevas dificultan la detección de contenidos ultrafalsos hasta que se mejoren los métodos de detección, probablemente continúen durante varios años.
Aun cuando no se pueda detectar tan solo un pequeño porcentaje de contenidos ultrafalsos, el cálculo quizá siga estando del lado de quienes mienten. Muchos contenidos ultrafalsos podrían ser bloqueados por las plataformas de hosting, rechazados por los medios de comunicación o desacreditados por observadores imparciales, pero algunos se nos escaparán.
Esos podrían sembrar tanta duda sobre las herramientas de detección que es posible que no se pueda desmentir a un actor inescrupuloso que realice una afirmación falsa de artificialidad. Solo porque algo no se haya identificado como contenido ultrafalso no necesariamente significa que sea auténtico.
Si bien los detectores de contenidos ultrafalsos aún no brindan, por sí solos, la suficiente confianza como para disuadir una mentira posible, la detección no es la única defensa técnica. Una alternativa más prometedora que comprobar que un video es falso es probar que es auténtico, y ya se han puesto en marcha iniciativas para diseñar herramientas que lo posibilitan.
Por ejemplo, las cámaras de autenticación ahora pueden diseñarse de modo que coloquen firmas inviolables en los metadatos de una imagen o video en el momento de su generación. Esta firma podría registrar cuándo y dónde se tomó la imagen, por ejemplo.
Algunas implementaciones incluso pueden realizar pruebas y confirmar que una imagen se produjo mediante una fuente de luz y no mediante capturas de pantalla u otras fotografías.
En este caso, cualquier cambio, como la reducción del tamaño de la imagen o su nivel de brillo, modificaría o eliminaría la firma original y así se revelaría que la imagen o el video fue modificado. Este método requiere muy poca tecnología nueva; el principal reto es fomentar su adopción. Debe haber una implementación universal en toda la cadena de entidades en la que se transmite un contenido (por ejemplo, el navegador web, la plataforma de redes sociales) para retener la información de su procedencia.
La Coalición para la Procedencia y Autenticidad de Contenidos (C2PA) ha presentado un estándar abierto que promueven la Iniciativa de Autenticidad de Contenidos (CAI) y el Project Origin. Juntos, estos grupos están compuestos por muchas de las partes interesadas más importantes que se necesitarían para lograr tener un estándar mundialmente aceptado: compañías creadoras de imágenes como Canon, Leica, Nikon y Truepic; compañías informáticas como Adobe y Microsoft; y medios de comunicación como Associated Press, la BBC, el New York Times y el Wall Street Journal.
Para acontecimientos de alto perfil (es decir, sobre los que un candidato o una candidata mentiría), estas organizaciones tienen tanto el ímpetu como la tecnología para comprobar si su contenido es genuino. Pero la autenticación será más problemática cuando se trate de imágenes, videos o audios capturados por quienes aún no han adoptado esta tecnología.
La tecnología para la detección y procedencia de los contenidos está avanzando, pero su implementación a gran escala requerirá tiempo, al igual que llevará tiempo cultivar la confianza de la audiencia en los expertos y sus herramientas para disuadir posibles mentiras o sorprender a las personas responsables en el acto.
Percepciones del público sobre las capacidades de la IA
Reforzar la capacidad del público de discernir la verdad y ayudarle al electorado a identificar las afirmaciones falsas de artificialidad puede reducir el incentivo de la mentira. Los medios de comunicación deberían prepararse para saber cómo responder ante situaciones de incertidumbre, educar a la audiencia sobre el dividendo del mentiroso y evitar exagerar la amenaza de la IA.
Desde la perspectiva de quienes quieran publicar mentiras, los beneficios de afirmar falsamente que un contenido fue generado por IA dependerán de cuánto la gente se vaya a creer la mentira o no. En última instancia, identificar y rastrear mecanismos como las ya descritos ayudarán enormemente a disminuir la credibilidad de esas afirmaciones falsas, pero reforzar la capacidad del público y de los medios de comunicación de discernir —más allá de tener un mero escepticismo— entre los contenidos ultrafalsos y los genuinos también reduciría el dividendo del mentiroso.
En primer lugar, cabe señalar que el ser humano (incluso hoy en día) suele detectar correctamente los contenidos ultrafalsos generados por IA. En un estudio realizado en 2022, se presentaron videos auténticos y ultrafalsos a 15,000 participantes y se les pidió que identificaran cuál era cuál. El equipo de investigadores descubrió que los índices de precisión de las personas eran similares a los de los principales modelos de detección que utilizan visión artificial. La verdad es que muchos contenidos ultrafalsos son defectuosos y fáciles de detectar para el ser humano.
De todas formas, la capacidad de las personas de detectar contenido generado por IA no debe pensarse como una red de protección. El mismo estudio reveló que, en algunos pares de videos, menos del 65 por ciento de las personas participantes pudo identificar correctamente cuál era el generado por IA.
En adelante, será fundamental efectuar investigaciones que fortalezcan el discernimiento de la verdad. La distinción entre el escepticismo y el discernimiento de la verdad es simple, pero importante. A modo de ejemplo, preguntémonos si el público en general puede reconocer una noticia falsa online. Si a la gente se le dice que, por lo general, la información que se ve online es falsa y no confiable, es posible que sean más capaces de catalogar la información errónea que ven online como una noticia falsa.
Pero la gente también puede volverse más escéptica ante todo tipo de contenido online y entonces más propensa a clasificar una información verdadera como falsa. Todo esfuerzo que busque combatir la desinformación debería focalizarse en reforzar el discernimiento de la verdad y no simplemente fomentar el escepticismo.
Una dirección valiosa que deberían tomar las siguientes investigaciones es cómo educar mejor a la audiencia sobre los contenidos ultrafalsos de modo que se promueva el discernimiento de la verdad sin aumentar el escepticismo en general. Cualquiera puede aprender a detectar los signos más comunes de artificialidad, pero esos signos se vuelven menos confiables a medida que mejora la tecnología.
Otra táctica que vale la pena mencionar sería educar al público sobre la lógica detrás del dividendo del mentiroso para que la gente sea menos propensa a aceptar una posible mentira literalmente y sin sentido crítico. Otra técnica debería ser incorporar la lectura lateral en los esfuerzos de alfabetización digital para reforzar el hábito de revisar el contenido que se lee en otras fuentes confiables.
Los medios de comunicación deben desempeñar un rol fundamental en estos esfuerzos. Además de saber cómo responder ante información hackeada y desinformación, deben preparar al público para la posibilidad de que un candidato político alegue que un contenido fue generado por IA, antes de que surjan estas alegaciones. También deberían elaborar planes para saber cómo informar sobre las alegaciones de que un contenido fue generado por IA en los casos en que no se conoce la veracidad del material.
La confianza del público en el mensajero
La probabilidad de que el público crea en las alegaciones falsas de artificialidad dependerá de quiénes publican el audio o el video en cuestión, quiénes afirman su artificialidad y qué contiene el material.
Los medios de comunicación deberían ser muy cuidadosos de no publicar contenidos ultrafalsos por accidente, ya que ello podría aumentar la confianza del público en cualquier alegación posterior de que un contenido verdadero es falso.
Sin embargo, el problema es que la confianza en los diferentes medios de comunicación de los Estados Unidos ya está muy polarizada. Para minimizar los beneficios de afirmar falsamente que un contenido real es falso, los medios de comunicación deben verificar con detenimiento los materiales de audio y video para evitar la publicación inintencionada de contenidos ultrafalsos. Publicar materiales que después se confirman como un contenido generado por IA puede darles crédito a quienes luego denuncian falsamente que un nuevo contenido del mismo medio de comunicación también fue generado por IA.
La probabilidad de un contraataque
Establecer normas más estrictas contra toda alegación falsa de que un contenido real fue generado por IA podría ayudar a responsabilizar a quienes mienten.
Activistas, líderes intelectuales y otros integrantes del público deberían establecer normas en torno al uso aceptable de la IA en la política y expresar sus críticas cuando un candidato político no las cumple.
Este tipo de normas podría transmitir una importante señal para las autoridades públicas electas; cómo mínimo, estas normas podrían disminuir los beneficios de la mentira. Estas normas podrían adoptar diversas formas: los principales partidos políticos podrían comprometerse a retirar su apoyo a cualquier candidato que realice alegaciones falsas intencionadas de que un contenido verdadero es falso porque fue generado por IA; la ciudadanía podría expresar su desaprobación directamente; o un grupo de líderes intelectuales o donantes importantes podría comprometerse a denunciar a candidatos que declaren falsamente que un contenido verdadero fue generado por IA.
Es muy probable que cualquiera de estas medidas, si se toman de forma aislada, no altere mucho el cálculo de quienes mienten. Pero, si se toman en conjunto, podrían ayudar a instituir normas de desaprobación antes de que las alegaciones falsas de artificialidad se arraiguen aún más.
Es casi seguro que un gran número de candidatos y candidatas, autoridades del sector público y sus representantes utilicen las últimas innovaciones en la tecnología de la IA para denunciar falsamente que un acontecimiento real nunca ocurrió.
Esa realidad no tiene por qué implicar que puedan evadir su responsabilidad. Tomar medidas proactivas para mejorar los métodos de detección, rastrear los contenidos auténticos, preparar al público para que sepa cómo rechazar las alegaciones falsas de artificialidad y elaborar normas potentes en contra de estos engaños puede ayudarnos a preservar las bases epistémicas sobre las que descansa nuestra democracia.
Josh A. Goldstein es investigador fellow del Centro para la Seguridad y la Tecnología Emergente (CSET) de la Universidad de Georgetown, donde trabaja en el proyecto sobre IA y ciberseguridad CyberAI Project.
Andrew Lohn es investigador fellow sénior del centro CSET y director de tecnología emergente dentro del personal del Consejo de Seguridad Nacional de la Oficina Ejecutiva del Presidente, en el marco de un acuerdo celebrado con el CSET bajo la Ley de Personal Intergubernamental (IPA).
Lohn finalizó este ensayo antes de comenzar a trabajar en el Consejo de Seguridad Nacional. Las opiniones aquí expresadas son propias del autor y no necesariamente reflejan las perspectivas de la Casa Blanca ni de la administración Biden.
Traducción de Ana Lis Salotti.
