No estaba seguro de si mis padres notarían que la voz al otro lado de la línea no era la mía, o que era mía, más o menos, pero no lo era. a mí. La voz saludó, le preguntó a mi papá cómo estaba y volvió a preguntar cuando no respondió lo suficientemente rápido. “¿Qué es eso, Gaby?” Se dio cuenta de que algo andaba mal casi de inmediato. Le expliqué que había intentado engañarlo y claramente no había funcionado. “No fue así”, dijo. «Parecía un robot».
No fue un experimento perfecto. Mis padres estaban fuera del país, lo que hizo que la conexión fuera de mala calidad. Estaban almorzando con amigos y la voz no podía soportar las interferencias ni los retrasos en el audio: intentaba llenar los silencios. Y lo más importante, la voz sonaba humana, pero no parecía mía.
La voz fue generada por la empresa de detección de deepfake Reality Defender. El problema de los medios manipulados no es nuevo, pero la llegada de herramientas de inteligencia artificial para el consumidor ha hecho que la creación de audio, video e imágenes falsas sea esencialmente sencilla, y en los últimos años han surgido varias empresas para combatirlo. Reality Defender, Pindrop y GetReal son parte de una industria artesanal de detección de deepfake en rápido crecimiento valorada en aproximadamente 5.500 millones de dólares en 2023. Estas nuevas empresas utilizan el aprendizaje automático para identificar medios manipulados. Para luchar contra los deepfakes, debes poder hacerlos.
El término «deepfake» se refiere a un tipo específico de medio manipulado que se ha generado con aprendizaje «profundo», pero aparte de la forma en que se crean, no hay ningún punto en común que una a todos los deepfakes. Se han utilizado para fraude, acoso y memes. Herramientas como Grok AI han llevado a una proliferación de deepfakes sexuales no consensuales, incluido material de abuso sexual infantil. Los estafadores han clonado las voces de las personas, han llamado a sus familiares y les han dicho que están siendo retenidos para pedir un rescate. Durante las elecciones de 2024, un estratega político y un mago se unieron para crear un deepfake del expresidente Joe Biden, que utilizaron para disuadir a los demócratas registrados en New Hampshire de votar en las primarias del estado. El jefe del Comité de Relaciones Exteriores del Senado recibió una llamada de Zoom de alguien que usaba inteligencia artificial para hacerse pasar por un funcionario ucraniano. A nivel corporativo, el fraude deepfake es ahora “industrial”, según un estudio.
La industria de detección de deepfakes existe principalmente para abordar uno de estos problemas: el fraude corporativo.
Reality Defender está entrenando eficazmente a la IA para combatirla. La empresa utiliza un “modelo basado en inferencias” para detectar deepfakes, me dijo el director de tecnología, Alex Lisle. «Nuestro modelo fundamental utiliza algo llamado paradigma estudiante/maestro. Tomamos un montón de cosas reales y decimos: ‘Estas son reales’, y luego un montón de cosas falsas y decimos: ‘Esto es falso'».
Para el yo falso, dedicamos algún tiempo a afinar la voz: jugueteando con la consistencia, la estabilidad y el tono para que sonara más como el yo real. No pudimos hacer mucho. No hay muchas imágenes disponibles públicamente de mí hablando español, el idioma que uso para comunicarme con mis padres, aparte de una única entrevista en podcast de 2021, la mayoría de las cuales no se pueden utilizar porque hay música de fondo. Pero con nueve segundos de audio y datos extraídos de años de publicaciones, logramos improvisar un agente de IA algo convincente que pudo mantener una conversación con mis padres, aunque fuera impersonal. El modelo inglés que utilizamos con mi hermano fue mejor porque teníamos muchos más datos de entrenamiento, pero ni siquiera así fue lo suficientemente convincente.
Pero la familia es la prueba más dura.
«Ellos saben cómo suena tu voz», me dijo Scott Steinhardt, jefe de comunicaciones de Reality Defender. Steinhardt hizo el deepfake con mi consentimiento y lo modificó hasta que sonó más o menos como yo. Puede que no engañe a mi familia, pero probablemente sea lo suficientemente bueno para, digamos, colegas o entidades corporativas como bancos.
Hemos pasado los últimos 40.000 años creyendo en nuestros oídos y en nuestra vista, pero ahora no podemos
Para ser eficaces, estas herramientas deben funcionar rápidamente. La IA generativa es bastante lenta. El modelo que solíamos llamar mis padres sacrificaba la calidad por la velocidad. Para que la voz respondiera rápidamente, tuvimos que aceptar una calidad inferior en todos los aspectos. La conversión de texto a voz fue mucho mejor, pero tardó más en generarse. Cuando hicimos que la voz leyera el monólogo de Lucky de Esperando a Godotsonaba casi exactamente como yo.
«Como persona, es todo un desafío no ser falsificado», me dijo Nicholas Holland, director de producto de Pindrop. “Creo que el desafío de ‘¿Cómo protejo mi identidad personal?’ Es algo que el mundo aún no ha descubierto. Pienso ‘¿Cómo saben mis instituciones que soy yo?’ Es donde diferentes instituciones están implementando diferentes capas de seguridad”.
También es una cuestión de recursos. No tengo los fondos para contratar una empresa de detección de deepfake para que filtre mis llamadas, pero mi banco sí, y mi banco tiene más que perder, en términos absolutos, si no relativos. Una encuesta de 2024 encontró que las empresas han perdido 450.000 dólares por incidente de deepfake, y más de una empresa ha perdido más de 1 millón de dólares en una sola transacción fraudulenta.
En algunos de estos casos, estafadores se hicieron pasar por ejecutivos, llamaron a sus subordinados y les pidieron que transfirieran grandes sumas de dinero a sus cuentas. Antes de iniciar sesión en la llamada con Holland, recibí una notificación emergente en Zoom:
Esta reunión está siendo analizada. Pindrop Security y sus proveedores externos graban el audio y el video de su reunión para determinar si usted es una persona real y/o la persona adecuada. Al hacer clic en «Aceptar» a continuación, usted acepta que Pindrop recopile, use y almacene la reunión y el audio, sus escaneos de voz y rostro (que pueden considerarse información biométrica) y su dirección IP (para determinar en mayor detalle su estado, provincia o país) para los fines anteriores.
Me aseguraron que mi rostro, mi voz y mi dirección IP se conservarían durante no más de 90 días.
Holland me dijo que las empresas ahora se están viendo inundadas de solicitantes de empleo falsos; irónicamente, incluso en Pindrop. «Estamos viendo una variedad de cosas. Estamos viendo dónde la gente realmente hace el trabajo, tal vez trabajan en el departamento de TI», dijo Holland. «Hemos tenido clientes a los que contrataron a alguien, pero luego esa persona hizo referencias. Contrataron a otras dos personas y resulta ser la misma persona contratada tres veces usando tres voces diferentes, tres caras diferentes, tres identidades de Slack diferentes».
Por lo general, estos no son personajes de video totalmente generados por IA; son personas que utilizan tecnología deepfake para cambiar sus propias características, casi como una máscara digital. Antiguamente existía un truco para detectar esto: pedirle a la persona que colocara tres dedos delante de su cara.
«Eso no funciona en absoluto ahora. Los modelos de IA son tan buenos que absolutamente pueden crear manos, puedes ponerlas delante de tu cara», dijo Holland. «Ahora es básicamente imperceptible con tus ojos».
Lisle de Reality Defender me dijo que a medida que la tecnología mejora, los ataques requieren menos esfuerzo. Mientras que antes los estafadores se hacían pasar por un solo ejecutivo, ahora se dirigen a empleados de todos los niveles de una empresa. Me habló de un ataque reciente a una empresa que cotiza en bolsa y que se negó a nombrar, en el que el estafador fue a LinkedIn, obtuvo el nombre de todos los empleados actuales y luego eliminó TikTok y Facebook para crear un «grupo de información» y obtener una huella de voz para cada una de estas personas. Su información y huellas de voz se colocaron en un LLM, que creó una ventana contextual y un mapa, y luego “dispersó toda la empresa” llamando a los empleados de todos los niveles.
«En ciberseguridad, hablamos de cosas llamadas ‘límites de confianza'», dijo Lisle. «El problema con los deepfakes es que siempre existe este límite de confianza implícito, que es ver y oír para creer. Hemos pasado los últimos 40.000 años creyendo en nuestros oídos y en nuestra vista, pero ahora no podemos. Existen todos estos límites de confianza en los que nunca antes habíamos tenido que pensar y que los hackers están aprovechando de maneras interesantes».
Por ahora, este software sólo está dirigido a grandes empresas: tienen la necesidad, mucho en juego y mucho dinero para pagarlo. Pero la gente común y corriente no tiene software de detección de deepfakes, ni lo tendrá en el futuro cercano. Como lo explica Holland, el mayor desafío para la adopción masiva es la concientización, ya que «muchos consumidores no son conscientes de la amenaza, por lo que no saben cómo encontrar una solución; la zona cero son las empresas que atienden al consumidor». Pindrop aún no tiene un producto de consumo, pero no descarta desarrollar uno en el futuro. El desafío, dijo Holland, es «hacer que estos sistemas sean lo suficientemente rápidos, precisos y confiables para que las personas puedan confiar en ellos en los momentos cotidianos».
Reality Defender tiene una perspectiva diferente. Steinhardt dijo que un producto de consumo crearía «un campo de juego desigual e irregular para la gente».
«Piense en ello como un antivirus: mientras que esto solía ser algo que preocupaba a las personas individuales (o, peor aún, no lo hacían), ahora nuestros navegadores, proveedores de correo electrónico, proveedores de Internet y similares escanean archivos antes de que lleguen a nuestra computadora en busca de malware», dijo Steinhardt. «Este es nuestro enfoque para la detección de deepfakes».
Mi deepfake no había podido engañar a mi familia, pero yo tampoco lo había puesto a prueba. Durante años, los organismos encargados de hacer cumplir la ley en todo el país han advertido sobre una estafa de secuestro ultrafalsa: un padre recibirá una llamada de una voz muy convincente pidiendo ayuda, y luego el “secuestrador” exigirá un rescate. Incluso si la voz no es del todo convincente, el llanto y los gritos sí lo son. No me atrevía a hacerles eso a mis padres, incluso si fuera falso. Consideré brevemente otras estafas: podía llamar a mi banco, o tal vez a mi proveedor de seguro médico, pero la idea de bloquearme el acceso a mis propias cuentas (o de cometer un fraude real y legítimo) me disgustó con el experimento. En cambio, llamé a mi hermano. “Oh, NO”, dijo tan pronto como la voz lo saludó. A él tampoco lo habían engañado.
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
