Deep Live Cam & VerifAI: Detección de DeepFakes en Vídeo Conferencias

En el año 2021 comenzaron a aparecer los proyectos que permitían utilizar una única fotografía para hacer una DeepFake en Vídeo Conferencias. La idea es tan sencilla como construir en tiempo real un stream de vídeo con la DeepFake y publicarla como una Virtual Cam para que pudiera utilizarse en cualquiera de las plataformas de Vídeo Conferencias, como Zoom, Meet o Teams. 

En aquel tiempo trabajamos primero con FaceIT Live y FaceIT Live3 posteriormente, y para poder construir las Virtual Cams fácilmente en los entornos Windows, creamos nosotros una pequeña PoC para tener un sencillo GUI que llamamos By The Face, pero que utilizaba por debajo el software de FaceIT Live3.

Esta idea ha continuado evolucionando, y la última herramienta que ha aparecido, por su calidad y su facilidad de uso es Deep Live Cam, que hace exactamente lo que os he contado. 

Con una fotografía te hace la DeepFake en tiempo real y te crea la Virtual Cam de la misma manera que se ve en el vídeo de la  Figura 2 con By the Face, pero muy mejorada la calidad de la DeepFake.

Y el resultado es el que podéis ver en este GIF que se presenta de demo en el repositorio de GitHub de Deep Live Cam, que es el que puedes esperar, pero con una muy buena calidad. 

Como os podéis imaginar, esta herramienta es más que suficiente para que sea utilizada por los cibercriminales a la hora de realizar ciberestafas de suplantación de famosos, lo que lleva a que muchas personas les den su dinero pensando que están ayudando a sus ídolos.

Así que cuando hemos visto el vídeo de demo publicado en el artículo de Ars Technica, y el vídeo de demo subido en el propio repositorio de GitHub de Deep Live Cam, hemos querido probarlos con nuestro querido Tu VerifAI, a ver si los detectaba.

El objetivo es ver si la tecnología de detección que tenemos ahora metida en Tu VerifAI es capaz de detectar Deep Live Cam en su uso en tiempo real para estafar por vídeo conferencia a un empleado de una empresa o a un particular. Así que le hemos subido los vídeos de demo hechos con ella.

El primero ha sido el vídeo de demo del repositorio oficial, recortado para que solo se vea la imagen de la cámara en el vídeo, y se lo he subido a Tu VerifAI, y el resultado ha sido que lo ha detectado bien.

Los siguientes vídeos, los hemos ido dividiendo en cada uno de los caracteres que se van utilizando, para no confundir a la herramienta y ponérselo fácil con muchos cambios de cara, así que hemos ido subiendo uno a uno. Primero el de George Clooney.

Y el resultado tras subir esta DeepFake hecha con Deep Live Cam a Tu VerifAI es que lo detecta perfectamente.

El siguiente ejemplo es con Mark Zuckerberg, que como podéis ver, es con la misma persona y en el mismo entorno.

Ahora el mismo proceso. Subimos el vídeo a Tu VerifAI y esperamos resultado, que en este caso es otra vez MUY PROBABLEMENTE con mayor grado de certidumbre.

Ahora vamos con el actor Hugh Grant, que también se muestra en el vídeo de demostración que estamos analizando.

Y el resultado, que como ya os podéis imaginar, es que Tu VerifAI detecta que se está utilizando tecnología de DeepFake en ese vídeo.

El último vídeo, que he querido probar todos para que se queden guardados en el artículo por si hay que reusarlos el día de mañana.

Como podríais suponer, el resultado no cambia para este vídeo tampoco, aunque de nuevo varía el grado de certidumbre del algoritmo.

Por desgracia, a pesar de que para la tecnología de detección estas DeepFakes no pasan el filtro de Tu VerifAI, para empleados de empresas y personas particulares sí que lo hará, lo que les convertirá en víctimas de ataques del CEO con DeepFakes o Estafas de Famosos en Apuros.

¡Saludos Malignos!