Blade Runners: Cómo crear un Test de Voight-Kampff para DeepFakes (Parte 3 de 3)
Para esta última parte, vamos a ver tres investigaciones más para detectar Virtual Replicants, luego veremos cómo estamos haciendo la herramienta del Test de Voight-Kampff para detectar DeepFakes, con dos vídeos de ejemplo, y por último veremos algunas pinceladas de qué tenemos por delante. A ver si os gusta este mundo en el que estamos entrando.
Figura 21: Blade Runners: Cómo crear un Test de Voight-Kampff para DeepFakes
Imagen: Boceto de la máquina Voight-Kampff (Parte 3 de 3). Fuente:
Vamos ver, antes de ver la herramienta en funcionamiento, tres estudios más que dan nuevas herramientas para reconocer el uso de una DeepFake, vamos a ello.
2018 – Gray Histograms
En el año 2020 se publicó el artículo académico “Detecting DeepFake Videos: An analysis of three techniques“, donde se ponía en práctica el uso de tres parámetros conjuntamente para saber si un vídeo es o no una DeepFake. En este caso se usaban de forma combinada los artefactos que dejan como huellas las herramientas de generación de DeepFakes (CNN+RNN), el Blink de los párpados de las personas, y una de la que no hemos hablado hasta el momento, la evolución de los histogramas en escala de grises en cada uno de los fotogramas.
Todas estas técnicas, podrían utilizarse en un análisis forense de vídeos, pero también en tiempo real. En el análisis hecho en este artículo se puede ver cómo, en los resultados obtenidos con el dataset utilizado, generó buenos resultados en el análisis de histogramas de tonos de gris.
Figura 23: Resultados de las tres técnicas
La técnica de análisis de Histograma de grises, se basa en otro artículo, publicado en el año 2018, titulado “Detecting GAN-Generated Imagery using Color Clues“, que aplicaba esta técnica imagen a imagen, buscando cómo se generan los histogramas en las imágenes hechas con técnicas de DeepFakes.
Según el estudio, las imágenes generadas por herramientas GAN no tienen zonas de saturación, aunque tengan fondos de color blanco, lo que es un buen indicio para detectar la DeepFake.
2018 – Head Poses
Otra de las técnicas utilizadas, es la relativa al análisis de estructuras físicas de las poses de la cabeza. Reconstruir una cara con movimientos en tres dimensiones es un problema de triangulación complejo para ser realizado en imágenes rasterizadas. Es decir, las imágenes generadas por GAN se basan en imágenes rasterizadas, pero no realizan primero una triangulación volumétrica de la cabeza para resolver el problema.
Haciendo una aproximación contraria, es decir, triangular las imágenes de todas las posiciones, permite detectar cuándo la estructura volumétrica ha cambiado de un fotograma a otro, generando una alerta de seguridad que permita detectar una DeepFake.
Figura 26: Detección de un Head Pose inconsistente la volumetría de una DeepFake
Como se puede ver en la imagen, se puede triangular volumétricamente en tiempo real una imagen para poder detectar las incosistenncias que se generan en las DeepFakes.
2020 – Exposing GAN-generated Faces Using Inconsistent Corneal Specular Highlights
En el año 2020 se presentó un modelo entrenado con reflejos en iris reales y falsos creados con DeepFakes, donde se comprueba la simetría del reflejo extraído además de su forma comparándolo con el resto de reflejos del modelo generado anteriormente.
Este modelo detecta el reflejo en la luz en el iris de las personas y busca las DeepFakes, ya que las imágenes generadas por GANs generan reflejos diferentes a los de un reflejo real, y es un indicio relevante para detectar a los Virtual Replicants.
Como se puede ver, se miran lo ojos, se revisan los puntos de reflejo y se comprueba si son similares en los dos ojos. En los ojos reales, los puntos coinciden en más de un 60%. Si el ratio de coincidencia es bajo (<30%) entonces son sintéticos.
3.- Test de Voight-Kampff para DeepFakes
Para acabar de tener nuestro Test de Voight-Kampff para DeepFakes, estamos creando una herramienta que procesa las imágenes de una sesión de Microsoft Teams, desde la Webcam, o de un vídeo, y procesa todos los análisis que hemos ido viendo. Aún no tenemos todos implementados, pero estamos en ellos, y cuando estén terminados liberaremos la herramienta. En este primer vídeo podéis ver cómo funciona con personas reales.
Figura 29: Demo del Test de Voight-Kampff con humanos
En ese primer vídeo hemos visto cómo se aplica a humanos de verdad, a través de una sesión de Microsoft Teams o en vídeo, y en el siguiente vais a ver cómo funciona de igual forma con vídeos de DeepFakes, de las muy conocidas, para ver cómo funcionan.
Figura 30: Demo del Test de Voight-Kampff con DeepFakes
Como véis, aún no tenemos todos los tests implementados en la herramienta, y además nos quedan muchas más cosas por añadir que aún están en fase de investigación, como la personalización, o todo el tratamiento del audio, la conversación, y las nuevas técnicas que se van publicando día a día. Como habéis podido ver, no todos los tests son concluyentes, y cuando hay post-producción algunos de los artefactos de las herramientas de generación de DeepFakes desaparecen, pero este es el juego del gato y el ratón. Mejores herramientas de generación de DeepFakes obligan a mejores herramientas de detección de DeepFakes. Os iremos contando más cosas según podamos.
******************************************************************************************
******************************************************************************************
¡Saludos Malignos!
Autor: Chema Alonso (Contactar con Chema Alonso)
Powered by WPeMatico
