Pigeon: Una IA que sabe dónde estás por una foto de tu Instagram

Hoy os quería hablar de este paper que he leído este fin de semana, y que me ha gustado mucho por ser algo que los que hemos hecho informes de investigación de personas o identidades en la red usando técnicas OSINT (Open Source Intelligence) hemos hecho alguna vez. Se trata de averiguar la ubicación de una fotografía. Ya sea para averiguar dónde está una persona, dónde vive, o dónde ha sucedido un hecho.

Esto, que se puede hacer con los Metadatos – una de los grandes divertimentos con la FOCA en sus inicios – también se puede hacer jugando con una fotografía de Instagram y Google Street View, por ejemplo. Se traba de descubrir elementos en la fotografía que son únicos, que indican una determinada ubicación, un país, una fecha del año, un clima, etcétera. 

En ese caso, los detalles son importantes, y se pueden mezclar con información pública dada gracias a detalles en comentarios, o publicaciones en redes sociales. Cualquier detalle cuenta, como una matrícula de un coche, el idioma de una tienda, o el tipo de planta que se ve en la fotografía. Algo que se puede utilizar en una investigación si eres alguien que trabaja en ciberseguridad, o simplemente como reto para entretenerse.

PIGEON es un algoritmo de IA que ha sido entrenado con un 10% de las imágenes del juego GeoGuessr, donde se trata de que los jugadores hagan justo lo que os he explicado anteriormente. Es decir, está entrenado con un dataset de algo más de 400.000 imágenes al inicio – si lees el paper verás que lo han ido enriqueciendo -, y que aprende todos esos detalles de la fotografía.

Me ha encantado que han utilizado para entrenar el modelo de IA, un diagrama de Voronoi Tessellation para elegir el mejor dataset de fotografías y tener un entrenamiento con la mejor dispersión en cada una de las geo-celdas que se han creado.

Estas fotos de Street View permiten que se le pueda dar cualquier otra fotografía, y el algoritmo pueda predecir la ubicación, el clima, la fecha del año, etcétera, lo que supone una nueva forma de tener «metadatos» o de detectar que los metadatos han sido modificados para hacer un engaño.

Desde el punto de vista de utilidad, tiene muchas sociales, de investigación, de «failsafe» – por ejemplo – para un vehículo autónomo o un drone que pierda conectividad, pero desde el punto de vista de seguridad personal demuestra que hay que tener más cuidado con imágenes tiradas desde tu casa o desde la ubicación donde te encuentras, ya que sería fácil saber dónde estás o dónde vives.

Así que, a partir de ahora, cuando vayas a publicar una fotografía de un lugar, por muy poca información que parezca que da, asume que estás descubriendo tu ubicación, ya que la posición del sol, la hierba del lugar, el tipo de bancos, farolas, los materiales de construcción de los edificios o las aceras, están diciéndole a la IA dónde te encuentras en ese momento, como si lo hubieras publicado tú.

¡Saludos Malignos!