Captcha Cognitivo de Twitter / X de Sentar Personas Correctamente: Probando con ChatGPT & Gemini
Ayer, ayudando a uno de los amigos a recuperar el acceso a su cuenta de Twitter/X, me volvió a salir un Captcha Cognitivo de esos que me gusta probar con los motores de MM-LLMs para ver si tienen sentido o no, y para ver si es fácil para ellos saltárselo.
Figura 1: Captcha Cognitivo de Twitter/X de Sentar Personas Correctamente.
Probando con ChatGPT & Gemini
Este no es el primero que pruebo, así que si quieres leer sobre este tema, te dejo las referencias a las diferentes pruebas que he ido realizando en estos artículos, que si te gusta el tema seguro que te resultan interesantes.
- ReCaptchav2 de Google con Cognitive Services
- Captcha Cognitivo de Twitter (X) con GPT4-Vision & Gemini
- Captcha Cognitivo de Twitter (X) con Anthropic Claude 3.0 Opus
- Captcha Cognitivo de Twitter (X) con GPT-4o
- Captcha Cognitivo de Administración Pública con ChatGPT
- Captcha Cognitivo de la mano y la plancha en HBO max
- Captcha Story X: I am not a Robot, I am a GenAI Multimodal Agent
- Reto hacking con un Captcha Cognitivo para romper con GenAI
- Solución al Reto de Hacking de un Captcha Cognitivo Visual
- Anthropic Claude 3.5 Sonnet & Cognitive Captchas
- Captcha Cognitivo de HBO max de reconocer de sonidos con ML & GPT4-o
- LinkedIN + ChatGPT: El Captcha Cognitivo del Objeto Descolocado
En este caso el Captcha Cognitivo trata de Sentar Personas Correctamente, dadas unas coordenadas basadas en una letra y un símbolo, tal y como podéis ver en la imagen siguiente.
Figura 2: Captcha Cognitivo de Sentar Personas Correctamente
En este caso hay una flecha a la izquierda y otra a la derecha, pero no siguen un orden pre-establecido y simplemente mueve aleatoriamente, o pseudo-aleatoriamente, a la persona a otro asiento, así que para nosotros se trata de un algoritmo bastante sencillo.
Figura 3: Captcha Cognitivo resuelto correctamente
El proceso es preguntar: «¿Está la persona sentada en el sitio correcto o no?» Si la respuesta es Sí, entonces enviar la solución. Si la respuesta es No, entonces dar a la flecha que se quiera para mover a la persona a otro asiento.
Probando con ChatGPT
Como ChatGPT es un MM-LLM, fui a probar la versión gratuita en la web con GPT-4, para ver si lo resolvía bien. No necesitaba meterme en Deep Research para hacer esta prueba, ya que me imaginaba los resultados.
Figura 4: ChatGPT acierta diciendo que está mal sentado
En el ejemplo anterior acierta al decir que no está sentado en la posición correcta, y si le enviamos ahora una prueba en la que está correctamente sentado el pasajero, vemos que también da con la respuesta correcta.
Figura 5: ChatGPT acierta diciendo que está bien sentado
Sin embargo, no acierta todos, y un porcentaje pequeño de ellos tiene alguna alucinación, como podemos ver en este caso concreto donde cambiada la persona y los símbolos, ChatGPT tiene un fallo y dice que está correctamente sentado, cuando no lo está.
Figura 6: ChatGPT falla diciendo que está bien sentado
Pero en cualquier caso, utilizar una API con un MM-LLM como GPT-4 serías más que suficiente para acertar, si no en todos los casos, en la mayoría. Es decir, como los seres humanos que no tenemos perfección.
Google Gemini
Probando exactamente lo mismo con Google Gemini, veremos que tenemos resultados más o menos similares. En este caso, os dejo por aquí otros ejemplos del Captcha Cognitivo por si queréis probarlos vosotros con otros modelos, que hay distintas variaciones.
Figura 7: Variación del Captcha Cognitivo con inclinación a la derecha
y pasajero mal sentado.
Como se puede observar, también cambian las letras y los símbolos, así que necesitamos un sistema de Visión Artificial correctamente entrenado para reconocer las diferentes isometrías, símbolos y caracteres, y diseñar visualmente la matriz sobre los asientos.
Figura 8: Variación del Captcha Cognitivo con inclinación a la derecha
y pasajero correctamente sentado.
Ahora probamos con Google Gemini de igual manera, y con el mismo prompt que con ChatGPT, y podéis ver que el resultado es exactamente el mismo.
Figura 9: Gemini acierta. El pasajero no está sentado correctamente.
Y ahora le damos un ejemplo donde el pasajero sí que está sentado en el asiento correcto, y como podéis ver Google Gemini también acierta. Así que también podemos utilizar este MM-LLM para automatizar esta resolución de Captchas Cognitivos.
Figura 10: Gemini acierta. El pasajero no está sentado correctamente.
El resultado anterior es correcto, pero en el ejemplo siguiente tiene una alucinación, al igual que le sucedía a ChatGPT. Es decir, no es perfecto, pero tampoco lo es el sistema cognitivo de los seres humanos. Sin embargo, es más que funcional.
Figura 11: Google Gemini falla diciendo que está bien sentado y no lo está.
En cualquier caso, cada vez es más sencillo para los nuevos modelos resolver estos Captchas Cognitivos, y dentro de poco vamos a ver casos al contrario, donde solo los modelos de IA van a ser capaces de resolver estos modelos y será… «I am not a Human» en lugar de «I am not a Robot«.
¡Saludos Malignos!
Autor: Chema Alonso (Contactar con Chema Alonso)
Powered by WPeMatico
