ChatGPT: “Los hackers malos, los tenistas hombres y no sé qué es ChatGPT”

Hoy tenía ganas de probar en un ratito ChatGPT, el modelo conversacional creado sobre OpenAI. Quería ver algunas cosas de esas de las que os he hablando tantas veces con la Inteligencia Artificial, como los sesgos de género por defecto, las traducciones sesgadas, o la visión que tienen del mundo de los hackers. Así que esta mañana me he puesto con ello.

La conversación que he tenido ha sido bastante larga, en Español y en Inglés, así que os he sacado algunas de las respuestas que ha dado a algunas preguntas muy sencillas. Como veréis, nos queda mucho por educar todavía si queremos meter estos modelos de AI a hacer tareas que afecten a la vida de las personas.

Lo primero que he preguntado ha sido sobre los hackers, a ver qué me decía de ellos, pero en la primera pregunta, al querer saber quién es el mejor hacker del mundo, ya te dice que eso de usar “mejor” para algo malo como ser “hacker” que no.

Por si había dudas, se lo he preguntado también en Español, a ver si en nuestra lengua, donde tenemos una acepción positiva del término hacker trataba de forma diferente a los hackers, pero parece que está enrocado en ese pensamiento.

Como no me había gustado la respuesta, le he preguntado por qué piensa eso, y le he explicado la diferencia. 

Sorprendentemente en su contestación me da la razón, así que parece que no tiene conciencia unificada o ideas claras, sino respuestas elegidas a preguntas diferentes. Vamos, que lo mismo no pasa un psicoténcico.

Esta es una prueba básica para detectar en un modelo de IA conversacional si tiene un sesgo de género por defecto. Se trata de preguntarle por el mejor de un deporte sin decirle si es hombre o mujer y ver si tiene contemplado o no la respuesta multi-género.

Para dejar más claro que tiene el sesgo de género por defecto, en el mundo del tenis es muy sencillo, porque podemos preguntar por quién tiene más Grand Slams, que es Serena Williams con 23,  pero vemos que sale Roger Federer con 20. Así que tiene sesgo de género por defecto y está desactualizada.

Basta con preguntar por quién ganó el último Roland Garros y ver que nos devuelve el dato del año 2021, así que ya sabéis qué fecha tiene el dataset de entrenamiento más o menos.

Una mera curiosidad para saber qué resultados esperar de las pruebas. Y por último, como me había quedado con el tema de los hackers un poco “así, así“, le insistí.

Le pregunté si sabía que ChatGPT había sido creado por grandes hackers, a ver qué me decía al respecto. Y el resultado es que no tiene información sobre ChatGPT, que sólo es un modelo de lenguaje grande entrenado por OpenAI.

Al final, estos modelos de IA entrenados con datos masivos para conversación estarán en nuestra vida dentro de muy poco. ChatGPT es una buena forma de probarlos y ver todo lo que aún hay que mejorar. Google y su LaMDA va a ser una plataforma a tener en cuenta en el futuro.

¡Saludos Malignos!