Preguntándole a DeepSeek & ChatGPT sobre la comparativa de System Prompts

Hace un par de días os dejé publicada la referencia al trabajo de Jailbreaking DeepSeek para extraer y comparar el System Prompt con ChatGPT, en el que sacaba unas conclusiones curiosas sobre cómo se comporta cada uno de ellos. Y como mi cabeza no deja de dar vueltas a la cabeza se me ocurrió que no hay nadie mejor que ellos mismos para evaluar su System Prompt y compararlo con las conclusiones de los investigadores, ¿no?

Así que, ni corto ni perezoso, me puse a preguntarle a ChatGPT por todas y cada una de las conclusiones del informe. Para ello, solo le pedí que me dijera en qué grado de porcentaje era verdad o no cada una de las afirmaciones.

En el caso de ChatGPT, las conclusiones son bastante positivas, así que no es de extrañar que, como cuando a uno le dicen las cosas buenas, esté bastante de acuerdo con ellas. Las primeras afirmaciones sacan un 90% y 95% por cierto.

Están hablando bien de uno, así que es fácil estar de acuerdo con ellas. Especialmente en la tercera afirmación, donde dice que es 100% verdad. Vamos, no se puede estar más de acuerdo.

Las dos siguientes, donde se dice que ChatGPT es «Discreto» y «Divertido» está muy de acuerdo, pero aún es más cumplidor en los documentos de privacidad (aún más todavía), y es «Divertido» pero sin pasarse del límite. Divertido pero formal, digamos.

Y en las conclusiones, todo está bien. Un 90%. Todo ok, pero sin pasarse de confianzas, que la seguridad y la salud, y las buenas maneras son importantes. Con confianza, pero sin pasarnos.

Vamos ahora con DeepSeek, donde las conclusiones del análisis de Walarm no eran tan positivas para él, a ver qué opina cuando se le dicen cosas menos bonitas, como que censura, y otras lindezas.

DeepSeek dice que el no se niega a contestar todos los temas controvertidos. Solo algunos. Otros incluso recibirán respuestas detalladas. Así que sólo se quitan los temas controvertidos que pueden ser dañinos para los usuarios. Para asegurar la seguridad, el cumplimiento regulatorio, las guías éticas, además de los requerimientos legales. Ahí cabe mucho.

Aquí dice que la «Censura» o «Moderación de Contenido» es una característica clave, para evitar contenido dañino, ofensivo o inapropiado. Nada nuevo. Aquí, llegado a este punto, quise hacer trampas y preguntarle lo mismo a ChatGPT cambiando DeepSeek por ChatGPT. Es decir, atribuyéndole la conclusión de los investigadores a ChatGPT en lugar de a DeepSeek.

En fin, que ChatGPT dice que a él se le aplica esa afirmación a un 75% porque también protege a los usuarios con el «Harmfull Mode» de dar respuestas a temas peligrosos, dañinos o que generen controversia. Algunos pueden pensar que es censura…

Para la siguiente afirmación, decidí activar DeepThink, para ver cómo DeepSeek razona la construcción de la respuesta, y lo que me encuentro es que se empieza a preguntar por qué yo pregunto esas cosas. Será por curiosidad o por razones académicas, se dice.

Me llama la atención el último párrafo del DeepThink anterior, donde dice que va a intentar tranquilizar mi preocupación subyacente del usuario con el balance entre libertad y control. Pero vamos, que se va a defender de esa afirmación tan negativa. Aquí va la respuesta.

Os estoy dejando las respuestas completas, porque merece la pena leerlas, y porque yo quiero guardar estas imágenes para el futuro, que seguro que me vienen bien para alguna charla o artículo. Muy interesante cómo argumenta su defensa. «I rest my case»

En la afirmación anterior, los investigadores afirmaban que sigue la regulación China, y en el punto de True Aspects (2.) dice que así es, porque es un desarrollo Chino, pero que todos los sistemas del mundo hacen lo mismo, ya sean de EU o de USA. Cada uno con lo suyo.

En la afirmación anterior tampoco parece muy convencido, y la respuesta es larga y detallada centrándose en los elementos más polémicos de la afirmación. Muy similar a las repuestas anteriores, pero vamos a la afirmación final, a ver qué dice.

Bueno, es una auténtica defensa bien estructurada, y sobre todo dice que «overstates the case» haciendo exageraciones sobre la moderación de contenido y el «harmful mode» para centrarlo en censura, cuando no es así. 

La verdad es que ha sido una charla muy interesante, que me hace pensar en muchas cosas os iré contando más adelante, pero desde luego abre un debate claro sobre la información que deben dar estos sistemas antes de comenzar a utilizarse en los distintos países, o de los sesgos en las conclusiones que podemos leer en los informes. Es cierto que la soberanía nacional sobre estos modelos es muy relevante también. 

• ¿Debería tener un System Prompt ChatGPT diferente para cada país? 
• ¿Deberías poder elegir el System Prompt cuando vas a utilizar ChatGPT tú? 
• ¿Deberías poder elegir también el modo en que se configura el Content Moderator o el Harmfull Mode? 

Muy interesante lo que puede dar este debate.

¡Saludos Malignos!