PaLM + RLHF, una alternativa real y compleja a Chat GPT

A ChatGPT le ha salido un férreo competidor de código abierto, PaLM + RLHF, un sistema de generación de texto similar que combina el modelo de lenguaje de Google con la técnica del Aprendizaje por refuerzo con retroalimentación humana (RLHF) que permitirá desde redactar correos electrónicos hasta sugerir los códigos para un ordenador.

La idea parte de Philip Wang, desarrollador de la ingeniería inversa de sistemas de IA de código cerrado, como Make-A-Video de Meta. No obstante OpenAI no se muestra preocupada y sigue creyendo que ChatGPT no tiene rival. Todo ello se debe a que PALM + RLHF no ha sido entrenado con los datos necesarios, por lo que requerirá de muchos gigabytes de texto para aprender, encontrar el hardware adecuado y poder comenzar a trabajar. Por consiguiente, ¿es PaLM + RLHF una alternativa a ChatGPT?

PaLM + RLHF es una herramienta estadística capaz de predecir palabras a partir de nutrirla de publicaciones de Reddit, artículos de noticias y libros electrónicos y otros documentos. A partir de ahí memorizará patrones y contextos semánticos concretos, pero sin capacidad de improvisación.

PaLM + RLHF comparte con ChatGPT el aprendizaje reforzado con retroalimentación humana, ya que al conjunto de indicaciones básicas con las que trabaja PALM + RLHF habrá que sumarle las diferentes respuestas humanas que podría aportar la maquinaria. A raíz de su clasificación se podría construir un ‘modelo de recompensa’ que tomase las respuestas del modelo original y las ordenase en orden de preferencia.

Su hándicap

Sería difícil, al menos por el momento, que PaLM + RLHF llegase a sustituir a ChatGPT, ya que la empresa que apueste por esta herramienta deberá invertir mucho tiempo y capital en adaptarla a las necesidades de los clientes y en hacerla accesible.

La recopilación de datos es un proceso de entrenamiento muy costoso. PaLM posee un tamaño de 540.000 millones de parámetros, es decir, de partes del modelo de lenguaje aprendidas de los datos de entrenamiento.

De hecho, según datos recogidos por diferentes estudios formulados en los últimos años, se constata que un modelo de generación de texto con 1.500 millones de parámetros supondría una inversión de 1,6 millones de dólares. El modelo de código abierto Bloom, con 176.000 millones de parámetros estuvo tres meses usando 384 GPU Nvidia A100, teniendo en cuenta que un único A100 cuesta miles de dólares.

Hay que tener en cuenta que Bloom precisa de una PC con ocho GPU A100, mientras que sus otras alternativas en la nube son costosas y cuentan con matemáticas de última generación. En este sentido, OpenAI usa su propio generador de texto (GPT-3) lo que le permite ahorrar en costes y puede presumir de tener 175.000 millones de parámetros.

El investigador de IA, Sebastian Raschka, ha señalado en una publicación de LinkedIN que PaLM+ RLFH, aunque contase con 500 GPU, precisa de una infraestructura y de un marco de software complejo, con lo cual es difícil que se consolide.

Sus principales competidores

En la carrera por plantear una competencia férrea a ChatGPT han aparecido otros más potentes como CarperAI, en el cual están trabajando Scale AI, Hugging Face y la organización de investigación de IA abierta EleutherAI. Una de las características de CarperAI es que está siendo entrenado con retroalimentación humana.

Otra alternativa a ChatGPT es el modelo ideado por LAION (organización sin ánimo de lucro que suministró el conjunto de datos inicial utilizado para entrenar Stable Diffusion). El objetivo no es otro que replicar ChatGPT utilizando las técnicas de aprendizaje automático más recientes. Se quiere construir un ‘asistente del futuro’, ya que además de escribir cartas o correos electrónicos podrá usar API, buscar información y trabajar de un modo más eficiente.

La entrada PaLM + RLHF, una alternativa real y compleja a Chat GPT es original de MuySeguridad. Seguridad informática.