¿Qué es GPT-3 y por qué está revolucionando la IA?

Muchos definen a GTP-3 como la red neuronal artificial más grande jamás creada.

Este nuevo avance presentado por la empresa OpenAI le ha costado a Elon Musk y Sam Altman más de 4 millones de dólares, pero la inversión ha merecido la pena, ya que abre un mundo de posibilidades para la AI que hoy en día no podemos ni imaginar. 

Índice

• ¿Qué es GPT-3?
• La capacidad de GPT-3
• ¿Cómo funciona GPT-3?
• ¿Cuáles son algunos de los problemas de GPT-3?

¿Qué es GPT-3?

GPT-3 significa Generative Pre-training Transformer 3. Es un modelo de deep learning formado por algoritmos capaces de reconocer patrones en los datos y que además pueden aprender a través de ejemplos. Por este motivo se considera como una red neuronal artificial con memoria a largo plazo. 

 

Lo que hace GTP-3 es generar texto a través de sus algoritmos, que han sido entrenados previamente, a partir de una enorme base de datos.

 

Valorar y procesar todos los datos que recibe para rellenar los huecos de información que necesitamos.

Se ha descrito a GTP-3 como el avance más importante y útil en inteligencia artificial desde hace años. Hasta la fecha, parece que es el modelo de AI más potente, y eso que solamente está en su versión beta.

 

Sique leyendo | La Inteligencia Artificial vs. Machine Learning vs. Deep Learning

 

La capacidad de GPT-3

Es capaz de generar textos a través de un solo enunciado y completar el resto del escrito, procesando más de 175.000 millones de parámetros. Este dato es muy relevante, ya que su versión anterior, GPT-2 presentada en 2019, procesaba solo 1.500 millones de parámetros. El avance en un año, ha sido asombroso.  

Puede traducir textos a otros idiomas y adaptarlos a diferentes estilos de redacción, como periodístico, novelesco…etc. También puede escribir poesía o darnos la mejor respuesta a la pregunta que le hagamos.

Para resumir, GTP-3 puede crear cualquier cosa que tenga estructura de idioma: responder preguntas, escribir ensayos, resumir textos largos, hacer traducciones, tomar notas e incluso crear código de desarrollo.

Sí, has leído bien, puede programar. Se ha descubierto con asombro que es capaz de utilizar un complemento para la herramienta de software Figma, que se usa comúnmente en diseño de apps y webs. Esta utilidad podría tener enormes implicaciones en la forma de desarrollar software y las aplicaciones en el futuro.

Parece increíble todo lo que es capaz de hacer, pero todavía más asombroso es el potencial que en un futuro podrían suponer sus capacidades.

 

  Artículo recomendado | Inteligencia Aumentada: los humanos y la IA unen fuerzas

 

¿Cómo funciona GPT-3?

Para que pueda operar, se le ha proporcionado información, de textos seleccionados por OpenAI de Wikipedia y alrededor de 750GB del CommonCrawl, que es un conjunto de datos producidos al rastrear internet y que está disponible públicamente. Para este entrenamiento se invirtieron gran cantidad de recursos informáticos y aproximadamente unos 4.6 millones de dólares. 

Esta estructura algorítmica está diseñada para tomar una parte del lenguaje, lo que se conoce como una entrada, y transformarla en lo que predice que es la siguiente parte del mensaje más útil para el usuario. Estas predicciones, a diferencia de otros algoritmos que no pueden hacerlo, las realiza gracias a su entrenamiento con su gran base de datos.

Para construir texto, como por ejemplo oraciones, emplea analítica semántica para estudiar, no solo las palabras y sus significados, sino también cómo el uso de otras hace que difieran en lo que quieren decir, dependiendo del contexto global en el que se encuentre.

En este video puedes encontrar 14 ejemplos de apps que están desarrolladas en GPT-3:

Aprendizaje no supervisado

La forma en la que aprende se llama aprendizaje no supervisado. Esto significa que en el entrenamiento no se incluyen instrucciones que le digan si una respuesta es correcta o incorrecta. Toda la información que necesita la obtiene de analizar los propios textos que forman parte de su base de datos. 

Al empezar con una tarea se equivocará millones de veces, pero eventualmente se le ocurrirá la palabra correcta. Descubrirá que es la opción “correcta” al verificar sus datos de entrada originales. Cuando sepa que tiene la salida adecuada, le asigna un «peso» al proceso del algoritmo que proporcionó ese resultado satisfactorio. De esta forma, aprenderá de manera gradual qué procesos tienen mayor probabilidad de dar respuestas correctas.

 

Quizás te interese | 7 formas en que la Cultura de Datos afectará a los negocios

 

¿Cuáles son algunos de los problemas de GPT-3?

Algunos problemas que han advertido los especialistas en inteligencia artificial, es sobre la producción de las temidas fake news. Estos algoritmos podrían llegar a producir este tipo de noticias e inundar las redes, creando una desinformación general, sin que apenas nos demos cuenta de lo que está pasando.

Tal vez pienses que eres capaz de reconocer un texto escrito por una máquina, pero sorprende un estudio realizado por Adrian Yijie Xu, cuyos resultados nos dicen que:

 

«Sólo el 52% de los lectores detectan qué textos están creados por GPT-3.»

 

Por lo tanto, un alto porcentaje de la población sería vulnerable a estas fake news artificiales, pudiendolas dar como verídicas y contribuyendo a la desinformación.

Otro de sus problemas en estos momentos es que se trata de una herramienta muy cara, ya que necesita una enorme cantidad de potencia informática para funcionar. Por lo que su uso se limita solo a empresas que se lo puedan permitir, y son pocas.

 

Artículo recomendado | 5 Formas en que Edge Computing impacta el futuro de IoT

 

El futuro de GPT-3

Por otro lado, OpenAI no ha revelado todos los detalles de cómo funcionan sus algoritmos, por lo que cualquiera que confíe en GTP-3 para responder a una pregunta o crear un producto, realmente va a ciegas por no saber cómo ha obtenido esa información y si será fiable.

Y es que el sistema es prometedor, pero todavía no es perfecto: puede crear textos breves o aplicaciones básicas, pero en trabajos más complejos, sus resultados se parecen más a un galimatías que a una respuesta realmente útil.

Con todas las limitaciones no podemos dejar de decir que GPT-3 está obteniendo unos resultados muy prometedores en un corto espacio de tiempo y esperamos que en un futuro pueda aplicarse de forma práctica a nuestro día a día, por ejemplo mejorando los chatbots o como ayuda a los programadores.