El lenguaje GPT-3 Transformer

Hace unos días hablé aquí sobre el programa Dall-e, capaz de armar imágenes realistas basadas en instrucciones textuales, con una precisión notable. La empresa creadora es OpenAI, y utiliza, entre otras herramientas, el GPT-3 Transformer, Generative Pre-trained Transformer 3, que es un modelo de lenguaje "autorregresivo" que emplea aprendizaje profundo para producir textos que simulan la redacción humana. Es la tercera generación de los modelos de predicción de lenguaje perteneciente a la serie GPT, que son una forma de Inteligencia Artificial. 

Este modelo es parte de una línea de desarrollo de sistemas de procesamiento de lenguaje natural (NLP) basados en lo que se llaman representaciones de lenguaje pre-entrenadas, esto es el uso de arquitecturas en procesamiento de lenguaje natural, que se relacionan con las redes neuronales que utilizan un modelo de aprendizaje profundo. Este programa permite la creación de textos cuya calidad es tan alta que es difícil distinguirlos de aquellos escritos por humanos. Esto ha generado la puntualización de los beneficios y riesgos que esto conlleva. Los mismos creadores, OpenAI, advierten sobre peligros potenciales de GPT-3 y hasta han solicitado ayuda para mitigar dichos riesgos. Claro que a veces hay cierta falta de coherencia en algunos textos debido a que el procesamiento de palabras llevado a cabo por GPT-3 es meramente sintáctico, sin atender a la semántica del texto en inglés.

De alguna forma el programa como tal no es totalmente lógico, por lo que no es del todo fiable, aunque se hayan logrado algunas noticias redactadas con datos básicos que parecen coherentes. Lo que pasa es que hasta ahora no se ha logrado que tengan una verdadera comprensión del mundo, por lo que realmente no se puede confiar mucho en lo los textos que hace, porque modelos como los de GPT-3 solo analizan la relación entre palabras (sintaxis) sin un análisis del significado de las palabras (semántica). Pero su uso en otras aplicaciones, como el Dall-e, es impresionante y asusta un poco...