El proceso de aprendizaje de una IA

Es muy interesante ver cómo es el proceso de aprendizaje de los programas de inteligencia artificial, basado en las iteraciones que reseñé en una publicación reciente. Impresiona saber cuántas veces necesita repetir este proceso una IA, porque la escala es realmente abrumadora. Para un modelo gigante como GPT-4 o sus sucesores, no hablamos de cientos, sino de billones de iteraciones (o pasos de entrenamiento). ¿Cómo se mide este esfuerzo? En el entrenamiento de modelos de lenguaje, se divide el trabajo de la siguiente forma:

Lotes (Batches): la IA no lee todo internet de un golpe; lo hace en pequeños "bocados" (lotes de datos). Cada bocado es una oportunidad para ajustar sus pesos.

Pasos (Steps): cada vez que procesa un lote y se corrige, cuenta como un paso. ¡Se realizan millones de estos pasos!

Épocas (Epochs): es cuando la IA ha visto la base de datos completa una vez. Curiosamente, los modelos modernos a veces solo necesitan 1 o 2 épocas porque la base de datos es tan inmensa que repetir mucho los mismos datos causaría problemas y enfrentar el peligro de repetir demasiado. 

El "Sobreajuste" (Overfitting): aquí es donde la iteración se vuelve un arma de doble filo. Si se hace que la IA itere demasiadas veces sobre los mismos datos, ocurre algo curioso, deja de aprender y empieza a memorizar.

Según la misma IA, es esquema del proceso es este:

Situación	Lo que hace la IA	Resultado
Pocas iteraciones	No entiende bien los patrones.	Underfitting: Es imprecisa y "tonta".
Iteraciones ideales	Entiende las reglas generales.	Generalización: Puede responder cosas que nunca vio.
Demasiadas iteraciones	Memoriza los datos de ejemplo con puntos y comas.	Overfitting: Falla cuando le preguntas algo ligeramente diferente.

A fin de cuentas, la IA es como un estudiante. El que entiende el concepto puede resolver cualquier examen; el que solo memoriza las preguntas del libro, reprueba en cuanto el profesor cambia un número. ¿Qué se necesita para tantas iteraciones? Para que una IA como ChatGPT pueda iterar billones de veces en un tiempo razonable, se necesita una potencia de cálculo brutal, GPUs por miles. Las GPUs, o Unidades de Procesamiento Gráfico, son procesadores especializados en la representación y manipulación rápida de gráficos e imágenes, esenciales para tareas como videojuegos y aplicaciones multimedia. Una GPU (del inglés Graphics Processing Unit) es un procesador electrónico diseñado para acelerar el procesamiento de gráficos en computadoras y otros dispositivos. Su principal función es manejar y acelerar la representación de imágenes, lo que es crucial en aplicaciones que requieren un alto rendimiento visual, como los videojuegos, el diseño asistido por computadora (CAD) y la edición de video. En inteligencia artificial se utilizan para entrenar modelos de aprendizaje profundo debido a su capacidad de procesamiento paralelo.

Esto implica miles de chips especializados trabajando en paralelo, durante semanas o meses. A pesar de tener supercomputadoras, el proceso de iterar, sobre todo el conocimiento humano, toma mucho tiempo. El gasto involucrado es de millones de dólares, pues la electricidad y el equipo no son baratos. Como vemos entonces, todo el conjunto de trabajo para que una IA funcione eficientemente es complicado y enorme, pero sin duda, invaluable, por todo lo que esta sorprendente tecnología nos está aportando hoy en día.