El concepto de "loro estocástico" es central en el trabajo de Timnit Gebru y sus coautoras, término proviene del artículo de 2021 "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?", escrito por Gebru con Emily M. Bender, Angelina McMillan-Major y Margaret Mitchell. La definición que dan las autoras es la siguiente: un "loro estocástico" es un sistema que "ensambla de manera caótica secuencias de formas lingüísticas observadas en sus vastos datos de entrenamiento, de acuerdo con información probabilística sobre cómo se combinan, pero sin ninguna referencia a su significado". Es decir, repiten como un loro.
Vemos lo que significan los términos. En matemáticas, estocástico se refiere a un proceso regido por una distribución de probabilidad aleatoria. Es decir, hay azar, pero guiado por probabilidades. El loro es un juego de palabras que se usa como referencia al verbo "to parrot" en inglés, que significa repetir algo sin entender su significado, no tanto al animal en sí sino a su capacidad de repetición. La propia Emily Bender ha aclarado que prefería el verbo para evitar conferirle al sistema una "vida interior" como la de un loro real.
La metáfora sostiene que los grandes modelos de lenguaje (LLM) son sistemas extremadamente sofisticados de autocompletado. No "comprenden" el mundo; simplemente predicen la siguiente palabra más probable basándose en patrones estadísticos extraídos de cantidades masivas de texto. Tal es el caso de ChatGPT y demás programas de conversación de inteligencia artificial.
Los LLM se entrenan con datos no "curados" de internet. Estos conjuntos contienen inevitablemente sesgos, lenguaje tóxico y visiones hegemónicas que perjudican a grupos vulnerables. Por ejemplo, el contenido de internet representa de forma desproporcionada a hombres blancos de países desarrollados en sus respuestas. Como un loro, el modelo imita el habla con sentido, pero no accede al significado. Para las autoras, el lenguaje es un sistema de signos donde la forma (la palabra) está ligada al significado. Los LLM solo acceden a la forma.
Como el texto generado es gramaticalmente correcto y convincente, las personas tienden a atribuirle significado y a confiar en él. Esto crea un riesgo real de difusión de desinformación, discurso de odio y fraude. Cuanto mejor es la imitación, mayor es el riesgo de que se sobreestimen sus capacidades.
Emily Bender ha señalado en repetidas ocasiones que la frase se ha convertido en un adagio mal interpretado y que se ha sacado de contexto. Aclara que no dicen que "la IA es un loro estocástico", sino que analizan específicamente los grandes modelos de lenguaje. El debate no es sobre si los LLM son "inteligentes" o no, sino sobre los riesgos concretos de confiar en sistemas que generan texto convincente sin una comprensión subyacente.
Desde 2021, fecha de publicación, el debate ha cambiado. Muchos investigadores argumentan que los modelos actuales muestran capacidades que no se explican solo por la "interpolación estadística". Por ejemplo, se ha observado que los modelos entrenados solo para predecir movimientos en un juego desarrollan representaciones internas del tablero, lo que sugiere que construyen algún tipo de "modelo del mundo". También se habla de "habilidades emergentes" que aparecen al aumentar la escala, aunque esto es objeto de debate metodológico. En todo caso, y a pesar de estas críticas, la metáfora sigue siendo útil para recordar que la fluidez no es lo mismo que la comprensión, y que los riesgos señalados por Gebru y sus colegas siguen siendo profundamente relevantes.
