Ver el código de «Modelo extenso de lenguaje»

[[Archivo:Wikipedia - Modelo extenso de lenguaje (hablado por voz AI).mp3|miniaturadeimagen|Modelo extenso de lenguaje (hablado por voz AI)]]
Un '''modelo extenso de lenguaje''' o '''LLM''' (siglas en inglés para ''Large Language Model''), también llamado '''modelo de lenguaje de gran tamaño''', '''modelo de lenguaje grande''',<ref>{{Cita web|url=https://www.elastic.co/es/what-is/large-language-models|título=¿Qué es un modelo de lenguaje grande? {{!}} Una guía de LLM integral|fechaacceso=2024-09-03|sitioweb=www.elastic.co|idioma=es-mx}}</ref> o '''gran modelo de lenguaje''',<ref>{{Cita web|url=https://www.ibm.com/es-es/topics/large-language-models|título=¿Qué son los grandes modelos de lenguaje (LLM)? {{!}} IBM|fechaacceso=2024-09-03|fecha=2024-04-11|sitioweb=www.ibm.com|idioma=es-es}}</ref> es un [[Modelación del lenguaje|modelo de lenguaje]] de [[aprendizaje profundo]], que consta de una [[Red neuronal artificial|red neuronal]] con muchos parámetros (normalmente miles de millones o más), entrenados en grandes cantidades de texto sin etiquetar mediante [[aprendizaje autosupervisado]] o aprendizaje semisupervisado.<ref>{{Cita web|url=https://analyticsindiamag.com/self-supervised-learning-vs-semi-supervised-learning-how-they-differ/|título=Self-Supervised Learning Vs Semi-Supervised Learning: How They Differ|autor=Goled|nombre=Shraddha|fecha=2021-05-07|sitioweb=Analytics India Magazine}}</ref> Los LLMs surgieron alrededor de 2018{{Cr}} y se desempeñan bien en una amplia variedad de tareas. Esto ha cambiado el enfoque de la investigación [[Procesamiento de lenguajes naturales|del procesamiento del lenguaje natural]] alejándose del paradigma anterior de entrenar modelos [[Aprendizaje supervisado|supervisados]] especializados para tareas específicas. 

Algunos LLMs notables son la serie de modelos GPT de [[OpenAI]] (por ejemplo, [[GPT-3]] y [[GPT-4]] , utilizados en [[ChatGPT]] y [[Microsoft Copilot]]), [[PaLM (Modelo de lenguaje)|PaLM]] y [[Gemini (modelo de lenguaje)|Gemini]] de Google (el último de los cuales se utiliza actualmente en el chatbot del mismo nombre), o [[Claude (chatbot)|Claude]] de [[Anthropic]], entre otros. 

Aunque el término ''modelo grande de lenguaje'' no tiene una definición formal, a menudo se refiere a modelos  de [[aprendizaje profundo]] que tienen un recuento de parámetros del orden de miles de millones o más. Los LLMs son modelos de [[Inteligencia artificial generativa|propósito general]] que se destacan en una amplia gama de tareas, en lugar de estar capacitados para una tarea específica (como el [[análisis de sentimientos]], el reconocimiento de entidades nombradas o el [[Inteligencia lógico-matemática|razonamiento matemático]]).<ref name="emergentpaper">{{Cita publicación|url=https://openreview.net/forum?id=yzkSU5zdwD|título=Emergent Abilities of Large Language Models|apellidos=Wei|nombre=Jason|apellidos2=Tay|nombre2=Yi|fecha=2022-08-31|publicación=Transactions on Machine Learning Research|idioma=en|issn=2835-8856|apellidos3=Bommasani|nombre3=Rishi|apellidos4=Raffel|nombre4=Colin|apellidos5=Zoph|nombre5=Barret|apellidos6=Borgeaud|nombre6=Sebastian|apellidos7=Yogatama|nombre7=Dani|apellidos8=Bosma|nombre8=Maarten|apellidos9=Zhou|nombre9=Denny}}</ref> La habilidad con la que realizan las tareas y la gama de tareas de las que son capaces parece ser una función de la cantidad de recursos (datos, número de parámetros, capacidad de cálculo) que se les dedican, de una manera que no depende sobre avances adicionales en el diseño.<ref name="Bowman">{{Cita publicación|url=https://cims.nyu.edu/~sbowman/eightthings.pdf|título=Eight Things to Know about Large Language Models|apellidos=Bowman|nombre=Samuel R.}}</ref>

Aunque entrenados en tareas simples como predecir la siguiente palabra en una oración, se encuentran modelos de lenguaje neuronal con suficiente entrenamiento y contaje de parámetros para capturar gran parte de la sintaxis y la semántica del lenguaje humano. Además, los modelos de lenguaje grande demuestran un conocimiento general considerable sobre el mundo y son capaces de "memorizar" una gran cantidad de hechos durante el entrenamiento.

== Propiedades ==
=== Conjuntos de datos de pre-entrenamiento ===
Los LLMs están pre-entrenados en grandes conjuntos de [[Corpus lingüístico|corpus textuales]]. Algunos conjuntos de corpus de texto de uso común son [[Common Crawl]], The Pile, MassiveText,<ref>{{Cita web|url=https://paperswithcode.com/dataset/massivetext|título=Papers with Code - MassiveText Dataset|fechaacceso=2023-04-26|sitioweb=paperswithcode.com|idioma=en}}</ref> [[Wikipedia]] y [[GitHub]]. Los conjuntos de datos tienen un tamaño de hasta 10 billones de palabras.

El almacén de datos lingüísticos de alta calidad está dentro de los 4,6 a 17 billones de palabras, que está dentro de un orden de magnitud para los conjuntos de corpus textuales más grandes.<ref>{{Cita publicación|url=http://arxiv.org/abs/2211.04325|título=Will we run out of data? An analysis of the limits of scaling datasets in Machine Learning|apellidos=Villalobos|nombre=Pablo|apellidos2=Sevilla|nombre2=Jaime|fecha=2022-10-25|publicación=arXiv:2211.04325 [cs]|apellidos3=Heim|nombre3=Lennart|apellidos4=Besiroglu|nombre4=Tamay|apellidos5=Hobbhahn|nombre5=Marius|apellidos6=Ho|nombre6=Anson}}</ref>

=== Leyes de escala ===
En general, un LLM se puede describir de manera incompleta con cuatro parámetros:{{cr}} tamaño del modelo, tamaño del conjunto de datos de entrenamiento, costo del entrenamiento y rendimiento después del entrenamiento. Cada una de estas cuatro variables se puede definir con precisión mediante un número real y, empíricamente, se encuentra que dichos números están relacionados por leyes estadísticas simples, llamadas "leyes de escala".

Una [[ley de escala neuronal|ley de escala]] particular ([[Chinchilla AI|"escala Chinchilla"]]) para LLM entrenados autorregresivamente para una época, con un programa de tasa de aprendizaje [[Representación logarítmica|logarítmico]], establece que:<ref>{{Cita publicación|url=http://arxiv.org/abs/2203.15556|título=Training Compute-Optimal Large Language Models|apellidos=Hoffmann|nombre=Jordan|apellidos2=Borgeaud|nombre2=Sebastian|fecha=2022-03-29|publicación=arXiv:2203.15556 [cs] |apellidos3=Mensch |nombre3=Arthur |apellidos4=Buchatskaya |nombre4=Elena |apellidos5=Cai |nombre5=Trevor |apellidos6=Rutherford|nombre6=Eliza|apellidos7=Casas|nombre7=Diego de Las|apellidos8=Hendricks|nombre8=Lisa Anne|apellidos9=Welbl|nombre9=Johannes}}</ref>
{{ecuación|
<math>\begin{cases}
C = C_0 ND\\
L = \frac{A}{N^\alpha} + \frac{B}{D^{\beta}} + L_0
\end{cases}</math>
||center}}
donde las variables son:
:<math>C</math> es el costo de entrenar el modelo, en [[Operaciones de coma flotante por segundo|FLOPs]].
: <math>N</math> es el número de parámetros en el modelo.
: <math>D</math> es el número de tokens / toquemas en el conjunto de entrenamiento.
: <math>L</math> es la pérdida promedio de probabilidad logarítmica negativa por token / toquema ([[Nat (unidad)|nats]] /token), lograda por el LLM capacitado en el conjunto de datos de prueba.
y los parámetros estadísticos son:
: <math> C_0 = 6</math>, lo que significa que cuesta 6 FLOP por parámetro entrenar en un token / toquema.  Obsérvese que el costo de capacitación es mucho más alto que el costo de inferencia, donde cuesta de 1 a 2 FLOP por parámetro inferir en un token / toquema.
: <math>\alpha = 0.34, \beta = 0.28, A = 406.4, B = 410.7, L_0 = 1.69</math>.

=== Habilidades emergentes ===
[[Archivo:LLM_emergent_benchmarks.png|miniaturadeimagen| En una serie de puntos de referencia del lenguaje natural que involucran tareas como responder preguntas, los modelos no se desempeñan mejor que el azar hasta que alcanzan una cierta escala (en este caso, medida por cómputo de entrenamiento), momento en el cual su rendimiento aumenta considerablemente. Estos son ejemplos de habilidades emergentes.]]
Si bien generalmente se puede extrapolar el rendimiento de los modelos grandes en varias tareas, en función del rendimiento de modelos más pequeños similares, a veces los modelos grandes experimentan un [[Transición de fase|"cambio de fase discontinuo"]] en el que el modelo adquiere repentinamente habilidades sustanciales que no se ven en modelos más pequeños. Estas se conocen como [[Emergencia (filosofía)|"habilidades emergentes"]] y han sido objeto de un estudio sustancial. Los investigadores señalan que tales habilidades "no se pueden predecir simplemente extrapolando el rendimiento de modelos más pequeños".<ref name="emergentpaper"/> Estas habilidades se descubren en lugar de programarse o diseñarse, en algunos casos solo después de que el LLM se haya implementado públicamente.<ref name="Bowman"/> Se han descrito cientos de habilidades emergentes. Los ejemplos incluyen aritmética de varios pasos, aprobar exámenes de nivel universitario, identificar el significado previsto de una palabra,<ref name="emergentpaper" /> indicaciones de cadena de pensamientos,<ref name="emergentpaper" /> decodificar el [[Alfabeto Fonético Internacional]], descifrar las letras de una palabra, identificar contenido ofensivo en párrafos de Hinglish (una combinación de hindi e inglés), y generando un equivalente en inglés similar a los proverbios [[Idioma suajili|en kiswahili]].<ref>{{Cita web|url=https://www.quantamagazine.org/the-unpredictable-abilities-emerging-from-large-ai-models-20230316/|título=The Unpredictable Abilities Emerging From Large AI Models|autor=Ornes|nombre=Stephen|fecha=2023-03-16|sitioweb=Quanta Magazine}}</ref>

=== Alucinación ===
{{Main|Alucinación (inteligencia artificial)}}
Se ha observado que los LLM generativos afirman con confianza afirmaciones de hecho que no parecen estar [[Teoría de la justificación|justificadas]] por sus datos de entrenamiento, un fenómeno que se ha denominado "[[Alucinación (inteligencia artificial)|alucinación]]".<ref name="hallucination-survey">{{Cita publicación|url=https://dl.acm.org/doi/pdf/10.1145/3571730|título=Survey of Hallucination in Natural Language Generation|apellidos=Ji|nombre=Ziwei|apellidos2=Lee|nombre2=Nayeon|fecha=November 2022|publicación=ACM Computing Surveys|editorial=[[Association for Computing Machinery]]|volumen=55|número=12|páginas=1–38|fechaacceso=2023-01-15|formato=pdf|doi=10.1145/3571730|apellidos3=Frieske|nombre3=Rita|apellidos4=Yu|nombre4=Tiezheng|apellidos5=Su|nombre5=Dan|apellidos6=Xu|nombre6=Yan|apellidos7=Ishii|nombre7=Etsuko|apellidos8=Bang|nombre8=Yejin|apellidos9=Dai|nombre9=Wenliang|arxiv=2202.03629}}</ref>

== Arquitectura ==
Los modelos de lenguajes grandes han utilizado con mayor frecuencia la arquitectura de [[Transformador (modelo de aprendizaje automático)|transformadores]], que, desde 2018, se ha convertido en la técnica de aprendizaje profundo estándar para datos secuenciales (anteriormente, las arquitecturas recurrentes como LSTM eran las más comunes). 

=== Tokenización (Toquemización) ===
Formalmente, los LLM son funciones matemáticas cuya entrada y salida son listas de números. En consecuencia, las palabras deben convertirse en números. En general, un LLM usa un [[Analizador léxico|tokenizador]] separado. Un tokenizador / toquemizador es una [[función biyectiva]] que mapea entre textos y listas de [[Número entero|enteros]]. El tokenizador (toquemizador) generalmente se adapta primero a todo el conjunto de datos de entrenamiento y luego ''se congela'' antes de que se entrene el LLM. Una opción común es [[Codificación de pares de bytes|la codificación de pares de bytes]].

Otra función de los tokenizadores / toquemizadores es [[Compresión de datos|la compresión de texto]], que ahorra [[Informática|cómputo]]. Las palabras o frases comunes como "dónde está" se pueden codificar en un token / toquema, en lugar de 10 caracteres. La serie OpenAI GPT utiliza un tokenizador (toquemizador) donde 1 token / toquema se asigna a alrededor de 4 caracteres, o alrededor de 0,75 palabras, en texto común en inglés.<ref>{{Cita web|url=https://platform.openai.com/|título=OpenAI API|fechaacceso=2023-04-30|sitioweb=platform.openai.com|idioma=en|urlarchivo=https://web.archive.org/web/20230423211308/https://platform.openai.com/tokenizer|fechaarchivo=2023-04-23}}</ref> El texto en inglés poco común es menos predecible, por lo tanto, menos comprimible, por lo que requiere más tokens / toquemas para codificar.

Un tokenizador (toquemizador) no puede generar enteros arbitrarios. Por lo general, solo generan números enteros en el rango <math>\{0, 1, 2, ..., V-1\}</math>, donde <math>V</math> se llama su tamaño de vocabulario.

Algunos tokenizadores / toquemizadores son capaces de manejar texto arbitrario (generalmente al operar directamente en [[Unicode]]), pero otros no. Al encontrar texto no codificable, un tokenizador / toquemizador generaría un token / toquema especial (a menudo 0) que representa "texto desconocido". Esto a menudo se escribe como [UNK], como en el documento BERT.

Otro token / toquema especial que se usa comúnmente es [PAD] (a menudo 1), para "relleno". Esto se usa porque los LLM generalmente se usan en lotes de texto a la vez, y estos textos no se codifican con la misma longitud. Dado que los LLM generalmente requieren que la entrada sea una matriz no irregular, los textos codificados más cortos deben rellenarse hasta que coincidan con la longitud del más largo.

=== Output ===
El output de un LLM es una distribución de probabilidad sobre su vocabulario. Esto generalmente se implementa de la siguiente manera:

* Al recibir un texto, la mayor parte del LLM genera un vector <math>y\in \R^V</math> dónde <math>V</math> es su tamaño de vocabulario (definido arriba).
* el vector <math>y</math> se pasa a través de una [[Función SoftMax|función softmax]] para obtener <math>softmax(y)</math>.

En el proceso, el vector <math>y</math> generalmente se llama el vector [[logit]] no normalizado, y el vector <math>softmax(y)</math> se llama vector de probabilidad. Dado que el vector <math>softmax(y)</math> tiene <math>V</math> entradas, todas no negativas, y suman 1, podemos interpretarlo como una distribución de probabilidad sobre <math>\{0, 1, 2, ..., V-1\}</math> —es decir, es una distribución de probabilidad sobre el vocabulario del LLM.

Considerar que la función softmax se define matemáticamente sin parámetros para variar. En consecuencia, no está entrenada.

== Entrenamiento ==
La mayoría de los LLM se entrenan mediante preentrenamiento generativo, es decir, dado un conjunto de datos de entrenamiento de tokens de texto, el modelo predice los tokens en el conjunto de datos. Hay dos estilos generales de preentrenamiento generativo:<ref>{{Cita publicación|url=https://www.researchgate.net/publication/338931711|título=A Short Survey of Pre-trained Language Models for Conversational AI-A New Age in NLP|apellidos=Zaib|nombre=Munazza|apellidos2=Sheng|nombre2=Quan Z.|fecha=2020-02-04|publicación=Proceedings of the Australasian Computer Science Week Multiconference|páginas=1–4|doi=10.1145/3373017.3373028|isbn=9781450376976|apellidos3=Emma Zhang|nombre3=Wei|arxiv=2104.10810}}</ref>

* autorregresivo (estilo GPT, "predecir la siguiente palabra"): Dado un segmento de texto como "Me gusta comer", el modelo predice los siguientes tokens, como "helado".
* enmascarado ("estilo BERT",<ref name=":1" />  "[[prueba cloze]]"): dado un segmento de texto como "Me gusta [MASCARILLA] [MASCARILLA] crema", el modelo predice los tokens enmascarados, como "comer helado".

Los LLM pueden recibir capacitación en tareas auxiliares que prueban su comprensión de la distribución de datos, como la predicción de la siguiente oración (NSP), en la que se presentan pares de oraciones y el modelo debe predecir si aparecen consecutivamente en el corpus de capacitación.<ref name=":1" /> 

Por lo general, los LLM están capacitados para minimizar una función de pérdida específica: la [[Función de verosimilitud|probabilidad logarítmica]] negativa promedio por token (también llamada [[Entropía cruzada|pérdida de entropía cruzada]]).<ref>{{Cita libro|título=The Mathematics of Information Coding, Extraction and Distribution|url=https://books.google.de/books?id=jDrp4QEGioMC&dq=%22logarithmic+loss%22+%22log+loss%22&pg=PA82&redir_esc=y#v=onepage&q=%22logarithmic%20loss%22%20%22log%20loss%22&f=false|editorial=Springer Science & Business Media|fecha=1998-12-07|fechaacceso=2023-05-08|isbn=978-0-387-98665-4|idioma=en|nombre=George|apellidos=Cybenko|nombre2=Dianne P.|apellidos2=O'Leary|nombre3=Jorma|apellidos3=Rissanen}}</ref> Por ejemplo. si un modelo autorregresivo, dado "Me gusta comer", predice una distribución de probabilidad <math>Pr( \cdot | \text{Me gusta comer})</math> entonces la pérdida de probabilidad logarítmica negativa en este token es <math>-\log Pr( \text{helado} | \text{Me gusta comer}) </math>.

Durante el entrenamiento, la pérdida [[Regularización (matemáticas)|de regularización]] también se utiliza para estabilizar el entrenamiento. Sin embargo, la pérdida de regularización generalmente no se usa durante las pruebas y la evaluación. También hay muchos más criterios de evaluación más allá de la probabilidad logarítmica negativa. 

Los primeros LLM se formaron en un [[Corpus lingüístico|corpus linguítico]] que tenía una dimensión de miles de millones de palabras.

[[OpenAI|GPT-1]], el primer modelo de la serie numerada de modelos de transformadores preentrenados generativos de [[OpenAI]], se entrenó en 2018 en BookCorpus, que consta de 985 millones de palabras.<ref>{{Cita publicación|url=https://www.cv-foundation.org/openaccess/content_iccv_2015/papers/Zhu_Aligning_Books_and_ICCV_2015_paper.pdf|título=Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books|apellidos=Zhu|nombre=Yukun|apellidos2=Kiros|nombre2=Ryan|fecha=December 2015|publicación=2015 IEEE International Conference on Computer Vision (ICCV)|páginas=19–27|fechaacceso=2023-04-11|doi=10.1109/ICCV.2015.11|isbn=978-1-4673-8391-2|apellidos3=Zemel|nombre3=Rich|apellidos4=Salakhutdinov|nombre4=Ruslan|apellidos5=Urtasun|nombre5=Raquel|apellidos6=Torralba|nombre6=Antonio|apellidos7=Fidler|nombre7=Sanja|arxiv=1506.06724}}</ref> En el mismo año, [[BERT (modelo de lenguaje)|BERT]] se capacitó en una combinación de BookCorpus y Wikipedia en inglés, con un total de 3300 millones de palabras.<ref name=":1" />  Desde entonces, los corpus de capacitación para LLM han aumentado en órdenes de magnitud, llegando a billones de tokens.<ref name=":1" /> 

=== Costo de entrenamiento ===
Los LLM son computacionalmente costosos de entrenar. Un estudio de 2020 estimó el costo de entrenar un modelo de 1500 millones de parámetros (2 órdenes de magnitud más pequeño que el estado del arte en ese momento) en $1,6 millones.  Los avances en software y hardware han reducido sustancialmente el costo, con un documento de 2023 que informa un costo de 72,300 [[Ampere (microarquitectura)|A100-GPU]] -horas para entrenar un modelo de 12 mil millones de parámetros.<ref name="Pythia">{{Cita arXiv|last1=Biderman|first1=Stella|last2=Schoelkopf|first2=Hailey|last3=Anthony|first3=Quentin|last4=Bradley|first4=Herbie|last5=Khan|first5=Mohammad Aflah|last6=Purohit|first6=Shivanshu|last7=Prashanth|first7=USVSN Sai|title=Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling|date=April 2023|class=cs.CL|eprint=2304.01373}}</ref>Se estima que para entrenar solo una vez a [[GPT-3]], con 175 mil millones de parámetros, se necesitan $4,6 millones, para lo cual una sola RTX 8000, tardaría 665 años en terminar.<ref name="dup-0-76">{{Cita web|url=https://lambdalabs.com/blog/demystifying-gpt-3|título=OpenAI's GPT-3 Language Model: A Technical Overview|fechaacceso=2023-11-04|fecha=2020-06-03|sitioweb=lambdalabs.com|idioma=en}}</ref>

Para los LLMs basados en transformers, cuesta 6 FLOP por parámetro entrenar en un token. Debe considerarse que el costo de capacitación es mucho más alto que el costo de inferencia, donde cuesta de 1 a 2 FLOP por parámetro inferir en un token.{{cr}}

Respecto a su coste ambiental, entrenar un LLM tiene un coste energético muy alto. Esto llega a tal punto que entrenar un modelo tan solo una vez, genera las mismas emisiones de carbono que un pasajero en un vuelo de Nueva York a San Francisco.<ref>{{Cita publicación|url=https://aclanthology.org/P19-1355|título=Energy and Policy Considerations for Deep Learning in NLP|apellidos=Strubell|nombre=Emma|apellidos2=Ganesh|nombre2=Ananya|fecha=2019-07|publicación=Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics|editorial=Association for Computational Linguistics|páginas=3645–3650|fechaacceso=2023-11-04|apellidos-editor=Korhonen|nombre-editor=Anna|doi=10.18653/v1/P19-1355|apellidos3=McCallum|nombre3=Andrew}}</ref> En el caso particular de [[GPT-3]], se estima que entrenarlo una vez llega a consumir más de 1.200 MWh, produciendo más de 500 toneladas de emisiones de CO2.<ref name="dup-0-76" /> Estos costes aumentan a medida que los modelos tengan más parámetros, es decir, sean más grandes y complejos. Cada ciclo de entrenamiento requiere la dedicación exclusiva de cientos o miles de CPUs y GPUs, que soportan una gran carga computacional, además de almacenar y mover bastas cantidades de datos. Todo esto contribuye a un gran consumo energético, y genera grandes cantidades de calor.

Para reducir estos costes, una solución posible es utilizar modelos más pequeños. Estos pueden tener un desempeño similar a un modelo grande en la mayoría de las situaciones, costando alrededor de $100 para entrenar, en vez de millones. Un ejemplo de un modelo pequeño es el modelo Alpaca, desarrollado por investigadores de la [[Universidad Stanford|Universidad de Stanford]] a partir del modelo de [[Meta Platforms|Meta AI]] llamado [[LLaMA (gran modelo de lenguaje)|LLaMA]]. Este es suficientemente ligero como para correr en un ordenador de escritorio.<ref>{{Cita web|url=https://crfm.stanford.edu/2023/03/13/alpaca.html|título=Stanford CRFM|fechaacceso=2023-11-04|sitioweb=crfm.stanford.edu}}</ref>

Otra forma de reducir el coste de entrenamiento inicial es usar aprendizaje [[Aprendizaje one-shot|one-shot]] o [[Few-shot_learning_(natural_language_processing)|few-shot]] durante su ciclo de vida, lo cual permitirá al modelo aprender durante su utilización. De esta manera, no se requiere una inversión tan grande para el entrenamiento inicial, y puede aprender a medida que se utiliza.

== Aplicación a tareas posteriores (downstream tasks) ==
Entre 2018 y 2020, el método estándar para preparar un LLM para una tarea específica de procesamiento del lenguaje natural (NLP) fue ajustar el modelo con capacitación adicional específica para la tarea. Posteriormente, se descubrió que los LLM más potentes, como [[GPT-3]], pueden resolver tareas sin capacitación adicional a través de técnicas de "incitación", en las que el problema a resolver se presenta al modelo como un mensaje de texto, posiblemente con algunos ejemplos textuales de similares problemas y sus soluciones. 

=== Ajuste fino (Fine-tuning) ===
El ajuste fino es la práctica de modificar un modelo de lenguaje previamente entrenado entrenándolo (de manera supervisada) en una tarea específica (por ejemplo, [[Análisis de sentimiento|análisis de sentimientos]], [[reconocimiento de entidades nombradas]] o [[Etiquetado gramatical|etiquetado de partes del discurso]]).<ref name="d2l">{{cite book|last1=Quinn|first1=Joanne|url=https://d2l.ai/chapter_computer-vision/fine-tuning.html#steps|title=Dive into deep learning: tools for engagement|date=2020|isbn=978-1-5443-6137-6|location=Thousand Oaks, California|page=551|access-date=2023-01-10|archive-url=https://web.archive.org/web/20230110131250/https://d2l.ai/chapter_computer-vision/fine-tuning.html#steps|archive-date=2023-01-10}}</ref><ref name="cs231n">{{cite web|url=https://cs231n.github.io/transfer-learning/|title=CS231n Convolutional Neural Networks for Visual Recognition|access-date=8-5-2023|website=cs231n.github.io}}</ref> Es una forma de transferencia de aprendizaje. Por lo general, implica la introducción de un nuevo conjunto de pesos  (weights)<ref>{{Cita web|url=https://deepai.org/machine-learning-glossary-and-terms/weight-artificial-neural-network|título=What is Weight (Artificial Neural Network)?|fechaacceso=8-5-2023|sitioweb=DeepAI|idioma=en}}</ref> que conectan la capa final del modelo de lenguaje con el resultado de la tarea posterior. Los pesos originales del modelo de lenguaje pueden "congelarse", de modo que solo se aprenda la nueva capa de pesos que los conecta con la salida durante el entrenamiento. Alternativamente, los pesos originales pueden recibir pequeñas actualizaciones (posiblemente con capas anteriores congeladas).<ref name=":1" /> 

=== Indicaciones (prompting) ===
En el paradigma de indicaciones, popularizado por GPT-3,<ref name="emergentpaper"/> el problema a resolver se formula a través de un mensaje de texto, que el modelo debe resolver proporcionando una finalización (a través de [[Estadística inferencial|la inferencia]]). En las "indicaciones de pocas oportunidades", la indicación incluye una pequeña cantidad de ejemplos de pares similares (problema, solución).  Por ejemplo, una tarea de análisis de opinión de etiquetar la opinión de una reseña de una película podría solicitarse de la siguiente manera:<ref name="emergentpaper" /><pre>Reseña: Esta película apesta.
Sentimiento: negativo

Reseña: ¡Esta película es fantástica!
Sentimiento: positivo
</pre>Si el modelo da como resultado "positivo", entonces ha resuelto correctamente la tarea. En las indicaciones de disparo cero (zero-shot),<ref group="Notas">El aprendizaje de disparo cero (ZSL) es una configuración de problemas en el aprendizaje automático donde, en el momento de la prueba, un alumno observa muestras de clases que no se observaron durante el entrenamiento y necesita predecir la clase a la que pertenece. Los métodos de tiro cero generalmente funcionan asociando clases observadas y no observadas a través de alguna forma de información auxiliar, que codifica las propiedades distintivas observables de los objetos.</ref><ref>{{cite arXiv|last1=Xian|first1=Yongqin|last2=Lampert|first2=Christoph H.|last3=Schiele|first3=Bernt|last4=Akata|first4=Zeynep|date=2020-09-23|title=Zero-Shot Learning -- A Comprehensive Evaluation of the Good, the Bad and the Ugly|class=cs.CV|eprint=1707.00600}}</ref><ref name=":0" /> no se proporcionan ejemplos de resolución. Un ejemplo de un aviso de disparo cero para la misma tarea de análisis de sentimiento sería "El sentimiento asociado con la reseña de la película '¡Esta película es fantástica!' ". 

Se ha demostrado que el rendimiento de pocos disparos de los LLM logra resultados competitivos en tareas de PNL, a veces superando los enfoques de ajuste fino de última generación. Ejemplos de tales tareas de PNL son [[Traducción automática|la traducción]], [[Búsqueda de respuestas|la respuesta a preguntas]], las tareas de cloze,<ref group="Notas">Una prueba de cloze (también prueba de eliminación de cloze o prueba de oclusión) es un ejercicio, prueba o evaluación que consiste en una parte del idioma con ciertos elementos, palabras o signos eliminados (texto cloze), donde se le pide al participante que reemplace el elemento faltante.</ref> descifrar palabras y usar una palabra nueva en una oración.  La creación y optimización de dichos avisos se denomina ingeniería de avisos.

=== Ajuste de instrucciones ===
El ajuste de instrucciones es una forma de ajuste fino diseñado para facilitar interacciones de indicaciones de tiro cero más naturales y precisas. Dada una entrada de texto, un modelo de lenguaje previamente entrenado generará una terminación que coincida con la distribución del texto en el que fue entrenado. Un modelo de lenguaje ingenuo dado el mensaje "Escribe un ensayo sobre los temas principales de ''Hamlet'' ". podría proporcionar una finalización como "Se aplicará una multa por retraso del 10% por día a las presentaciones recibidas después del 17 de marzo". En el ajuste de instrucciones, el modelo de lenguaje se entrena en muchos ejemplos de tareas formuladas como instrucciones en lenguaje natural, junto con las respuestas apropiadas.

En la práctica se han aplicado diversas técnicas para la puesta punto de instrucciones.<ref name=":0" /> Un ejemplo, "autoinstrucción", ajusta el modelo de lenguaje en un conjunto de ejemplos de entrenamiento que son generados por un LLM ([[Bootstrapping (informática)|arrancado]] a partir de un pequeño conjunto inicial de ejemplos generados por humanos). 

=== Aprendizaje reforzado ===
El protocolo InstructGPT<ref>{{Cita web|url=https://doi.org/10.48550/arXiv.2203.02155|título=Training language models to follow instructions with human feedback|fechaacceso=8-5-2023|autor=Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, Ryan Lowe|fecha=4-3-2022|idioma=en}}</ref> de OpenAI implica un ajuste fino supervisado en un conjunto de datos de pares generados por humanos (solicitud, respuesta), seguido de un aprendizaje reforzado a partir de la retroalimentación humana (RLHF),<ref>{{Cita web|url=https://huggingface.co/blog/rlhf|título=Illustrating Reinforcement Learning from Human Feedback (RLHF)|fechaacceso=8-5-2023|fecha=9-12-2022|idioma=en}}</ref> en el que se supervisó y aprendió un modelo de recompensa en un conjunto de datos de preferencias humanas, luego este modelo de recompensa se utilizó para capacitar al propio LLM mediante la optimización de políticas proximales. 

== Evaluación ==

=== Perplejidad ===
La medida más utilizada del rendimiento de un modelo de lenguaje es su [[perplejidad]] en un corpus de texto dado. La perplejidad es una medida del acierto con el que un modelo puede predecir el contenido de un conjunto de datos; cuanto mayor sea la probabilidad que el modelo asigna al conjunto de datos, menor será la perplejidad. Matemáticamente, la perplejidad se define como el exponencial de la probabilidad logarítmica negativa promedio por token:<math display="block">\log(\text{Perplexity}) = -\frac{1}{N} \sum_{i=1}^N \log(Pr(\text{token}_i | \text{context for token}_i))</math>aquí <math>N</math> es el número de tokens en el corpus de texto, y el "contexto para el token i" depende del tipo específico de LLM utilizado. Si el LLM es autorregresivo, entonces el "contexto para el token i" es el segmento de texto que aparece antes del token i. Si el LLM está enmascarado, entonces el "contexto para el token i" es el segmento de texto que rodea al token i.<ref>{{Cita web|url=https://towardsdatascience.com/perplexity-in-language-models-87a196019a94|título=Perplexity in Language Models|fechaacceso=8-5-2023|idioma=en}}</ref>

Debido a que los modelos de lenguaje pueden [[Sobreajuste|sobreajustarse]] a sus datos de entrenamiento, los modelos generalmente se evalúan por su perplejidad en un conjunto de prueba de datos no vistos.<ref name=":1">{{Cita web|url=https://web.stanford.edu/~jurafsky/slp3/ed3book_jan72023.pdf|título=Speech and Language Processing
An Introduction to Natural Language Processing,
Computational Linguistics, and Speech Recognition|fechaacceso=8-5-2023|autor=Jurafsky, Dan; Martin, James H.|fecha=7-1-2023}}</ref> Esto presenta desafíos particulares para la evaluación de grandes modelos de lenguaje. A medida que se entrenan en corpus de texto cada vez más grandes extraídos en gran parte de la web, es cada vez más probable que los datos de entrenamiento de los modelos incluyan inadvertidamente partes de cualquier conjunto de prueba dado.<ref name=":0">{{Cita web|url=https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf|título=Language Models are Few-Shot Learners|fechaacceso=8-5-2023|autor=Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario (Dec 2020). Larochelle, H.; Ranzato, M.; Hadsell, R.; Balcan, M.F.; Lin, H.|editorial=Curran Associates, Inc. 33: 1877–1901.}}</ref>

=== Conjuntos de datos y puntos de referencia específicos de la tarea ===
También se ha desarrollado una gran cantidad de conjuntos de datos de prueba y puntos de referencia para evaluar las capacidades de los modelos de lenguaje en tareas posteriores más específicas. Las pruebas pueden diseñarse para evaluar una variedad de capacidades, incluido el conocimiento general, el razonamiento de sentido común y la resolución de problemas matemáticos.

Una amplia categoría de conjuntos de datos de evaluación son los conjuntos de datos de preguntas y respuestas, que consisten en pares de preguntas y respuestas correctas, por ejemplo, ("¿Han ganado los San Jose Sharks la Copa Stanley?"). , "No").<ref name=":2">{{Cita publicación|url=http://arxiv.org/abs/1905.10044|título=BoolQ: Exploring the Surprising Difficulty of Natural Yes/No Questions|apellidos=Clark|nombre=Christopher|apellidos2=Lee|nombre2=Kenton|fecha=2019-05-24|publicación=arXiv:1905.10044 [cs]|fechaacceso=2023-05-08|apellidos3=Chang|nombre3=Ming-Wei|apellidos4=Kwiatkowski|nombre4=Tom|apellidos5=Collins|nombre5=Michael|apellidos6=Toutanova|nombre6=Kristina}}</ref> Una tarea de respuesta a una pregunta se considera un "libro abierto" si el mensaje del modelo incluye texto del que se puede derivar la respuesta esperada (por ejemplo, la pregunta anterior podría ir acompañada de algún texto que incluya la oración "Los Shraks han avanzado a la Copa Stanley finales una vez, perdiendo ante los Pittsburgh Penguins en 2016").<ref name=":2" /> De lo contrario, la tarea se considera "libro cerrado" y el modelo debe basarse en el conocimiento retenido durante el entrenamiento.<ref name=":3">{{Cita publicación|url=http://arxiv.org/abs/2303.18223|título=A Survey of Large Language Models|apellidos=Zhao|nombre=Wayne Xin|apellidos2=Zhou|nombre2=Kun|fecha=2023-04-28|publicación=arXiv:2303.18223 [cs]|fechaacceso=2023-05-08|apellidos3=Li|nombre3=Junyi|apellidos4=Tang|nombre4=Tianyi|apellidos5=Wang|nombre5=Xiaolei|apellidos6=Hou|nombre6=Yupeng|apellidos7=Min|nombre7=Yingqian|apellidos8=Zhang|nombre8=Beichen|apellidos9=Zhang|nombre9=Junjie}}</ref>  Algunos ejemplos de conjuntos de datos de respuesta a preguntas de uso común incluyen TruthfulQA, Web Questions, TriviaQA y SQuAD.<ref name=":3" />

Los conjuntos de datos de evaluación también pueden tomar la forma de finalización de texto, haciendo que el modelo seleccione la palabra o la oración más probable para completar un mensaje, por ejemplo: "Alice era amiga de Bob. Alice fue a visitar a su amiga, ___".<ref name=":0" />

También se han desarrollado algunos puntos de referencia compuestos que combinan una diversidad de diferentes conjuntos de datos y tareas de evaluación. Los ejemplos incluyen GLUE, SuperGLUE, MMLU, BIG-bench y HELM.<ref>{{Cita web|url=https://thegradient.pub/understanding-evaluation-metrics-for-language-models/|título=Evaluation Metrics for Language Modeling|fechaacceso=2023-05-08|autor=Chip Huyen|fecha=2019-10-19|sitioweb=The Gradient|idioma=en}}</ref><ref name=":3" /> 

Anteriormente, era estándar informar los resultados en una parte retenida de un conjunto de datos de evaluación después de realizar un ajuste fino supervisado en el resto. Ahora es más común evaluar un modelo previamente entrenado directamente a través de técnicas de indicación, aunque los investigadores varían en los detalles de cómo formulan las indicaciones para tareas particulares, particularmente con respecto a cuántos ejemplos de tareas resueltas se adjuntan a la indicación (es decir, el valor de ''n'' en la solicitud ''de n'' disparos).   
==== Evaluaciones construidas adversarialmente ====
Debido al rápido ritmo de mejora de los grandes modelos de lenguaje, los puntos de referencia de evaluación han sufrido una vida útil corta, con modelos de última generación que "saturan" rápidamente los puntos de referencia existentes, superando el rendimiento de los anotadores humanos, lo que lleva a esfuerzos para reemplazar o aumentar el punto de referencia con tareas más desafiantes.<ref>{{Cita publicación|url=http://arxiv.org/abs/2206.04615|título=Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models|apellidos=Srivastava|nombre=Aarohi|apellidos2=Rastogi|nombre2=Abhinav|fecha=2022-06-10|publicación=arXiv:2206.04615 [cs, stat]|fechaacceso=2023-05-08|apellidos3=Rao|nombre3=Abhishek|apellidos4=Shoeb|nombre4=Abu Awal Md|apellidos5=Abid|nombre5=Abubakar|apellidos6=Fisch|nombre6=Adam|apellidos7=Brown|nombre7=Adam R.|apellidos8=Santoro|nombre8=Adam|apellidos9=Gupta|nombre9=Aditya}}</ref>

Algunos conjuntos de datos se han construido de manera contradictoria, centrándose en problemas particulares en los que los modelos de lenguaje existentes parecen tener un rendimiento inusualmente bajo en comparación con los humanos. Un ejemplo es el conjunto de datos TruthfulQA, un conjunto de datos de respuesta a preguntas que consta de 817 preguntas cuyos modelos de lenguaje son susceptibles de responder incorrectamente al imitar falsedades a las que fueron expuestos repetidamente durante el entrenamiento. Por ejemplo, un LLM puede responder "No" a la pregunta "¿Puedes enseñarle trucos nuevos a un perro viejo?" Debido a su exposición al idioma inglés '', no puedes enseñarle nuevos trucos a un perro viejo'',<ref>{{Cita web|url=https://dictionary.cambridge.org/dictionary/english/you-can-t-teach-an-old-dog-new-tricks|título=you can't teach an old dog new tricks|fechaacceso=9-5-2023}}</ref> aunque esto no es literalmente cierto.<ref>{{Cita publicación|url=http://arxiv.org/abs/2109.07958|título=TruthfulQA: Measuring How Models Mimic Human Falsehoods|apellidos=Lin|nombre=Stephanie|apellidos2=Hilton|nombre2=Jacob|fecha=2022-05-07|publicación=arXiv:2109.07958 [cs]|fechaacceso=2023-05-08|apellidos3=Evans|nombre3=Owain}}</ref> 

Otro ejemplo de un conjunto de datos de evaluación contradictorio es Swag y su sucesor, HellaSwag, colecciones de problemas en los que se debe seleccionar una de múltiples opciones para completar un pasaje de texto. Las finalizaciones incorrectas se generaron mediante el muestreo de un modelo de lenguaje y el filtrado con un conjunto de clasificadores. Los problemas resultantes son triviales para los humanos, pero en el momento en que se crearon los conjuntos de datos, los modelos de lenguaje de última generación tenían poca precisión. Por ejemplo: 
<blockquote>Vemos un cartel de un gimnasio. Luego vemos a un hombre hablando a la cámara y sentado y acostado sobre una pelota de ejercicios. El hombre... a) demuestra cómo aumentar el trabajo de ejercicio eficiente corriendo pelotas hacia arriba y hacia abajo. b) mueve todos sus brazos y piernas y desarrolla mucho músculo. c) luego toca la pelota y vemos una demostración de gráficos y poda de setos. d) realiza abdominales mientras tiene la pelota y habla.<ref name=":4">{{Cita publicación|url=http://arxiv.org/abs/1905.07830|título=HellaSwag: Can a Machine Really Finish Your Sentence?|apellidos=Zellers|nombre=Rowan|apellidos2=Holtzman|nombre2=Ari|fecha=2019-05-19|publicación=arXiv:1905.07830 [cs]|fechaacceso=2023-05-08|apellidos3=Bisk|nombre3=Yonatan|apellidos4=Farhadi|nombre4=Ali|apellidos5=Choi|nombre5=Yejin}}</ref> </blockquote>[[BERT (modelo de lenguaje)|BERT]] selecciona b) como la finalización más probable, aunque la respuesta correcta es d).<ref name=":4" /> 

== Lista de modelos grandes de lenguaje ==
{| class="wikitable sortable"
|+Lista de modelos grandes de lenguaje
!Nombre
!Fecha<ref group="Notas">Esta es la fecha en que se publicó por primera vez la documentación que describe la arquitectura del modelo.</ref>
!Empresa
!Número de parámetros{{efn|En muchos casos, los investigadores publican o informan sobre múltiples versiones de un modelo que tiene diferentes tamaños. En estos casos, aquí se indica el tamaño del modelo más grande.|group=Notas}}
!Tamaño
!Licencia{{efn|Esta es la licencia de los modelos pre-entrenados. En casi todos los casos, el código de entrenamiento en sí es de código abierto o se puede replicar fácilmente.|group=Notas}}
!Notas
|-
|[[BERT (modelo de lenguaje)|BERT]]
|2018
|[[Google]]
|{{Orden|340000000|340 millones}}<ref name="Sin_nombre-20230526131542">{{Cita publicación|url=http://arxiv.org/abs/1810.04805|título=BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding|apellidos=Devlin|nombre=Jacob|apellidos2=Chang|nombre2=Ming-Wei|fecha=2019-05-24|publicación=arXiv:1810.04805 [cs]|fechaacceso=2023-05-08|apellidos3=Lee|nombre3=Kenton|apellidos4=Toutanova|nombre4=Kristina}}</ref>
|{{Orden|3300000000|3.3 miles de millones}} de palabras<ref name="Sin_nombre-20230526131542"/>|| {{yes|Apache 2.0}}<ref name=bert-web>{{Cite web|url=https://github.com/google-research/bert|title=BERT|date=2023-03-13|via=GitHub}}</ref>
|Un modelo de lenguaje temprano e influyente, pero solo codificador y, por lo tanto, no está diseñado para ser impulsado (prompted) o generativo.<ref>{{Cita publicación|url=https://www.semanticscholar.org/paper/Bidirectional-Language-Models-Are-Also-Few-shot-Patel-Li/b65b7f480a61d3dd31d8117b349cabc87c8ccf6c|título=Bidirectional Language Models Are Also Few-shot Learners|apellidos=Patel|nombre=Ajay|apellidos2=Li|nombre2=Bryan|fecha=2022|publicación=ArXiv|idioma=en|apellidos3=Rasooli|nombre3=Mohammad Sadegh|apellidos4=Constant|nombre4=Noah|apellidos5=Raffel|nombre5=Colin|apellidos6=Callison-Burch|nombre6=Chris}}</ref>
|-
|XLNet
|2019
|[[Google]]
|{{Orden|340000000|~340 millones}}<ref>{{Cita web|url=https://www.kdnuggets.com/bert-roberta-distilbert-xlnet-which-one-to-use.html|título=BERT, RoBERTa, DistilBERT, XLNet: Which one to use?}}</ref>
|{{Orden|3300000000|33 miles de millones}} de palabras
|
|Una alternativa a BERT, diseñado solo como codificador<ref>{{Cita web|url=https://analyticsindiamag.com/google-introduces-new-architecture-to-reduce-cost-of-transformers/|título=Google Introduces New Architecture To Reduce Cost Of Transformers|autor=Naik|nombre=Amit Raja|fecha=2021-09-23|sitioweb=Analytics India Magazine}}</ref><ref>{{Cita publicación|url=https://arxiv.org/abs/1906.08237|título=XLNet: Generalized Autoregressive Pretraining for Language Understanding|apellidos=Yang|nombre=Zhilin|apellidos2=Dai|nombre2=Zihang|fecha=2020-01-02|publicación=arXiv:1906.08237 [cs]|fechaacceso=5 May 2023|apellidos3=Yang|nombre3=Yiming|apellidos4=Carbonell|nombre4=Jaime|apellidos5=Salakhutdinov|nombre5=Ruslan|apellidos6=Le|nombre6=Quoc V.}}</ref>
|-
|[[GPT-2]]
|2019
|[[OpenAI]]
|{{Orden|1500000000|1.5 miles de millones}}
|40GB<ref>{{Cita web|url=https://openai.com/research/better-language-models|título=Better language models and their implications|sitioweb=openai.com}}</ref> (~{{Orden|10000000000|10 miles de millones}} tokens)<ref name="LambdaLabs">{{Cita web|url=https://lambdalabs.com/blog/demystifying-gpt-3|título=OpenAI's GPT-3 Language Model: A Technical Overview|sitioweb=lambdalabs.com|idioma=en}}</ref>|| {{yes|MIT}}<ref>{{cite web|work=GitHub|title=gpt-2|url=https://github.com/openai/gpt-2|access-date=2023-03-13}}</ref>
|Modelo de propósito general basado en la arquitectura del transformer
|-
|[[GPT-3]]
|2020
|OpenAI
|{{Orden|175000000000|175 miles de millones}}<ref>{{Cita web|url=https://techcrunch.com/2022/04/28/the-emerging-types-of-language-models-and-why-they-matter/|título=The emerging types of language models and why they matter|fechaacceso=2023-05-08|apellido=Wiggers|nombre=Kyle|fecha=2022-04-28|sitioweb=TechCrunch|idioma=en-US}}</ref>
|{{Orden|499000000000|499 miles de millones}} tokens<ref name="LambdaLabs" />|| '''API web pública'''
|Una variante mejorada de GPT-3, denominada GPT-3.5, se puso a disposición del público a través de una interfaz web llamada ChatGPT en 2022.<ref>{{Cita web|url=https://openai.com/blog/chatgpt|título=Introducing ChatGPT|fechaacceso=2023-05-08|sitioweb=openai.com|idioma=en-US}}</ref>
|-
|GPT-Neo
|Marzo de 2021
|[[EleutherAI]]
|{{Orden|2700000000|2.7 miles de millones}}<ref>{{Obra citada|título=GPT Neo|url=https://github.com/EleutherAI/gpt-neo|fechaacceso=2023-05-08|fecha=2023-05-08|editorial=EleutherAI}}</ref>
|825 GiB<ref>{{Cita publicación|url=http://arxiv.org/abs/2101.00027|título=The Pile: An 800GB Dataset of Diverse Text for Language Modeling|apellidos=Gao|nombre=Leo|apellidos2=Biderman|nombre2=Stella|fecha=2020-12-31|publicación=arXiv:2101.00027 [cs]|fechaacceso=2023-05-08|apellidos3=Black|nombre3=Sid|apellidos4=Golding|nombre4=Laurence|apellidos5=Hoppe|nombre5=Travis|apellidos6=Foster|nombre6=Charles|apellidos7=Phang|nombre7=Jason|apellidos8=He|nombre8=Horace|apellidos9=Thite|nombre9=Anish}}</ref>|| {{yes|MIT}}<ref name=":5">{{Cita web|url=https://venturebeat.com/ai/gpt-3s-free-alternative-gpt-neo-is-something-to-be-excited-about/|título=GPT-3’s free alternative GPT-Neo is something to be excited about|fechaacceso=2023-05-08|fecha=2021-05-15|sitioweb=VentureBeat|idioma=en-US}}</ref>
|La primera de una serie de alternativas gratuitas de GPT-3 lanzadas por EleutherAI. GPT-Neo superó a un modelo GPT-3 de tamaño equivalente en algunos puntos de referencia, pero fue significativamente peor que el GPT-3 más grande.<ref name=":5" />
|-
|GPT-J
|Junio de 2021
|EleutherAI
|{{Orden|6000000000|6 miles de millones}}<ref>{{Cita web|url=https://www.forefront.ai/blog-posts/gpt-j-6b-an-introduction-to-the-largest-open-sourced-gpt-model|título=GPT-J-6B: An Introduction to the Largest Open Source GPT Model {{!}} Forefront|fechaacceso=2023-02-28|sitioweb=www.forefront.ai|idioma=en|fechaarchivo=9 de marzo de 2023|urlarchivo=https://web.archive.org/web/20230309205439/https://www.forefront.ai/blog-posts/gpt-j-6b-an-introduction-to-the-largest-open-sourced-gpt-model|deadurl=yes}}</ref>
|825 GiB<ref name="Pile2">{{cite arXiv|last1=Gao|first1=Leo|last2=Biderman|first2=Stella|last3=Black|first3=Sid|last4=Golding|first4=Laurence|last5=Hoppe|first5=Travis|last6=Foster|first6=Charles|last7=Phang|first7=Jason|last8=He|first8=Horace|last9=Thite|first9=Anish|last10=Nabeshima|first10=Noa|last11=Presser|first11=Shawn|last12=Leahy|first12=Connor|title=The Pile: An 800GB Dataset of Diverse Text for Language Modeling|eprint=2101.00027|date=2020-12-31|class=cs.CL}}</ref>
|825 GiB| {{yes|Apache 2.0}}
|Modelo de lenguaje de estilo GPT-3
|-
|Megatron-Turing NLG
|Octubre de 2021<ref>{{Cita web|url=https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/|título=Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, the World's Largest and Most Powerful Generative Language Model|autor=Alvi|nombre=Ali|fecha=2021-10-11|sitioweb=Microsoft Research}}</ref>
|[[Microsoft]] y [[Nvidia]]
|{{Orden|530000000000|530 miles de millones}}<ref name=":6">{{Cita publicación|url=http://arxiv.org/abs/2201.11990|título=Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model|apellidos=Smith|nombre=Shaden|apellidos2=Patwary|nombre2=Mostofa|fecha=2022-02-04|publicación=arXiv:2201.11990 [cs]|fechaacceso=2023-05-08|apellidos3=Norick|nombre3=Brandon|apellidos4=LeGresley|nombre4=Patrick|apellidos5=Rajbhandari|nombre5=Samyam|apellidos6=Casper|nombre6=Jared|apellidos7=Liu|nombre7=Zhun|apellidos8=Prabhumoye|nombre8=Shrimai|apellidos9=Zerveas|nombre9=George}}</ref>
|{{Orden|338600000000|338.6 miles de millones}} tokens<ref name=":6" />|| {{no|Acceso web restringido}}
|Arquitectura estándar pero entrenada en un clúster de supercomputación.
|-
|Ernie 3.0 Titan
|Diciembre de 2021
|[[Baidu]]
|{{Orden|260000000000|260 miles de millones}}<ref>{{Cita publicación|título=ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation|apellidos=Wang|nombre=Shuohuan|apellidos2=Sun|nombre2=Yu|fecha=2021-12-23|apellidos3=Xiang|nombre3=Yang|apellidos4=Wu|nombre4=Zhihua|apellidos5=Ding|nombre5=Siyu|apellidos6=Gong|nombre6=Weibao|apellidos7=Feng|nombre7=Shikun|apellidos8=Shang|nombre8=Junyuan|apellidos9=Zhao|nombre9=Yanbin|arxiv=2112.12731}}</ref>
|4 Tb|| {{no|Patentado}}
|LLM de idioma chino. Ernie Bot se basa en este modelo. 
|-
|Claude<ref>{{Cita web|url=https://www.anthropic.com/product|título=Product|fechaacceso=2023-03-14|sitioweb=Anthropic|idioma=en}}</ref>
|Diciembre de 2021
|Anthropic
|{{Orden|52000000000|52 miles de millones}}<ref name="AnthroArch" />
|{{Orden|400000000000|400 miles de millones}} tokens<ref name="AnthroArch">{{cite arXiv|last1=Askell|first1=Amanda|last2=Bai|first2=Yuntao|last3=Chen|first3=Anna|last4=Drain|first4=Dawn|last5=Ganguli|first5=Deep|last6=Henighan|first6=Tom|last7=Jones|first7=Andy|last8=Joseph|first8=Nicholas|last9=Mann|first9=Ben|last10=DasSarma|first10=Nova|last11=Elhage|first11=Nelson|last12=Hatfield-Dodds|first12=Zac|last13=Hernandez|first13=Danny|last14=Kernion|first14=Jackson|last15=Ndousse|first15=Kamal|last16=Olsson|first16=Catherine|last17=Amodei|first17=Dario|last18=Brown|first18=Tom|last19=Clark|first19=Jack|last20=McCandlish|first20=Sam|last21=Olah|first21=Chris|last22=Kaplan|first22=Jared|display-authors=3|title=A General Language Assistant as a Laboratory for Alignment|eprint=2112.00861|date=2021-12-09|class=cs.CL}}</ref>
| '''Beta cerrada'''
|Ajustado para el comportamiento deseable en las conversaciones.<ref>{{cite arXiv|last1=Bai|first1=Yuntao|last2=Kadavath|first2=Saurav|last3=Kundu|first3=Sandipan|last4=Askell|first4=Amanda|last5=Kernion|first5=Jackson|last6=Jones|first6=Andy|last7=Chen|first7=Anna|last8=Goldie|first8=Anna|last9=Mirhoseini|first9=Azalia|last10=McKinnon|first10=Cameron|last11=Chen|first11=Carol|last12=Olsson|first12=Catherine|last13=Olah|first13=Christopher|last14=Hernandez|first14=Danny|last15=Drain|first15=Dawn|last16=Ganguli|first16=Deep|last17=Li|first17=Dustin|last18=Tran-Johnson|first18=Eli|last19=Perez|first19=Ethan|last20=Kerr|first20=Jamie|last21=Mueller|first21=Jared|last22=Ladish|first22=Jeffrey|last23=Landau|first23=Joshua|last24=Ndousse|first24=Kamal|last25=Lukosuite|first25=Kamile|last26=Lovitt|first26=Liane|last27=Sellitto|first27=Michael|last28=Elhage|first28=Nelson|last29=Schiefer|first29=Nicholas|last30=Mercado|first30=Noemi|last31=DasSarma|first31=Nova|last32=Lasenby|first32=Robert|last33=Larson|first33=Robin|last34=Ringer|first34=Sam|last35=Johnston|first35=Scott|last36=Kravec|first36=Shauna|last37=Showk|first37=Sheer El|last38=Fort|first38=Stanislav|last39=Lanham|first39=Tamera|last40=Telleen-Lawton|first40=Timothy|last41=Conerly|first41=Tom|last42=Henighan|first42=Tom|last43=Hume|first43=Tristan|last44=Bowman|first44=Samuel R.|last45=Hatfield-Dodds|first45=Zac|last46=Mann|first46=Ben|last47=Amodei|first47=Dario|last48=Joseph|first48=Nicholas|last49=McCandlish|first49=Sam|last50=Brown|first50=Tom|last51=Kaplan|first51=Jared|display-authors=3|title=Constitutional AI: Harmlessness from AI Feedback|eprint=2212.08073|date=2022-12-15|class=cs.CL}}</ref>
|-
|GLaM (Generalist Language Model)
|Diciembre de 2021
|Google
|{{Orden|1200000000000|1.2 trillion}}<ref name=":7">{{Cita web|url=https://ai.googleblog.com/2021/12/more-efficient-in-context-learning-with.html|título=More Efficient In-Context Learning with GLaM|fechaacceso=2023-05-08|sitioweb=ai.googleblog.com|idioma=en}}</ref>
|{{Orden|1600000000000|1.6 trillion}} tokens<ref name=":7" />|| {{no|Patentado}}
|Modelo reducido de expertos, lo que hace que sea más costoso entrenar pero más barato ejecutar inferencias en comparación con GPT-3.
|-
|Gopher
|Diciembre de 2021
|[[DeepMind]]
|{{Orden|280000000000|280 miles de millones}}<ref>{{Cita web|url=https://www.deepmind.com/blog/language-modelling-at-scale-gopher-ethical-considerations-and-retrieval|título=Language modelling at scale: Gopher, ethical considerations, and retrieval|fechaacceso=2023-03-20|sitioweb=www.deepmind.com|idioma=en}}</ref>
|300 mil millones de tokens<ref>{{Cita publicación|url=http://arxiv.org/abs/2203.15556|título=Training Compute-Optimal Large Language Models|apellidos=Hoffmann|nombre=Jordan|apellidos2=Borgeaud|nombre2=Sebastian|fecha=2022-03-29|publicación=arXiv:2203.15556 [cs]|fechaacceso=2023-05-08|apellidos3=Mensch|nombre3=Arthur|apellidos4=Buchatskaya|nombre4=Elena|apellidos5=Cai|nombre5=Trevor|apellidos6=Rutherford|nombre6=Eliza|apellidos7=Casas|nombre7=Diego de Las|apellidos8=Hendricks|nombre8=Lisa Anne|apellidos9=Welbl|nombre9=Johannes}}</ref>
|{{no|Patentado}}
|
|-
|[[LaMDA]] (Language Models for Dialog Applications)
|Enero de 2022
|Google
|{{Orden|137000000000|137 miles de millones}}<ref>{{Cita web|url=https://ai.googleblog.com/2022/01/lamda-towards-safe-grounded-and-high.html|título=LaMDA: Towards Safe, Grounded, and High-Quality Dialog Models for Everything|fechaacceso=2023-05-08|sitioweb=ai.googleblog.com|idioma=en}}</ref>
|1.56T de palabras, {{Orden|168000000000|168 miles de millones}} tokens<ref name="hoffman">{{cite arXiv|last1=Hoffmann|first1=Jordan|last2=Borgeaud|first2=Sebastian|last3=Mensch|first3=Arthur|last4=Buchatskaya|first4=Elena|last5=Cai|first5=Trevor|last6=Rutherford|first6=Eliza|last7=Casas|first7=Diego de Las|last8=Hendricks|first8=Lisa Anne|last9=Welbl|first9=Johannes|last10=Clark|first10=Aidan|last11=Hennigan|first11=Tom|last12=Noland|first12=Eric|last13=Millican|first13=Katie|last14=Driessche|first14=George van den|last15=Damoc|first15=Bogdan|last16=Guy|first16=Aurelia|last17=Osindero|first17=Simon|last18=Simonyan|first18=Karen|last19=Elsen|first19=Erich|last20=Rae|first20=Jack W.|last21=Vinyals|first21=Oriol|last22=Sifre|first22=Laurent|title=Training Compute-Optimal Large Language Models|eprint=2203.15556|date=2022-03-29|class=cs.CL|display-authors=3}}</ref>
|{{no|Patentado}}
|Especializado para la generación de respuestas en conversaciones. Se utiliza en el chatbot Google Bard.
|-
|GPT-NeoX
|Febrero de 2022
|EleutherAI
|{{Orden|20000000000|20 miles de millones}}<ref name="gpt-neox-20b">{{Cita conferencia|conferencia=Proceedings of BigScience Episode #5 -- Workshop on Challenges & Perspectives in Creating Large Language Models|fecha=2022-05-01|volumen=Proceedings of BigScience Episode #5 -- Workshop on Challenges & Perspectives in Creating Large Language Models|páginas=95–136}}</ref>
|825 GiB|825 GiB<ref name="Pile">{{cite arXiv|last1=Gao|first1=Leo|last2=Biderman|first2=Stella|last3=Black|first3=Sid|last4=Golding|first4=Laurence|last5=Hoppe|first5=Travis|last6=Foster|first6=Charles|last7=Phang|first7=Jason|last8=He|first8=Horace|last9=Thite|first9=Anish|last10=Nabeshima|first10=Noa|last11=Presser|first11=Shawn|last12=Leahy|first12=Connor|title=The Pile: An 800GB Dataset of Diverse Text for Language Modeling|eprint=2101.00027|date=2020-12-31|class=cs.CL}}</ref>
|{{yes|Apache 2.0}}
|Basado en la arquitectura Megatron
|-
|[[Chinchilla AI|Chinchilla]]
|Marzo de 2022
|[[DeepMind]]
|{{Orden|70000000000|70 miles de millones}}<ref name=":8">{{Cita web|url=https://www.deepmind.com/blog/an-empirical-analysis-of-compute-optimal-large-language-model-training|título=An empirical analysis of compute-optimal large language model training|fechaacceso=2023-05-08|autor=Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Laurent Sifre|fecha=12-4-2022|sitioweb=www.deepmind.com|idioma=en}}</ref>
|{{Orden|1400000000000|1.4 trillion}} tokens<ref name=":8" />|| {{no|Patentado}}
|Modelo de parámetros reducidos entrenado con más datos. Usado en el bot Sparrow.
|-
|PaLM (Pathways Language Model)
|Abril de 2022
|Google
|{{Orden|540000000000|540 miles de millones}}<ref>{{Cita web|url=https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html|título=Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance|fechaacceso=2023-05-08|autor=Sharan Narang and Aakanksha Chowdhery|fecha=4-4-2022|sitioweb=ai.googleblog.com|idioma=en}}</ref>
|{{Orden|768000000000|768 miles de millones}} tokens<ref name=":8" />|| {{no|Patentado}}
|Destinado a alcanzar los límites prácticos de la escala del modelo
|-
|OPT (Open Pretrained Transformer)
|Mayo de 2022
|[[Meta Platforms|Meta]]
|{{Orden|175000000000|175 miles de millones}}<ref>{{Cita web|url=https://ai.facebook.com/blog/democratizing-access-to-large-scale-language-models-with-opt-175b/|título=Democratizing access to large-scale language models with OPT-175B|sitioweb=ai.facebook.com|idioma=en}}</ref>
|{{Orden|180000000000|180 miles de millones}} tokens|| '''Investigación no comercial'''{{efn|The smaller models including 66B are publicly available, while the 175B model is available on request.}}
|Arquitectura GPT-3 con algunas adaptaciones de Megatron
|-
|YaLM 100B
|Junio de 2022
|[[Yandex]]
|{{Orden|100000000000|100 miles de millones}}<ref name="yalm-repo">{{Obra citada|título=YaLM 100B|apellidos=Khrushchev|nombre=Mikhail|url=https://github.com/yandex/YaLM-100B|fechaacceso=2023-03-18|fecha=2022-06-22|apellidos2=Vasilev|nombre2=Ruslan|apellidos3=Petrov|nombre3=Alexey|apellidos4=Zinov|nombre4=Nikolay}}</ref>
|1.7TB<ref name="yalm-repo" />
|{{Yes|Apache 2.0}}
|Modelo inglés-ruso basado en Megatron-LM de Microsoft.
|-
|Minerva
|Junio de 2022
|Google
|{{Orden|540000000000|540 miles de millones}}<ref name=":9">{{Cita publicación|url=http://arxiv.org/abs/2206.14858|título=Solving Quantitative Reasoning Problems with Language Models|apellidos=Lewkowycz|nombre=Aitor|apellidos2=Andreassen|nombre2=Anders|fecha=2022-06-30|publicación=arXiv:2206.14858 [cs]|fechaacceso=2023-05-08|apellidos3=Dohan|nombre3=David|apellidos4=Dyer|nombre4=Ethan|apellidos5=Michalewski|nombre5=Henryk|apellidos6=Ramasesh|nombre6=Vinay|apellidos7=Slone|nombre7=Ambrose|apellidos8=Anil|nombre8=Cem|apellidos9=Schlag|nombre9=Imanol}}</ref>
|38.5B tokens de páginas web filtradas para contenido matemático y de artículos enviados al servidor de preimpresión arXiv<ref name=":9" />|| {{no|Patentado}}
|LLM capacitado para resolver "cuestiones matemáticas y científicas utilizando el razonamiento paso a paso".<ref>{{Cita web|url=https://ai.googleblog.com/2022/06/minerva-solving-quantitative-reasoning.html|título=Minerva: Solving Quantitative Reasoning Problems with Language Models|fechaacceso=2023-05-08|autor=Ethan Dyer and Guy Gur-Ari|fecha=30-6-2022|sitioweb=ai.googleblog.com|idioma=en}}</ref> Minerva se basa en el modelo PaLM, más capacitado en datos matemáticos y científicos.
|-
|BLOOM
|Julio de 2022
|Gran colaboración liderada por [[Hugging Face]]
|{{Orden|175000000000|175 miles de millones}}<ref>{{Cita publicación|url=https://www.nature.com/articles/d41586-023-00641-w|título=In AI, is bigger always better?|apellidos=Ananthaswamy|nombre=Anil|fecha=2023-03-08|publicación=Nature|volumen=615|número=7951|páginas=202–205|fechaacceso=2023-05-08|idioma=en|doi=10.1038/d41586-023-00641-w}}</ref>
|{{Orden|350000000000|350 miles de millones}} tokens (1.6TB)<ref>{{Cita web|url=https://huggingface.co/bigscience/bloom|título=bigscience/bloom · Hugging Face|sitioweb=huggingface.co}}</ref>|| {{yes|IA responsable}}
|Esencialmente GPT-3 pero entrenado en un corpus multilingüe (30% inglés excluyendo lenguajes de programación)
|-
|Galactica
|Noviembre de 2022
|[[Meta Platforms|Meta]]
|{{Orden|120000000000|120 miles de millones}}
|{{Orden|350000000000|106 miles de millones}} tokens<ref>{{Cita publicación|url=http://arxiv.org/abs/2211.09085|título=Galactica: A Large Language Model for Science|apellidos=Taylor|nombre=Ross|apellidos2=Kardas|nombre2=Marcin|fecha=2022-11-16|publicación=arXiv:2211.09085 [cs, stat]|fechaacceso=2023-05-08|apellidos3=Cucurull|nombre3=Guillem|apellidos4=Scialom|nombre4=Thomas|apellidos5=Hartshorn|nombre5=Anthony|apellidos6=Saravia|nombre6=Elvis|apellidos7=Poulton|nombre7=Andrew|apellidos8=Kerkez|nombre8=Viktor|apellidos9=Stojnic|nombre9=Robert}}</ref>|| '''CC-BY-NC-4.0'''
|Entrenado en texto científico y modalidades.
|-
| [[Amazon Alexa|AlexaTM]] (Teacher Models) || Noviembre de 2022 || [[Amazon]]|| {{sort|20000000000|20 billion}}<ref>"20B-parameter Alexa model sets new marks in few-shot learning". Amazon Science. 2 de agosto de 2022.</ref>|| {{sort|1300000000000|1.3 trillion}}<ref>{{cite arXiv |last1=Soltan |first1=Saleh |last2=Ananthakrishnan |first2=Shankar |last3=FitzGerald |first3=Jack |last4=Gupta |first4=Rahul |last5=Hamza |first5=Wael |last6=Khan |first6=Haidar |last7=Peris |first7=Charith |last8=Rawls |first8=Stephen |last9=Rosenbaum |first9=Andy |last10=Rumshisky |first10=Anna |last11=Prakash |first11=Chandana Satya |last12=Sridhar |first12=Mukund |last13=Triefenbach |first13=Fabian |last14=Verma |first14=Apurv |last15=Tur |first15=Gokhan |last16=Natarajan |first16=Prem |display-authors=3|title=AlexaTM 20B: Few-Shot Learning Using a Large-Scale Multilingual Seq2Seq Model |eprint=2208.01448 |date=2022-08-03|class=cs.CL }}</ref> || '''API web pública''' <ref>"AlexaTM 20B is now available in Amazon SageMaker JumpStart | AWS Machine Learning Blog". aws.amazon.com. 17 de noviembre de  2022. Consultado el 8 de mayo de 2023.</ref>
| arquitectura bidireccional de secuencia a secuencia
|-
|[[LLaMA (gran modelo de lenguaje)|LLaMA]] (Large Language Model Meta AI)
|Febrero de 2023
|[[Meta Platforms|Meta]]
|{{Orden|65000000000|65 miles de millones}}<ref name=":10">{{Cita web|url=https://ai.facebook.com/blog/large-language-model-llama-meta-ai/|título=Introducing LLaMA: A foundational, 65-billion-parameter language model|fechaacceso=2023-05-08|sitioweb=ai.facebook.com|idioma=es}}</ref>
|{{Orden|1400000000000|1.4 trillion}}<ref name=":10" />||
|Capacitado en un gran corpus de 20 idiomas para apuntar a un mejor rendimiento con menos parámetros. Investigadores de la Universidad de Stanford entrenaron un modelo afinado basado en pesos LLaMA, llamado Alpaca.<ref>{{Cita web|url=https://crfm.stanford.edu/2023/03/13/alpaca.html|título=Stanford CRFM|sitioweb=crfm.stanford.edu}}</ref>
|-
|[[GPT-4]]
|Marzo de 2023
|OpenAI
|Número exacto desconocido, aproximadamente 1 billón<ref group="Notas">Como se indica en el Informe técnico: "Dado el panorama competitivo y las implicaciones de seguridad de los modelos a gran escala como GPT-4, este informe no contiene más detalles sobre la arquitectura (incluido el tamaño del modelo), el hardware, el cálculo de entrenamiento, la construcción de conjuntos de datos, el entrenamiento método ..." Número aproximado en el cuadro de comparación que compara el almacenamiento relativo, del mismo informe.</ref><ref>"[https://cdn.openai.com/papers/gpt-4.pdf GPT-4 Technical Report]" (PDF). OpenAI. 2023. Archived (PDF) from the original on March 14, 2023. Retrieved March 14, 2023.</ref>
|Desconoci|| '''API web pública'''
|Disponible para usuarios de ChatGPT Plus y utilizado en varios productos.
|-
|Cerebras-GPT
|Marzo de 2023
|Cerebras
|{{Orden|13000000000|13 miles de millones}}<ref>{{Cita web|url=https://www.cerebras.net/blog/cerebras-gpt-a-family-of-open-compute-efficient-large-language-models/|título=Cerebras-GPT: A Family of Open, Compute-efficient, Large Language Models|autor=Dey|nombre=Nolan|fecha=2023-03-28|sitioweb=Cerebras}}</ref>
||| {{yes|Apache 2.0}}
|Entrenado con la fórmula de Chinchilla.
|-
|Falcon
|Marzo de 2023
|Technology Innovation Institute
|{{Orden|40000000000|40 miles de millones}}<ref name="falcon">{{Cita web|url=https://fastcompanyme.com/news/abu-dhabi-based-tii-launches-its-own-version-of-chatgpt/|título=Abu Dhabi-based TII launches its own version of ChatGPT|sitioweb=tii.ae}}</ref>
|{{Orden|1000000000000|1 Trillion}} tokens (1TB)<ref name="falcon" />|| {{no|Patentado}}
|Se afirma que el modelo usa solo el 75% del cálculo de entrenamiento de GPT-3, el 40% de Chinchilla y el 80% de PaLM-62B.
|-
|BloombergGPT
|Marzo de 2023
|[[Bloomberg L.P.]]
|{{Orden|50000000000|50 miles de millones}}
|363 miles de millones token conjunto de datos basado en las fuentes de datos de Bloomberg, plus 345 miles de millones tokens de conjuntos de datos de propósito general<ref name=":11">{{Cita publicación|título=BloombergGPT: A Large Language Model for Finance|apellidos=Wu|nombre=Shijie|apellidos2=Irsoy|nombre2=Ozan|fecha=2023-03-30|apellidos3=Lu|nombre3=Steven|apellidos4=Dabravolski|nombre4=Vadim|apellidos5=Dredze|nombre5=Mark|apellidos6=Gehrmann|nombre6=Sebastian|apellidos7=Kambadur|nombre7=Prabhanjan|apellidos8=Rosenberg|nombre8=David|apellidos9=Mann|nombre9=Gideon|arxiv=2303.17564}}</ref>|| {{no|Patentado}}
|LLM entrenado en datos financieros de fuentes patentadas, que "supera a los modelos existentes en tareas financieras por márgenes significativos sin sacrificar el rendimiento en los puntos de referencia generales de LLM" <ref name=":11" />
|-
|[[PanGu-Σ]]
|Marzo de 2023
|[[Huawei]]
|1.085 billones
|329 miles de millones tokens<ref>{{Cita publicación|título=PanGu-Σ: Towards Trillion Parameter Language Model with Sparse Heterogeneous Computing|apellidos=Ren|nombre=Xiaozhe|apellidos2=Zhou|nombre2=Pingyi|fecha=2023-03-19|apellidos3=Meng|nombre3=Xinfan|apellidos4=Huang|nombre4=Xinjing|apellidos5=Wang|nombre5=Yadao|apellidos6=Wang|nombre6=Weichao|apellidos7=Li|nombre7=Pengfei|apellidos8=Zhang|nombre8=Xiaoda|apellidos9=Podolskiy|nombre9=Alexander|arxiv=2303.10845}}</ref>|| {{no|Patentado}}
|-
|[[OpenAssistant]]<ref>{{Cita publicación|url=http://arxiv.org/abs/2304.07327|título=OpenAssistant Conversations -- Democratizing Large Language Model Alignment|apellidos=Köpf|nombre=Andreas|apellidos2=Kilcher|nombre2=Yannic|fecha=2023-04-14|publicación=arXiv:2304.07327 [cs]|apellidos3=von Rütte|nombre3=Dimitri|apellidos4=Anagnostidis|nombre4=Sotiris|apellidos5=Tam|nombre5=Zhi-Rui|apellidos6=Stevens|nombre6=Keith|apellidos7=Barhoum|nombre7=Abdullah|apellidos8=Duc|nombre8=Nguyen Minh|apellidos9=Stanley|nombre9=Oliver}}</ref>
|Marzo de 2023
|[[LAION (Large-scale Artificial Intelligence Open Network)|LAION]]
|{{Orden|17000000000|17 miles de millones}}
|1.5 billones tokens|| {{yes|Apache 2.0}}
|Entrenado en datos abiertos de colaboración colectiva
|-
|Jurassic-2<ref>{{Cita web|url=https://www.timesofisrael.com/ai21-labs-rolls-out-new-advanced-ai-language-model-to-rival-openai/|título=Tel Aviv startup rolls out new advanced AI language model to rival OpenAI|fechaacceso=2025-01-30|apellido=page|nombre=Sharon Wrobel NEW! Get email alerts when this author publishes a new article You will receive email alerts from this author Manage alert preferences on your profile page You will no longer receive email alerts from this author Manage alert preferences on your profile|sitioweb=www.timesofisrael.com|idioma=en-US}}</ref>
|Marzo de 2023
|AI21 Labs
|Desconocido
|Desconocido
|{{no|Patentado}}
|Multilenguaje<ref>{{Cita web|url=https://techcrunch.com/2023/04/13/with-bedrock-amazon-enters-the-generative-ai-race/|título=With Bedrock, Amazon enters the generative AI race {{!}} TechCrunch|fechaacceso=2025-01-30|fecha=2023-07-24|sitioweb=TechCrunch|idioma=en|urlarchivo=https://web.archive.org/web/20230724102458/https://techcrunch.com/2023/04/13/with-bedrock-amazon-enters-the-generative-ai-race/|fechaarchivo=2023-04-13|urlmuerta=sí}}</ref>
|-
| [[PaLM|PaLM 2]] (Pathways Language Model 2)<ref name="pWyLA" />|| Mayo de 2023 || Google || {{sort|340000000000|340 mil millones}}<ref name="cnbc-20230516">{{cite web|url=https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html|title=Google's newest A.I. model uses nearly five times more text data for training than its predecessor|access-date=2023-05-18|last=Elias|first=Jennifer|date=2023-05-16|work=CNBC|idioma=en|archive-url=https://web.archive.org/web/20230516225326/https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html|archive-date=2023-05-16}}</ref>|| {{sort|3600000000000|3.6 billones}} tokens<ref name="cnbc-20230516" />
| {{no|Patentado}}
| Fue usado en [[Bard (chatbot)|chatbot Bard]].<ref name="pWyLA">{{Cite web|url=https://blog.google/technology/ai/google-palm-2-ai-large-language-model/|title=Introducing PaLM 2|access-date=2023-05-18|date=2023-05-10|website=Google|idioma=en|archive-url=https://web.archive.org/web/20230518213209/https://blog.google/technology/ai/google-palm-2-ai-large-language-model/|archive-date=2023-05-18}}</ref>
|-
| Llama 2 || Julio de 2023 || [[Meta]] || {{sort|70|70 mil millones}}<ref name="meta-20230719">{{Cite web | url = https://ai.meta.com/llama/ | title = Introducing Llama 2: The Next Generation of Our Open Source Large Language Model | access-date = 2023-07-19 | website = Meta AI | date = 2023 | archive-date = 2024-01-05 | archive-url = https://web.archive.org/web/20240105234629/https://ai.meta.com/llama/ | idioma=en}}</ref> || {{sort|2000000000000|2 billones}} tokens<ref name="meta-20230719" />
| {{parcial|Licencia Llama 2}}
|-
|[[Claude (chatbot)|Claude 2]]
|Julio de 2023
|[[Anthropic]]
|Desconocido
|Desconocido
|{{no|Patentado}}
| Usado en el chatbot [[Claude (chatbot)|Claude]].<ref>{{cite web |title=Claude 2 |url=https://www.anthropic.com/index/claude-2 |website=anthropic.com |access-date=2023-12-12 |archive-date=2023-12-15 |archive-url=https://web.archive.org/web/20231215212208/https://www.anthropic.com/index/claude-2 }}</ref>
|-
|Granite 13b
|Julio de 2023
|[[IBM]]
|Desconocido
|Desconocido
| {{no|Propietario}}
| Usado in IBM Watsonx.<ref>{{Cite web |last=Nirmal |first=Dinesh |date=2023-09-07 |title=Building AI for business: IBM's Granite foundation models |url=https://www.ibm.com/blog/building-ai-for-business-ibms-granite-foundation-models |access-date=2024-08-11 |website=IBM Blog |language=en-US |archive-date=2024-07-22 |archive-url=https://web.archive.org/web/20240722083855/https://www.ibm.com/blog/building-ai-for-business-ibms-granite-foundation-models/}}</ref>
|-
| Mistral 7B || Septiembre de 2023 || Mistral AI || {{sort|7.3|7.3 miles de millones}}<ref name="mistral-20230927">{{Cite web | url = https://mistral.ai/news/announcing-mistral-7b/ | title = Announcing Mistral 7B | access-date = 2023-10-06 | website = Mistral | date = 2023 | archive-date = 2024-01-06 | archive-url = https://web.archive.org/web/20240106051047/https://mistral.ai/news/announcing-mistral-7b/|idioma=en}}</ref> 
| Desconocido
| {{yes|Apache 2.0}}
|-
|[[Claude (chatbot)|Claude 2.1]]
|Noviembre de 2023
|Anthropic
|Desconocido
|Desconocido
|{{no|Patentado}}
| Used en el chatbot Claude. Tiene una ventana de contexto 200000 tokens, o ~500 páginas.<ref>{{cite web |title=Introducing Claude 2.1 |url=https://www.anthropic.com/index/claude-2-1 |website=anthropic.com |access-date=2023-12-12 |archive-date=2023-12-15 |archive-url=https://web.archive.org/web/20231215201726/https://www.anthropic.com/index/claude-2-1 |idioma=en}}</ref>
|-
|Grok-1<ref>{{Citation |title=xai-org/grok-1 |date=2024-03-19 |url=https://github.com/xai-org/grok-1 |access-date=2024-03-19 |publisher=xai-org |archive-date=2024-05-28 |archive-url=https://web.archive.org/web/20240528170731/https://github.com/xai-org/grok-1 |idioma=en }}</ref>
|Noviembre de 2023
|[[xAI]]
|314 miles de millones
|Desconocido
| {{yes|Apache 2.0}}
| Usado en el chatbot [[Grok (chatbot)|Grok]]. Grok-1 tiene un largo de contexto de 8192 tokens y tiene acceso a X (Twitter).<ref>{{cite web |title=Grok-1 model card |url=https://x.ai/model-card/ |website=x.ai |access-date=2023-12-12|idioma=en}}</ref>
|-
|[[Gemini (modelo de lenguaje)|Gemini 1.0]]
|Diciembre 2023
|[[Google DeepMind]]
|Desconocido
|Desconocido|| {{no|Patentado}}
| Modelo multimodal, disponible en tres tamaños. Se utiliza en el [[Gemini (bot conversacional)|chatbot del mismo nombre]].<ref>{{cite web |title=Gemini – Google DeepMind |url=https://deepmind.google/technologies/gemini/#capabilities |website=deepmind.google |access-date=2023-12-12 |archive-date=2023-12-08 |archive-url=https://web.archive.org/web/20231208015607/https://deepmind.google/technologies/gemini/#capabilities |idioma=en}}</ref>
|-
|Mixtral 8x7B
|Diciembre de 2023
|Mistral AI
|46.7 miles de millones
|Desconocido
| {{yes|Apache 2.0}}
| Supera a GPT-3.5 y Llama 2 70B en muchas pruebas comparativas.<ref>{{cite web |last1=Franzen |first1=Carl |title=Mistral shocks AI community as latest open source model eclipses GPT-3.5 performance |url=https://venturebeat.com/ai/mistral-shocks-ai-community-as-latest-open-source-model-eclipses-gpt-3-5-performance/ |website=VentureBeat |access-date=2023-12-12 |date=2023-12-11 |archive-date=2023-12-11 |archive-url=https://web.archive.org/web/20231211213640/https://venturebeat.com/ai/mistral-shocks-ai-community-as-latest-open-source-model-eclipses-gpt-3-5-performance/ |idioma=en }}</ref> Modelo de [[mezcla de expertos]], con 12.900 millones de parámetros activados por token.<ref>{{cite web |date=2023-12-11 |title=Mixtral of experts |url=https://mistral.ai/news/mixtral-of-experts/ |access-date=2023-12-12 |website=mistral.ai |archive-date=2023-02-13 |archive-url=https://web.archive.org/web/20240213104049/https://mistral.ai/news/mixtral-of-experts/ |idioma=en}}</ref>
|-
|Mixtral 8x22B
|Abril de 2024
|Mistral AI
|141 miles de millones
|Desconocido
| {{yes|Apache 2.0}}
| <ref>{{Cite web |last=AI |first=Mistral |date=2024-04-17 |title=Cheaper, Better, Faster, Stronger |url=https://mistral.ai/news/mixtral-8x22b/ |access-date=2024-05-05 |website=mistral.ai |archive-date=2024-05-05 |archive-url=https://web.archive.org/web/20240505023828/https://mistral.ai/news/mixtral-8x22b/ |idioma=en}}</ref>
|-
|DeepSeek LLM
|{{Fecha|2023|11|29}}
|[[DeepSeek]]
|67 miles de millones
|2 billones de tokens<ref name="Deepseek">{{Cita web |last=DeepSeek-AI |title=DeepSeek LLM: Scaling Open-Source Language Models with Longtermism |date=2024-01-05 |url=https://arxiv.org/abs/2401.02954 |publisher=arXiv |doi=10.48550/arXiv.2401.02954 |id=arXiv:2401.02954 |last2=Bi |first2=Xiao |last3=Chen |first3=Deli |last4=Chen |first4=Guanting |last5=Chen |first5=Shanhuang |last6=Dai |first6=Damai |last7=Deng |first7=Chengqi |last8=Ding |first8=Honghui |last9=Dong |first9=Kai}}</ref>
|{{parcial| licencia DeepSeek}}
|Entrenado en texto inglés y chino. 1e24 FLOPs para 67B. 1e23 FLOPs para 7B<ref name="Deepseek" />
|-
|Phi-2
|Diciembre de 2023
|Microsoft
|2.7 miles de millones
|1.4 billones de tokens
| {{yes|MIT}}
| Entrenado con datos reales y sintéticos con calidad de libro de texto durante 14 días en 96 GPU A100.<ref name="Phi-2">{{cite web |last1=Hughes |first1=Alyssa |title=Phi-2: The surprising power of small language models |url=https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/ |website=Microsoft Research |access-date=13 December 2023 |date=2023-12-12 |archive-date=2023-12-12 |archive-url=https://web.archive.org/web/20231212232647/https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/ |idioma=en }}</ref>
|-
|[[Gemini (modelo de lenguaje)|Gemini 1.5]]
| Febrero de 2024
|[[Google DeepMind]]
|Desconocido
|Desconocido|| {{no|Patentado}}
| Modelo multimodal, basado en arquitectura de [[Mezcla de expertos]]. Ventana de contexto por encima de 1 millón de tokens.<ref>{{cite web |title=Our next-generation model: Gemini 1.5 |url=https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/#context-window |website=Google |access-date=16 February 2024 |date=15 February 2024 |quote=This means 1.5 Pro can process vast amounts of information in one go — including 1 hour of video, 11 hours of audio, codebases with over 30,000 lines of code or over 700,000 words. In our research, we’ve also successfully tested up to 10 million tokens. |archive-date=16 February 2024 |archive-url=https://web.archive.org/web/20240216003052/https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/#context-window |idioma=en }}</ref>
|-
|[[Gemini (modelo de lenguaje)|Gemini Ultra]]
|Febrero de 2024
|[[Google DeepMind]]
|Desconocido
|Desconocido||
|-
| Gemma || Febrero de 2024 || [[Google DeepMind]] || 7 mil millones || 6 billones de tokens || {{parcial|Términos de uso de Gemma}}<ref name="gemma">{{cite web|url=https://ai.google.dev/gemma/terms|title=Gemma|via=GitHub|idioma=en}}</ref>|| 
|-
|Claude 3
| Marzo de 2024
|[[Anthropic]]
|Desconocido
|Desconocido
|{{no|Patentado}}
|Incluye tres modelos: Haiku, Sonnet, and Opus.<ref>{{Cite web |title=Introducing the next generation of Claude |url=https://www.anthropic.com/news/claude-3-family |access-date=2024-03-04 |website=www.anthropic.com |archive-date=2024-03-04 |archive-url=https://web.archive.org/web/20240304143650/https://www.anthropic.com/news/claude-3-family |idioma=en }}</ref>
|-
|Nova
|Octubre de 2024
|Rubik's AI
|Desconocido
|Desconocido
|{{no|Patentado}}
|Incluye tres modelos: Nova-Instant, Nova-Air, and Nova-Pro.
|-
|DBRX
|Marzo de 2024
|[[Databricks]] y Mosaic ML
|{{sort|136|136 miles de millones}}
|12 billones de tokens
|{{Yes|Databricks Open Model License}}
|El entrenamiento costó 10 millones de USD.
|-
|Fugaku-LLM
|Mayo de 2024
|[[Fujitsu]], [[Instituto Tecnológico de Tokio]], etc.
|{{sort|13|13 miles de millones}}
|380 miles de millones de tokens
|
|El mayor modelo jamás entrenado sólo con CPU, en el supercomputador [[Fugaku (supercomputador)|Fugaku]].<ref>{{Cite web |title=Fugaku-LLM/Fugaku-LLM-13B · Hugging Face |url=https://huggingface.co/Fugaku-LLM/Fugaku-LLM-13B |access-date=2024-05-17 |website=huggingface.co |archive-date=2024-05-17 |archive-url=https://web.archive.org/web/20240517135225/https://huggingface.co/Fugaku-LLM/Fugaku-LLM-13B |idioma=ja }}</ref>
|-
|Phi-3
|Abril de 2024
|Microsoft
|14 mil millones<ref>{{cite web|title=Phi-3|url=https://azure.microsoft.com/en-us/blog/introducing-phi-3-redefining-whats-possible-with-slms|access-date=2024-04-28|website=azure.microsoft.com|date=23 April 2024|archive-date=2024-04-27|archive-url=https://web.archive.org/web/20240427043835/https://azure.microsoft.com/en-us/blog/introducing-phi-3-redefining-whats-possible-with-slms/|idioma=en}}</ref>
|4.8 billones de tokens
|{{Yes|MIT}}
|Microsoft lo comercializa como «modelo de lenguaje reducido».<ref>{{cite web|title=Phi-3 Model Documentation|url=https://huggingface.co/docs/transformers/main/en/model_doc/phi3|access-date=2024-04-28|website=huggingface.co|archive-date=2024-05-13|archive-url=https://web.archive.org/web/20240513141513/https://huggingface.co/docs/transformers/main/en/model_doc/phi3|idioma=en}}</ref> 
|-
|Granite Code Models
|Mayo de 2024
|[[IBM]]
|Desconocido
|Desconocido|| {{yes|Apache 2.0}}
|-
|[[Qwen|Qwen2]]
|Junio de 2024
|[[Alibaba Group|Alibaba Cloud]]
|72 miles de millones<ref>{{cite web|title= Qwen2|website= [[GitHub]]|url= https://github.com/QwenLM/Qwen2?spm=a3c0i.28768018.7084722650.1.5cd35c10NEqBXm&file=Qwen1.5|access-date= 2024-06-17|archive-date= 2024-06-17|archive-url= https://web.archive.org/web/20240617072401/https://github.com/QwenLM/Qwen2?spm=a3c0i.28768018.7084722650.1.5cd35c10NEqBXm&file=Qwen1.5|idioma=en}}</ref>
|3 billones de tokens
|{{parcial|Licencia Qwen}}
|Multiples tamaños, el más pequeño es de 0.5B.
|-
|DeepSeek V2
|Junio de 2024
|[[DeepSeek]]
|236 miles de millones
|8.1 billones de tokens
|{{parcial|Licence DeepSeek}}
|1.4M horas en H800.<ref>{{Cita web |last=DeepSeek-AI |title=DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model |date=2024-06-19 |url=https://arxiv.org/abs/2405.04434 |publisher=arXiv |doi=10.48550/arXiv.2405.04434 |id=arXiv:2405.04434 |last2=Liu |first2=Aixin |last3=Feng |first3=Bei |last4=Wang |first4=Bin |last5=Wang |first5=Bingxuan |last6=Liu |first6=Bo |last7=Zhao |first7=Chenggang |last8=Dengr |first8=Chengqi |last9=Ruan |first9=Chong}}</ref>
|-
|Nemotron-4
|Junio de 2024
|[[Nvidia]]
|{{sort|340|340}} miles de millones
|9 billones de tokens
|{{Yes|NVIDIA Open Model License}}
|Entrenado en 6144 GPU H100 entre diciembre de 2023 y mayo de 2024.<ref>{{Cite web |date=2024-06-14 |title=nvidia/Nemotron-4-340B-Base · Hugging Face |url=https://huggingface.co/nvidia/Nemotron-4-340B-Base |access-date=2024-06-15 |website=huggingface.co |archive-date=2024-06-15 |archive-url=https://web.archive.org/web/20240615010323/https://huggingface.co/nvidia/Nemotron-4-340B-Base}}</ref><ref>{{Cite web |title=Nemotron-4 340B {{!}} Research |url=https://research.nvidia.com/publication/2024-06_nemotron-4-340b |access-date=2024-06-15 |website=research.nvidia.com |archive-date=2024-06-15 |archive-url=https://web.archive.org/web/20240615010323/https://research.nvidia.com/publication/2024-06_nemotron-4-340b |idioma=en}}</ref>
|-
|Llama 3.1
|Julio de 2024
|Meta AI
|405 miles de millones
|15.6 billones de tokens
| {{partial|Licencia Llama 3}}
|La versión 405B tardó 31 millones de horas en H100-80GB, a 3,8E25 FLOPs.<ref>[https://ai.meta.com/research/publications/the-llama-3-herd-of-models/ "The Llama 3 Herd of Models" (July 23, 2024) Llama Team, AI @ Meta]</ref><ref>{{Cite web |title=llama-models/models/llama3_1/MODEL_CARD.md at main · meta-llama/llama-models |url=https://github.com/meta-llama/llama-models/blob/main/models/llama3_1/MODEL_CARD.md |access-date=2024-07-23 |website=GitHub |archive-date=2024-07-23 |archive-url=https://web.archive.org/web/20240723151851/https://github.com/meta-llama/llama-models/blob/main/models/llama3_1/MODEL_CARD.md |idioma=en }}</ref>
|-
|DeepSeek V3
|Diciembre de 2024
|[[DeepSeek]]
|671 miles de millones
|14.8 billones de tokens
|{{parcial|Licencia DeepSeek}}
|2.788M hours on H800 GPUs.<ref>{{Cita web |title=deepseek-ai/DeepSeek-V3 |date=2024-12-26 |url=https://github.com/deepseek-ai/DeepSeek-V3?tab=readme-ov-file |access-date=2024-12-26 |publisher=DeepSeek}}</ref>
|-
|Amazon Nova
|Diciembre de 2024
|[[Amazon]]
|Desconocido
|Desconocido
|{{no|Patentado}}
|Incluye tres modelos, Nova Micro, Nova Lite y Nova Pro.<ref>{{Cita web |title=Amazon Nova: Una nueva generación de modelos fundacionales |date=2024-12-4 |url=https://www.24horas.cl/tendencias/tecnologia-y-ciencias/amazon-nova-una-nueva-generacion-de-modelos-fundacionales |access-date=2025-01-31 |publisher=[[Televisión Nacional de Chile]]|idioma=es}}</ref>
|-
|[[DeepSeek|DeepSeek R1]]
|Enero de 2025
|[[DeepSeek]]
|671 miles de millones
|Desconocido
|{{Yes|MIT}}
|Sin preentrenamiento. Aprendizaje reforzado sobre la base V3.<ref>{{Cita web |title=deepseek-ai/DeepSeek-R1 |date=2025-01-21 |url=https://github.com/deepseek-ai/DeepSeek-R1 |access-date=2025-01-21 |publisher=DeepSeek|idioma=en}}</ref><ref>{{Cita web|last=DeepSeek-AI |title=DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning |date=2025-01-22 |url=https://arxiv.org/abs/2501.12948 |publisher=arXiv |doi=10.48550/arXiv.2501.12948 |id=arXiv:2501.12948 |last2=Guo |first2=Daya |last3=Yang |first3=Dejian |last4=Zhang |first4=Haowei |last5=Song |first5=Junxiao |last6=Zhang |first6=Ruoyu |last7=Xu |first7=Runxin |last8=Zhu |first8=Qihao |last9=Ma |first9=Shirong|idioma=en}}</ref>
|-
|[[Qwen|Qwen2.5]]
|Enero de 2025
|[[Alibaba]]
|72 miles de millones
|18 billones de tokens
|{{parcial|Licencia Qwen}}
|<ref>{{Cita web|last=Qwen |title=Qwen2.5 Technical Report |date=2025-01-03 |url=https://arxiv.org/abs/2412.15115 |publisher=arXiv |doi=10.48550/arXiv.2412.15115 |id=arXiv:2412.15115 |last2=Yang |first2=An |last3=Yang |first3=Baosong |last4=Zhang |first4=Beichen |last5=Hui |first5=Binyuan |last6=Zheng |first6=Bo |last7=Yu |first7=Bowen |last8=Li |first8=Chengyuan |last9=Liu |first9=Dayiheng|idioma=en}}</ref>
|-
|MiniMax-Text-01
|Enero de 2025
|Minimax
|456 miles de millones
|4.7 billones de tokens<ref name=":0" />
|{{parcial|Minimax Model license}}
|<ref>{{Cita web |title=MiniMax-AI/MiniMax-01 |date=2025-01-26 |url=https://github.com/MiniMax-AI/MiniMax-01?tab=readme-ov-file |access-date=2025-01-26 |publisher=MiniMax|idioma=en}}</ref><ref name="minimax">{{Cita web |last=MiniMax |title=MiniMax-01: Scaling Foundation Models with Lightning Attention |date=2025-01-14 |url=https://arxiv.org/abs/2501.08313 |access-date=2025-01-26 |publisher=arXiv |doi=10.48550/arXiv.2501.08313 |id=arXiv:2501.08313 |last2=Li |first2=Aonian |last3=Gong |first3=Bangwei |last4=Yang |first4=Bo |last5=Shan |first5=Boji |last6=Liu |first6=Chang |last7=Zhu |first7=Cheng |last8=Zhang |first8=Chunhao |last9=Guo |first9=Congchao|idioma=en}}</ref>
|-
|}

== Véase también ==

* [[Aprendizaje autosupervisado]]
* [[Modelos fundacionales]]
* [[Riesgo existencial de la inteligencia artificial]]
== Notas ==
{{listaref|group=n.}}<references group="Notas" />
<references group="Nota" />
== Referencias ==

{{listaref|2}}
{{Control de autoridades}}
[[Categoría:Procesamiento de lenguaje natural]]
[[Categoría:Modelos de lenguaje de gran tamaño]]