Las pautas estándar para crear modelos de lenguaje grandes (LLM) optimizan solo los costos de capacitación e ignoran los costos de inferencia. Esto plantea un desafío para las aplicaciones del mundo real que utilizan técnicas de escalamiento de tiempo de inferencia para aumentar la precisión de las respuestas del modelo, como extraer múltiples muestras de razonamiento de un modelo en el momento de la implementación.
Para cerrar esta brecha, investigadores de la Universidad de Wisconsin-Madison y la Universidad de Stanford han introducido Tren para probar (t2) leyes de escala, un marco que optimiza conjuntamente el tamaño de los parámetros de un modelo, su volumen de datos de entrenamiento y el número de muestras de inferencia en el momento de la prueba.
En la práctica, su enfoque demuestra que es óptimo desde el punto de vista informático entrenar modelos sustancialmente más pequeños con muchos más datos de los que prescriben las reglas tradicionales, y luego utilizar la sobrecarga computacional ahorrada para generar múltiples muestras repetidas en la inferencia.
Para los desarrolladores de aplicaciones empresariales de IA que están entrenando sus propios modelos, esta investigación proporciona un plan probado para maximizar el retorno de la inversión. Muestra que el razonamiento de la IA no requiere necesariamente gastar grandes cantidades en modelos de frontera. En cambio, los modelos más pequeños pueden generar un rendimiento más sólido en tareas complejas y, al mismo tiempo, mantener los costos de inferencia por consulta manejables dentro de los presupuestos de implementación del mundo real.
Leyes de escala conflictivas
Las leyes de escala son una parte importante del desarrollo de modelos de lenguaje grandes. Las leyes de escalamiento previo al entrenamiento dictan la mejor manera de asignar computación durante la creación del modelo, mientras que leyes de escalamiento en el tiempo de prueba guiar cómo asignar computación durante la implementación, como dejar que el modelo «piense más» o generar múltiples muestras de razonamiento para resolver problemas complejos.
El problema es que estas leyes de escala se han desarrollado de forma completamente independiente unas de otras a pesar de estar fundamentalmente entrelazadas.
El tamaño de los parámetros de un modelo y la duración del entrenamiento dictan directamente tanto la calidad como el costo por consulta de sus muestras de inferencia. Actualmente, el estándar de oro de la industria para la capacitación previa es el regla de chinchillalo que sugiere una proporción óptima de cálculo de aproximadamente 20 tokens de entrenamiento para cada parámetro del modelo.
Sin embargo, los creadores de familias de modelos de IA modernas, como Llama, Gemma y Qwen, infringen regularmente esta regla al sobreentrenar intencionalmente sus modelos más pequeños con cantidades masivas de datos.
Como dijo a VentureBeat Nicholas Roberts, coautor del artículo, el enfoque tradicional falla cuando se construyen flujos de trabajo agentes complejos: «En mi opinión, la pila de inferencia se descompone cuando cada llamada de inferencia individual es costosa. Este es el caso cuando los modelos son grandes y es necesario realizar muchos muestreos repetidos». En lugar de depender de modelos masivos, los desarrolladores pueden utilizar modelos compactos sobreentrenados para ejecutar este muestreo repetido a una fracción del costo.
Pero debido a que las leyes de escalamiento de tiempo de prueba y entrenamiento se examinan de forma aislada, no existe un marco riguroso para calcular cuánto se debe sobreentrenar un modelo en función de cuántas muestras de razonamiento necesitará generar durante la implementación.
En consecuencia, anteriormente no existía ninguna fórmula que optimizara conjuntamente el tamaño del modelo, el volumen de datos de entrenamiento y los presupuestos de inferencia en el momento de la prueba.
La razón por la que este marco es difícil de formular es que el preentrenamiento y el escalamiento en el momento de la prueba hablan dos lenguajes matemáticos diferentes. Durante el entrenamiento previo, el rendimiento de un modelo se mide mediante «pérdida», una métrica continua y fluida que rastrea los errores de predicción a medida que el modelo aprende.
En el momento de la prueba, los desarrolladores utilizan métricas posteriores del mundo real para evaluar las capacidades de razonamiento de un modelo, como pass@k, que mide la probabilidad de que un modelo produzca al menos una respuesta correcta en k intentos repetidos e independientes.
Leyes de escalamiento de tren a prueba
Para resolver la desconexión entre el entrenamiento y la implementación, los investigadores introducen Train-to-Test (T2) leyes de escala. En un nivel alto, este marco predice el rendimiento de razonamiento de un modelo al tratar tres variables como una sola ecuación: el tamaño del modelo (N), el volumen de tokens de entrenamiento de los que aprende (D) y el número de muestras de razonamiento que genera durante la inferencia (k).
t2 combina presupuestos de preentrenamiento e inferencia en una fórmula de optimización que representa tanto el costo base para entrenar el modelo (6ND) como el costo compuesto para consultarlo repetidamente en la inferencia (2Nk). Los investigadores probaron diferentes enfoques de modelado: si modelar la pérdida previa al entrenamiento o el rendimiento en el momento de la prueba (pass@k) como funciones de N, D y k.
El primer enfoque toma la conocida ecuación matemática utilizada para el escalamiento de Chinchilla (que calcula el error o pérdida de predicción de un modelo) y la modifica directamente agregando una nueva variable que representa el número de muestras repetidas en el momento de la prueba (k). Esto permite a los desarrolladores ver cómo el aumento del cálculo de inferencia reduce la tasa de error general del modelo.
El segundo enfoque modela directamente la precisión pass@k aguas abajo. Indica a los desarrolladores la probabilidad de que su aplicación resuelva un problema dado un presupuesto informático específico.
Pero, ¿deberían las empresas utilizar este marco para todas las aplicaciones? Roberts aclara que este enfoque es altamente especializado. «Me imagino que no se vería tanto beneficio en aplicaciones con mucho conocimiento, como los modelos de chat», dijo. En cambio, «T2 está diseñado para aplicaciones con mucho razonamiento, como la codificación, donde normalmente se utilizaría muestreo repetido como método de escalamiento en el tiempo de prueba».
Qué significa para los desarrolladores
Para validar la T2 leyes de escala, los investigadores construyeron un extenso banco de pruebas de más de 100 modelos de lenguaje, que van desde 5 millones hasta 901 millones de parámetros. Entrenaron desde cero 21 puntos de control nuevos, muy sobreentrenados, para probar si sus pronósticos matemáticos se cumplían en la realidad. Luego compararon los modelos en ocho tareas diversas, que incluían conjuntos de datos del mundo real como SciQ y OpenBookQA, junto con tareas sintéticas diseñadas para probar la aritmética, el razonamiento espacial y la recuperación de conocimientos.
Ambos modelos matemáticos demostraron que la frontera de cálculo óptimo se aleja drásticamente de la escala estándar de Chinchilla. Para maximizar el rendimiento con un presupuesto fijo, la opción óptima es un modelo que sea significativamente más pequeño y esté entrenado con muchos más datos de los que dicta la regla tradicional de 20 tokens por parámetro.
En sus experimentos, los modelos pequeños altamente sobreentrenados superaron consistentemente a los modelos más grandes, óptimos de Chinchilla, en las ocho tareas de evaluación cuando se tuvieron en cuenta los costos de muestreo en el momento de la prueba.
Para los desarrolladores que quieran implementar estos hallazgos, la barrera técnica es sorprendentemente baja.
«No se requiere nada sofisticado para realizar una escala de tiempo de prueba con nuestros modelos actuales», dijo Roberts. «En el momento de la implementación, los desarrolladores pueden integrar absolutamente la infraestructura que hace que el proceso de muestreo sea más eficiente (por ejemplo, almacenamiento en caché de KV si se utiliza un transformador)».
almacenamiento en caché de KV ayuda al almacenar el contexto procesado previamente para que el modelo no tenga que volver a leer el mensaje inicial desde cero para cada nueva muestra de razonamiento.
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
Sin embargo, el sobreentrenamiento extremo conlleva compensaciones prácticas. Si bien los modelos sobreentrenados pueden ser notoriamente tercos y más difíciles de ajustar, Roberts señala que cuando aplicaron un ajuste supervisado, «si bien este efecto estuvo presente, no fue lo suficientemente fuerte como para hacer que el modelo óptimo regresara a Chinchilla». La estrategia de cálculo óptimo sigue estando definitivamente sesgada hacia modelos compactos.
Sin embargo, los equipos que llevan esto al límite absoluto deben tener cuidado de no alcanzar los límites de datos físicos. «Otro ángulo es que si llevas nuestras recomendaciones de sobreentrenamiento al extremo, es posible que te quedes sin datos de entrenamiento», dijo Roberts, refiriéndose al inminente «muro de datos» donde se agotan los datos de Internet de alta calidad.
Estos experimentos confirman que si una aplicación se basa en generar múltiples muestras de razonamiento en el momento de la prueba, sobreentrenar agresivamente un modelo compacto es práctica y matemáticamente la forma más efectiva de gastar un presupuesto de computación de un extremo a otro.
Para ayudar a los desarrolladores a comenzar, el equipo de investigación planea abrir pronto sus puntos de control y código, lo que permitirá a las empresas conectar sus propios datos y probar el comportamiento de escalamiento de inmediato. En última instancia, este marco sirve como fuerza igualadora en la industria de la IA.
Esto es especialmente crucial ya que el alto precio de los modelos de frontera puede convertirse en una barrera a medida que se escalan aplicaciones agentes que dependen de modelos de razonamiento.
«t2 cambia fundamentalmente quién construye modelos de razonamiento sólidos», concluye Roberts. «Es posible que no se necesiten presupuestos informáticos masivos para obtener un razonamiento de última generación. En lugar de ello, necesita buenos datos y una asignación inteligente de su presupuesto de formación e inferencia».
