La gran mayoría de los datos empresariales son tabulares (viven en almacenes de datos, CRM y libros de contabilidad financieros), pero construir un modelo confiable a partir de ellos aún significa entrenar uno nuevo desde cero para cada conjunto de datos, luego mantener ciclos de ajuste de hiperparámetros, ingeniería de funciones y reentrenar los canales para combatir la deriva de datos. Google Research propone una forma de evitarlo: un nuevo modelo básico llamado TabFM que trata la predicción tabular como un problema de aprendizaje en contexto.
Puede generar predicciones para una tabla nueva e invisible en un solo paso hacia adelante. Para los desarrolladores empresariales y los ingenieros de IA, esto reduce el tiempo de producción de semanas de ingeniería de canalización a una única llamada API.
El desafío del ML tradicional
Para extraer predicciones confiables de un árbol impulsado por gradiente, los científicos de datos deben construir y mantener canales de datos complejos. Tienen que limpiar entradas desordenadas, imputar valores faltantes, codificar variables categóricas en formatos numéricos y diseñar cruces de características personalizadas.
Una vez que los datos están listos, deben ejecutar bucles repetitivos de optimización de hiperparámetros, buscando entre tasas de aprendizaje, profundidades de árboles, proporciones de submuestreo y cuadrículas de regularización para encontrar la mejor configuración.
Una vez implementados, estos modelos tradicionales «incurren en una deuda operativa continua a través del monitoreo de la deriva de datos y el reentrenamiento de los canales para mantener la precisión», dijo a VentureBeat Weihao Kong, investigador científico de Google Research.
Mientras tanto, el resto de la industria de la IA ha seguido adelante. Los modelos de IA generativa para texto y visión por computadora han pasado sin problemas a la inferencia de disparo cero, donde un modelo puede realizar una tarea completamente nueva simplemente con solo recibir indicaciones del contexto.
Los modelos de lenguajes grandes (LLM) ya destacan en aprendizaje en contextoEntonces, ¿por qué no podemos simplemente introducir tablas en un LLM disponible en el mercado?
Debido a que los LLM están capacitados en lenguaje natural en lugar de datos estructurados, tienen dificultades para procesar tablas directamente. En primer lugar, sus límites de contexto se agotan rápidamente en tablas de tamaño mediano que contienen sólo unos pocos miles de filas y cientos de columnas. En segundo lugar, los LLM adolecen de ineficiencia en la tokenización, ya que dividen de manera incómoda los valores numéricos y destruyen la precisión matemática. Finalmente, sufren de ceguera estructural. Cuando una tabla 2D se serializa como una cadena de texto 1D, los LLM pierden la pista de qué valor pertenece a qué fila y columna a medida que la tabla crece.
«Es por eso que, hoy en día, es mucho más efectivo usar un LLM para escribir el código que maneja la ingeniería de características y llama a XGBoost que pedirle al LLM que lea la tabla en sí», dijo Kong.
¿Qué es TabFM?
Para ejecutar inferencia con TabFM, no actualiza ningún peso del modelo. En su lugar, toma sus ejemplos históricos (las filas de entrenamiento con sus etiquetas conocidas) y sus filas de destino (los nuevos datos que desea predecir) y las pasa al modelo como un mensaje único y unificado. El modelo aprende a interpretar las relaciones entre columnas y filas directamente desde este contexto en tiempo de ejecución.
Por ejemplo, considere un analista empresarial que intenta predecir la pérdida de clientes. En lugar de crear una canalización de datos personalizada y entrenar un modelo XGBoost, pueden simplemente pasar una muestra de datos históricos de sesiones de usuario junto con una sesión nueva y activa a TabFM. En un paso hacia adelante, el modelo devuelve una probabilidad de abandono instantáneo.
TabFM supera las limitaciones de los LLM al tratar los datos como una cuadrícula, preservando su integridad estructural sin forzarlos a formar una cadena de texto unidimensional.
Para procesar eficazmente diversas estructuras tabulares y al mismo tiempo permitir una predicción escalable de disparo cero, TabFM sintetiza las fortalezas de arquitecturas experimentales anteriores, TabPFN y TabICL. PestañaPFNdesarrollado por Prior Labs, demostró por primera vez que una arquitectura de transformador podía realizar una clasificación de disparo cero en tablas pequeñas, aunque tuvo dificultades para escalar computacionalmente a conjuntos de datos más grandes.
Más tarde, PestañaICLdesarrollado por el Instituto Nacional de Investigación en Ciencia y Tecnología Digital de Francia, abordó este cuello de botella introduciendo la compresión de filas, lo que permite el aprendizaje en contexto para procesar eficientemente tablas mucho más grandes.
TabFM combina la profunda contextualización de funciones de TabPFN con la compresión eficiente de TabICL en un novedoso diseño híbrido construido sobre tres mecanismos clave:
1. Atención alternada de filas y columnas: La tabla sin formato se procesa primero a través de un módulo de atención multicapa que alterna columnas (características) y filas (ejemplos). Al prestar atención continua a estas dos dimensiones, el modelo captura de forma nativa interacciones de características complejas. Esta contextualización profunda hace el trabajo pesado que normalmente requeriría una tediosa elaboración manual de funciones por parte de científicos de datos.
2. Compresión de filas: Después de esta contextualización, la información cruzada para cada fila se comprime en una representación vectorial única y densa. TabICL fue pionero en esto mediante el uso de tokens CLS para comprimir la rica información de una fila en un vector, «a diferencia de TabPFN v2, v2.5 y v2.6, que atienden la cuadrícula de celdas completa en toda la red», explicó Kong. Esto reduce drásticamente la huella computacional.
3. Aprendizaje en contexto (ICL): Luego, un transformador causal opera en esta secuencia de incrustaciones comprimidas. Este modelo Transformer utiliza el mecanismo de atención de TabICL para atender estos densos vectores de filas, lo que reduce drásticamente el costo de cálculo y permite que el modelo procese grandes conjuntos de datos de manera eficiente.
Un importante punto de venta de TabFM es su receta de preentrenamiento. El modelo se entrenó íntegramente en cientos de millones de conjuntos de datos sintéticos. Estos conjuntos de datos se generaron dinámicamente utilizando modelos causales estructurales (SCM) que incorporan una amplia variedad de funciones aleatorias. Al capacitarse exclusivamente en SCM sintéticos, TabFM aprendió los aspectos matemáticos fundamentales de cómo interactúan las características tabulares sin ingerir archivos CSV confidenciales del mundo real.
TabFM en acción
Para probar las capacidades del modelo, los investigadores de Google compararon TabFM en TabArena, un conjunto de evaluación integral que abarca 51 conjuntos de datos tabulares diversos en 38 tareas de clasificación y 13 de regresión.
En estos puntos de referencia públicos, las predicciones cero de TabFM ya coinciden o superan las líneas de base supervisadas fuertemente ajustadas. Sin embargo, Google tiene cuidado en señalar que esto no significa automáticamente que TabFM destrone universalmente los modelos de producción personalizados e hiperoptimizados en cada carga de trabajo empresarial.
«En lugar de reemplazar los modelos de producción hiperoptimizados, el verdadero valor comercial práctico que desbloquea para los equipos de ingeniería eficiente es la velocidad», afirmó Kong. «Permite a los analistas de datos y a los ingenieros de backend crear instantáneamente modelos de referencia de alta calidad sin un equipo de ciencia de datos dedicado a gestionar un ciclo de vida complejo».
Para los profesionales avanzados que buscan obtener la máxima precisión, el equipo de investigación también introdujo una configuración «TabFM-Ensemble». Al ejecutar el modelo a través de 32 variaciones distintas y combinar los resultados, TabFM lleva el rendimiento aún más lejos.
Primeros pasos, compensaciones y el futuro de la nube
El cambio al aprendizaje en contexto para tablas introduce una nueva compensación económica que los equipos de ingeniería deben considerar.
Con los algoritmos tradicionales, el entrenamiento es lento y costoso, pero la inferencia es ultrarrápida y barata. TabFM cambia esta dinámica. Mientras que el tiempo de entrenamiento cae a cero, la inferencia se vuelve significativamente más pesada. Debido a que el modelo debe procesar todo el conjunto de datos históricos como contexto durante cada predicción, requiere más computación y memoria en tiempo de ejecución.
En este nuevo paradigma, «la capacitación tradicional en aprendizaje automático se convierte en la fase de ‘prellenado’ (almacenamiento en caché KV) en la ventana de contexto», dijo Kong. Si bien este costo de precompletar es elevado, se paga solo una vez por tabla y el caché se reutiliza en consultas posteriores. «El problema es la latencia de predicción, que ningún almacenamiento en caché elimina», añadió Kong. Cada nueva predicción requiere pasar por un gran transformador. «Cualquier API de producción que requiera tiempos de respuesta de un solo dígito y milisegundos no puede tolerar la sobrecarga de avance de TabFM».
Para los desarrolladores que buscan evaluar el modelo hoy, la barrera de entrada es baja. Google diseñó TabFM como un reemplazo directo de los flujos de trabajo de aprendizaje automático tradicionales, ofreciendo una API compatible con scikit-learn (TabFMClassifier y TabFMRegressor). Maneja de forma nativa columnas numéricas y categóricas mixtas, funciona directamente con pandas DataFrames y no requiere codificadores ordinales manuales ni escaladores numéricos. La biblioteca admite backends JAX y PyTorch.
Sin embargo, los equipos empresariales deben ser conscientes de las limitaciones y restricciones de licencia actuales. La arquitectura del modelo tiene un límite estricto de 10 clases de salida para tareas de clasificación y está optimizada para tablas con hasta 500 características. Más importante aún, mientras Google lanzó el base de código subyacente Bajo la licencia permisiva Apache 2.0, los pesos del modelo previamente entrenado se publican en abrazando la cara bajo una estricta licencia tabfm-non-commercial-v1.0. Los desarrolladores pueden evaluar el modelo internamente, pero aún no se puede implementar en productos comerciales.
De cara al futuro, Google está abordando las fricciones en el despliegue comercial a través de su ecosistema de nube. TabFM se está integrando directamente en Google BigQuery, lo que permite a los analistas ejecutar predicciones cero de forma nativa mediante un comando «AI.PREDICT». Al colocar la inferencia del modelo básico justo al lado del almacén de datos, TabFM pronto podría hacer que el aprendizaje automático tabular complejo sea tan accesible como una consulta básica de base de datos.
En la práctica, TabFM brilla en la creación rápida de prototipos, entornos con mucha deriva de datos y conjuntos de datos pequeños y medianos de menos de 100.000 filas. Por el contrario, los equipos deben ceñirse a los modelos tradicionales para API estrictas de latencia ultrabaja o tablas masivas que superan el millón de filas, que actualmente requieren un muestreo de filas agresivo que degrada la ventaja competitiva del modelo básico.
La gran mayoría de los datos empresariales son tabulares (viven en almacenes de datos, CRM y libros de contabilidad financieros), pero construir un modelo confiable a partir de ellos aún significa entrenar uno nuevo desde cero para cada conjunto de datos, luego mantener ciclos de ajuste de hiperparámetros, ingeniería de funciones y reentrenar los canales para combatir la deriva de datos. Google Research propone una forma de evitarlo: un nuevo modelo básico llamado TabFM que trata la predicción tabular como un problema de aprendizaje en contexto.
Puede generar predicciones para una tabla nueva e invisible en un solo paso hacia adelante. Para los desarrolladores empresariales y los ingenieros de IA, esto reduce el tiempo de producción de semanas de ingeniería de canalización a una única llamada API.
El desafío del ML tradicional
Para extraer predicciones confiables de un árbol impulsado por gradiente, los científicos de datos deben construir y mantener canales de datos complejos. Tienen que limpiar entradas desordenadas, imputar valores faltantes, codificar variables categóricas en formatos numéricos y diseñar cruces de características personalizadas.
Una vez que los datos están listos, deben ejecutar bucles repetitivos de optimización de hiperparámetros, buscando entre tasas de aprendizaje, profundidades de árboles, proporciones de submuestreo y cuadrículas de regularización para encontrar la mejor configuración.
Una vez implementados, estos modelos tradicionales «incurren en una deuda operativa continua a través del monitoreo de la deriva de datos y el reentrenamiento de los canales para mantener la precisión», dijo a VentureBeat Weihao Kong, investigador científico de Google Research.
Mientras tanto, el resto de la industria de la IA ha seguido adelante. Los modelos de IA generativa para texto y visión por computadora han pasado sin problemas a la inferencia de disparo cero, donde un modelo puede realizar una tarea completamente nueva simplemente con solo recibir indicaciones del contexto.
Los modelos de lenguajes grandes (LLM) ya destacan en aprendizaje en contextoEntonces, ¿por qué no podemos simplemente introducir tablas en un LLM disponible en el mercado?
Debido a que los LLM están capacitados en lenguaje natural en lugar de datos estructurados, tienen dificultades para procesar tablas directamente. En primer lugar, sus límites de contexto se agotan rápidamente en tablas de tamaño mediano que contienen sólo unos pocos miles de filas y cientos de columnas. En segundo lugar, los LLM adolecen de ineficiencia en la tokenización, ya que dividen de manera incómoda los valores numéricos y destruyen la precisión matemática. Finalmente, sufren de ceguera estructural. Cuando una tabla 2D se serializa como una cadena de texto 1D, los LLM pierden la pista de qué valor pertenece a qué fila y columna a medida que la tabla crece.
«Es por eso que, hoy en día, es mucho más efectivo usar un LLM para escribir el código que maneja la ingeniería de características y llama a XGBoost que pedirle al LLM que lea la tabla en sí», dijo Kong.
¿Qué es TabFM?
Para ejecutar inferencia con TabFM, no actualiza ningún peso del modelo. En su lugar, toma sus ejemplos históricos (las filas de entrenamiento con sus etiquetas conocidas) y sus filas de destino (los nuevos datos que desea predecir) y las pasa al modelo como un mensaje único y unificado. El modelo aprende a interpretar las relaciones entre columnas y filas directamente desde este contexto en tiempo de ejecución.
Por ejemplo, considere un analista empresarial que intenta predecir la pérdida de clientes. En lugar de crear una canalización de datos personalizada y entrenar un modelo XGBoost, pueden simplemente pasar una muestra de datos históricos de sesiones de usuario junto con una sesión nueva y activa a TabFM. En un paso hacia adelante, el modelo devuelve una probabilidad de abandono instantáneo.
TabFM supera las limitaciones de los LLM al tratar los datos como una cuadrícula, preservando su integridad estructural sin forzarlos a formar una cadena de texto unidimensional.
Para procesar eficazmente diversas estructuras tabulares y al mismo tiempo permitir una predicción escalable de disparo cero, TabFM sintetiza las fortalezas de arquitecturas experimentales anteriores, TabPFN y TabICL. PestañaPFNdesarrollado por Prior Labs, demostró por primera vez que una arquitectura de transformador podía realizar una clasificación de disparo cero en tablas pequeñas, aunque tuvo dificultades para escalar computacionalmente a conjuntos de datos más grandes.
Más tarde, PestañaICLdesarrollado por el Instituto Nacional de Investigación en Ciencia y Tecnología Digital de Francia, abordó este cuello de botella introduciendo la compresión de filas, lo que permite el aprendizaje en contexto para procesar eficientemente tablas mucho más grandes.
TabFM combina la profunda contextualización de funciones de TabPFN con la compresión eficiente de TabICL en un novedoso diseño híbrido construido sobre tres mecanismos clave:
1. Atención alternada de filas y columnas: La tabla sin formato se procesa primero a través de un módulo de atención multicapa que alterna columnas (características) y filas (ejemplos). Al prestar atención continua a estas dos dimensiones, el modelo captura de forma nativa interacciones de características complejas. Esta contextualización profunda hace el trabajo pesado que normalmente requeriría una tediosa elaboración manual de funciones por parte de científicos de datos.
2. Compresión de filas: Después de esta contextualización, la información cruzada para cada fila se comprime en una representación vectorial única y densa. TabICL fue pionero en esto mediante el uso de tokens CLS para comprimir la rica información de una fila en un vector, «a diferencia de TabPFN v2, v2.5 y v2.6, que atienden la cuadrícula de celdas completa en toda la red», explicó Kong. Esto reduce drásticamente la huella computacional.
3. Aprendizaje en contexto (ICL): Luego, un transformador causal opera en esta secuencia de incrustaciones comprimidas. Este modelo Transformer utiliza el mecanismo de atención de TabICL para atender estos densos vectores de filas, lo que reduce drásticamente el costo de cálculo y permite que el modelo procese grandes conjuntos de datos de manera eficiente.
Un importante punto de venta de TabFM es su receta de preentrenamiento. El modelo se entrenó íntegramente en cientos de millones de conjuntos de datos sintéticos. Estos conjuntos de datos se generaron dinámicamente utilizando modelos causales estructurales (SCM) que incorporan una amplia variedad de funciones aleatorias. Al capacitarse exclusivamente en SCM sintéticos, TabFM aprendió los aspectos matemáticos fundamentales de cómo interactúan las características tabulares sin ingerir archivos CSV confidenciales del mundo real.
TabFM en acción
Para probar las capacidades del modelo, los investigadores de Google compararon TabFM en TabArena, un conjunto de evaluación integral que abarca 51 conjuntos de datos tabulares diversos en 38 tareas de clasificación y 13 de regresión.
En estos puntos de referencia públicos, las predicciones cero de TabFM ya coinciden o superan las líneas de base supervisadas fuertemente ajustadas. Sin embargo, Google tiene cuidado en señalar que esto no significa automáticamente que TabFM destrone universalmente los modelos de producción personalizados e hiperoptimizados en cada carga de trabajo empresarial.
«En lugar de reemplazar los modelos de producción hiperoptimizados, el verdadero valor comercial práctico que desbloquea para los equipos de ingeniería eficiente es la velocidad», afirmó Kong. «Permite a los analistas de datos y a los ingenieros de backend crear instantáneamente modelos de referencia de alta calidad sin un equipo de ciencia de datos dedicado a gestionar un ciclo de vida complejo».
Para los profesionales avanzados que buscan obtener la máxima precisión, el equipo de investigación también introdujo una configuración «TabFM-Ensemble». Al ejecutar el modelo a través de 32 variaciones distintas y combinar los resultados, TabFM lleva el rendimiento aún más lejos.
Primeros pasos, compensaciones y el futuro de la nube
El cambio al aprendizaje en contexto para tablas introduce una nueva compensación económica que los equipos de ingeniería deben considerar.
Con los algoritmos tradicionales, el entrenamiento es lento y costoso, pero la inferencia es ultrarrápida y barata. TabFM cambia esta dinámica. Mientras que el tiempo de entrenamiento cae a cero, la inferencia se vuelve significativamente más pesada. Debido a que el modelo debe procesar todo el conjunto de datos históricos como contexto durante cada predicción, requiere más computación y memoria en tiempo de ejecución.
En este nuevo paradigma, «la capacitación tradicional en aprendizaje automático se convierte en la fase de ‘prellenado’ (almacenamiento en caché KV) en la ventana de contexto», dijo Kong. Si bien este costo de precompletar es elevado, se paga solo una vez por tabla y el caché se reutiliza en consultas posteriores. «El problema es la latencia de predicción, que ningún almacenamiento en caché elimina», añadió Kong. Cada nueva predicción requiere pasar por un gran transformador. «Cualquier API de producción que requiera tiempos de respuesta de un solo dígito y milisegundos no puede tolerar la sobrecarga de avance de TabFM».
Para los desarrolladores que buscan evaluar el modelo hoy, la barrera de entrada es baja. Google diseñó TabFM como un reemplazo directo de los flujos de trabajo de aprendizaje automático tradicionales, ofreciendo una API compatible con scikit-learn (TabFMClassifier y TabFMRegressor). Maneja de forma nativa columnas numéricas y categóricas mixtas, funciona directamente con pandas DataFrames y no requiere codificadores ordinales manuales ni escaladores numéricos. La biblioteca admite backends JAX y PyTorch.
Sin embargo, los equipos empresariales deben ser conscientes de las limitaciones y restricciones de licencia actuales. La arquitectura del modelo tiene un límite estricto de 10 clases de salida para tareas de clasificación y está optimizada para tablas con hasta 500 características. Más importante aún, mientras Google lanzó el base de código subyacente Bajo la licencia permisiva Apache 2.0, los pesos del modelo previamente entrenado se publican en abrazando la cara bajo una estricta licencia tabfm-non-commercial-v1.0. Los desarrolladores pueden evaluar el modelo internamente, pero aún no se puede implementar en productos comerciales.
De cara al futuro, Google está abordando las fricciones en el despliegue comercial a través de su ecosistema de nube. TabFM se está integrando directamente en Google BigQuery, lo que permite a los analistas ejecutar predicciones cero de forma nativa mediante un comando «AI.PREDICT». Al colocar la inferencia del modelo básico justo al lado del almacén de datos, TabFM pronto podría hacer que el aprendizaje automático tabular complejo sea tan accesible como una consulta básica de base de datos.
En la práctica, TabFM brilla en la creación rápida de prototipos, entornos con mucha deriva de datos y conjuntos de datos pequeños y medianos de menos de 100.000 filas. Por el contrario, los equipos deben ceñirse a los modelos tradicionales para API estrictas de latencia ultrabaja o tablas masivas que superan el millón de filas, que actualmente requieren un muestreo de filas agresivo que degrada la ventaja competitiva del modelo básico.
La gran mayoría de los datos empresariales son tabulares (viven en almacenes de datos, CRM y libros de contabilidad financieros), pero construir un modelo confiable a partir de ellos aún significa entrenar uno nuevo desde cero para cada conjunto de datos, luego mantener ciclos de ajuste de hiperparámetros, ingeniería de funciones y reentrenar los canales para combatir la deriva de datos. Google Research propone una forma de evitarlo: un nuevo modelo básico llamado TabFM que trata la predicción tabular como un problema de aprendizaje en contexto.
Puede generar predicciones para una tabla nueva e invisible en un solo paso hacia adelante. Para los desarrolladores empresariales y los ingenieros de IA, esto reduce el tiempo de producción de semanas de ingeniería de canalización a una única llamada API.
El desafío del ML tradicional
Para extraer predicciones confiables de un árbol impulsado por gradiente, los científicos de datos deben construir y mantener canales de datos complejos. Tienen que limpiar entradas desordenadas, imputar valores faltantes, codificar variables categóricas en formatos numéricos y diseñar cruces de características personalizadas.
Una vez que los datos están listos, deben ejecutar bucles repetitivos de optimización de hiperparámetros, buscando entre tasas de aprendizaje, profundidades de árboles, proporciones de submuestreo y cuadrículas de regularización para encontrar la mejor configuración.
Una vez implementados, estos modelos tradicionales «incurren en una deuda operativa continua a través del monitoreo de la deriva de datos y el reentrenamiento de los canales para mantener la precisión», dijo a VentureBeat Weihao Kong, investigador científico de Google Research.
Mientras tanto, el resto de la industria de la IA ha seguido adelante. Los modelos de IA generativa para texto y visión por computadora han pasado sin problemas a la inferencia de disparo cero, donde un modelo puede realizar una tarea completamente nueva simplemente con solo recibir indicaciones del contexto.
Los modelos de lenguajes grandes (LLM) ya destacan en aprendizaje en contextoEntonces, ¿por qué no podemos simplemente introducir tablas en un LLM disponible en el mercado?
Debido a que los LLM están capacitados en lenguaje natural en lugar de datos estructurados, tienen dificultades para procesar tablas directamente. En primer lugar, sus límites de contexto se agotan rápidamente en tablas de tamaño mediano que contienen sólo unos pocos miles de filas y cientos de columnas. En segundo lugar, los LLM adolecen de ineficiencia en la tokenización, ya que dividen de manera incómoda los valores numéricos y destruyen la precisión matemática. Finalmente, sufren de ceguera estructural. Cuando una tabla 2D se serializa como una cadena de texto 1D, los LLM pierden la pista de qué valor pertenece a qué fila y columna a medida que la tabla crece.
«Es por eso que, hoy en día, es mucho más efectivo usar un LLM para escribir el código que maneja la ingeniería de características y llama a XGBoost que pedirle al LLM que lea la tabla en sí», dijo Kong.
¿Qué es TabFM?
Para ejecutar inferencia con TabFM, no actualiza ningún peso del modelo. En su lugar, toma sus ejemplos históricos (las filas de entrenamiento con sus etiquetas conocidas) y sus filas de destino (los nuevos datos que desea predecir) y las pasa al modelo como un mensaje único y unificado. El modelo aprende a interpretar las relaciones entre columnas y filas directamente desde este contexto en tiempo de ejecución.
Por ejemplo, considere un analista empresarial que intenta predecir la pérdida de clientes. En lugar de crear una canalización de datos personalizada y entrenar un modelo XGBoost, pueden simplemente pasar una muestra de datos históricos de sesiones de usuario junto con una sesión nueva y activa a TabFM. En un paso hacia adelante, el modelo devuelve una probabilidad de abandono instantáneo.
TabFM supera las limitaciones de los LLM al tratar los datos como una cuadrícula, preservando su integridad estructural sin forzarlos a formar una cadena de texto unidimensional.
Para procesar eficazmente diversas estructuras tabulares y al mismo tiempo permitir una predicción escalable de disparo cero, TabFM sintetiza las fortalezas de arquitecturas experimentales anteriores, TabPFN y TabICL. PestañaPFNdesarrollado por Prior Labs, demostró por primera vez que una arquitectura de transformador podía realizar una clasificación de disparo cero en tablas pequeñas, aunque tuvo dificultades para escalar computacionalmente a conjuntos de datos más grandes.
Más tarde, PestañaICLdesarrollado por el Instituto Nacional de Investigación en Ciencia y Tecnología Digital de Francia, abordó este cuello de botella introduciendo la compresión de filas, lo que permite el aprendizaje en contexto para procesar eficientemente tablas mucho más grandes.
TabFM combina la profunda contextualización de funciones de TabPFN con la compresión eficiente de TabICL en un novedoso diseño híbrido construido sobre tres mecanismos clave:
1. Atención alternada de filas y columnas: La tabla sin formato se procesa primero a través de un módulo de atención multicapa que alterna columnas (características) y filas (ejemplos). Al prestar atención continua a estas dos dimensiones, el modelo captura de forma nativa interacciones de características complejas. Esta contextualización profunda hace el trabajo pesado que normalmente requeriría una tediosa elaboración manual de funciones por parte de científicos de datos.
2. Compresión de filas: Después de esta contextualización, la información cruzada para cada fila se comprime en una representación vectorial única y densa. TabICL fue pionero en esto mediante el uso de tokens CLS para comprimir la rica información de una fila en un vector, «a diferencia de TabPFN v2, v2.5 y v2.6, que atienden la cuadrícula de celdas completa en toda la red», explicó Kong. Esto reduce drásticamente la huella computacional.
3. Aprendizaje en contexto (ICL): Luego, un transformador causal opera en esta secuencia de incrustaciones comprimidas. Este modelo Transformer utiliza el mecanismo de atención de TabICL para atender estos densos vectores de filas, lo que reduce drásticamente el costo de cálculo y permite que el modelo procese grandes conjuntos de datos de manera eficiente.
Un importante punto de venta de TabFM es su receta de preentrenamiento. El modelo se entrenó íntegramente en cientos de millones de conjuntos de datos sintéticos. Estos conjuntos de datos se generaron dinámicamente utilizando modelos causales estructurales (SCM) que incorporan una amplia variedad de funciones aleatorias. Al capacitarse exclusivamente en SCM sintéticos, TabFM aprendió los aspectos matemáticos fundamentales de cómo interactúan las características tabulares sin ingerir archivos CSV confidenciales del mundo real.
TabFM en acción
Para probar las capacidades del modelo, los investigadores de Google compararon TabFM en TabArena, un conjunto de evaluación integral que abarca 51 conjuntos de datos tabulares diversos en 38 tareas de clasificación y 13 de regresión.
En estos puntos de referencia públicos, las predicciones cero de TabFM ya coinciden o superan las líneas de base supervisadas fuertemente ajustadas. Sin embargo, Google tiene cuidado en señalar que esto no significa automáticamente que TabFM destrone universalmente los modelos de producción personalizados e hiperoptimizados en cada carga de trabajo empresarial.
«En lugar de reemplazar los modelos de producción hiperoptimizados, el verdadero valor comercial práctico que desbloquea para los equipos de ingeniería eficiente es la velocidad», afirmó Kong. «Permite a los analistas de datos y a los ingenieros de backend crear instantáneamente modelos de referencia de alta calidad sin un equipo de ciencia de datos dedicado a gestionar un ciclo de vida complejo».
Para los profesionales avanzados que buscan obtener la máxima precisión, el equipo de investigación también introdujo una configuración «TabFM-Ensemble». Al ejecutar el modelo a través de 32 variaciones distintas y combinar los resultados, TabFM lleva el rendimiento aún más lejos.
Primeros pasos, compensaciones y el futuro de la nube
El cambio al aprendizaje en contexto para tablas introduce una nueva compensación económica que los equipos de ingeniería deben considerar.
Con los algoritmos tradicionales, el entrenamiento es lento y costoso, pero la inferencia es ultrarrápida y barata. TabFM cambia esta dinámica. Mientras que el tiempo de entrenamiento cae a cero, la inferencia se vuelve significativamente más pesada. Debido a que el modelo debe procesar todo el conjunto de datos históricos como contexto durante cada predicción, requiere más computación y memoria en tiempo de ejecución.
En este nuevo paradigma, «la capacitación tradicional en aprendizaje automático se convierte en la fase de ‘prellenado’ (almacenamiento en caché KV) en la ventana de contexto», dijo Kong. Si bien este costo de precompletar es elevado, se paga solo una vez por tabla y el caché se reutiliza en consultas posteriores. «El problema es la latencia de predicción, que ningún almacenamiento en caché elimina», añadió Kong. Cada nueva predicción requiere pasar por un gran transformador. «Cualquier API de producción que requiera tiempos de respuesta de un solo dígito y milisegundos no puede tolerar la sobrecarga de avance de TabFM».
Para los desarrolladores que buscan evaluar el modelo hoy, la barrera de entrada es baja. Google diseñó TabFM como un reemplazo directo de los flujos de trabajo de aprendizaje automático tradicionales, ofreciendo una API compatible con scikit-learn (TabFMClassifier y TabFMRegressor). Maneja de forma nativa columnas numéricas y categóricas mixtas, funciona directamente con pandas DataFrames y no requiere codificadores ordinales manuales ni escaladores numéricos. La biblioteca admite backends JAX y PyTorch.
Sin embargo, los equipos empresariales deben ser conscientes de las limitaciones y restricciones de licencia actuales. La arquitectura del modelo tiene un límite estricto de 10 clases de salida para tareas de clasificación y está optimizada para tablas con hasta 500 características. Más importante aún, mientras Google lanzó el base de código subyacente Bajo la licencia permisiva Apache 2.0, los pesos del modelo previamente entrenado se publican en abrazando la cara bajo una estricta licencia tabfm-non-commercial-v1.0. Los desarrolladores pueden evaluar el modelo internamente, pero aún no se puede implementar en productos comerciales.
De cara al futuro, Google está abordando las fricciones en el despliegue comercial a través de su ecosistema de nube. TabFM se está integrando directamente en Google BigQuery, lo que permite a los analistas ejecutar predicciones cero de forma nativa mediante un comando «AI.PREDICT». Al colocar la inferencia del modelo básico justo al lado del almacén de datos, TabFM pronto podría hacer que el aprendizaje automático tabular complejo sea tan accesible como una consulta básica de base de datos.
En la práctica, TabFM brilla en la creación rápida de prototipos, entornos con mucha deriva de datos y conjuntos de datos pequeños y medianos de menos de 100.000 filas. Por el contrario, los equipos deben ceñirse a los modelos tradicionales para API estrictas de latencia ultrabaja o tablas masivas que superan el millón de filas, que actualmente requieren un muestreo de filas agresivo que degrada la ventaja competitiva del modelo básico.
La gran mayoría de los datos empresariales son tabulares (viven en almacenes de datos, CRM y libros de contabilidad financieros), pero construir un modelo confiable a partir de ellos aún significa entrenar uno nuevo desde cero para cada conjunto de datos, luego mantener ciclos de ajuste de hiperparámetros, ingeniería de funciones y reentrenar los canales para combatir la deriva de datos. Google Research propone una forma de evitarlo: un nuevo modelo básico llamado TabFM que trata la predicción tabular como un problema de aprendizaje en contexto.
Puede generar predicciones para una tabla nueva e invisible en un solo paso hacia adelante. Para los desarrolladores empresariales y los ingenieros de IA, esto reduce el tiempo de producción de semanas de ingeniería de canalización a una única llamada API.
El desafío del ML tradicional
Para extraer predicciones confiables de un árbol impulsado por gradiente, los científicos de datos deben construir y mantener canales de datos complejos. Tienen que limpiar entradas desordenadas, imputar valores faltantes, codificar variables categóricas en formatos numéricos y diseñar cruces de características personalizadas.
Una vez que los datos están listos, deben ejecutar bucles repetitivos de optimización de hiperparámetros, buscando entre tasas de aprendizaje, profundidades de árboles, proporciones de submuestreo y cuadrículas de regularización para encontrar la mejor configuración.
Una vez implementados, estos modelos tradicionales «incurren en una deuda operativa continua a través del monitoreo de la deriva de datos y el reentrenamiento de los canales para mantener la precisión», dijo a VentureBeat Weihao Kong, investigador científico de Google Research.
Mientras tanto, el resto de la industria de la IA ha seguido adelante. Los modelos de IA generativa para texto y visión por computadora han pasado sin problemas a la inferencia de disparo cero, donde un modelo puede realizar una tarea completamente nueva simplemente con solo recibir indicaciones del contexto.
Los modelos de lenguajes grandes (LLM) ya destacan en aprendizaje en contextoEntonces, ¿por qué no podemos simplemente introducir tablas en un LLM disponible en el mercado?
Debido a que los LLM están capacitados en lenguaje natural en lugar de datos estructurados, tienen dificultades para procesar tablas directamente. En primer lugar, sus límites de contexto se agotan rápidamente en tablas de tamaño mediano que contienen sólo unos pocos miles de filas y cientos de columnas. En segundo lugar, los LLM adolecen de ineficiencia en la tokenización, ya que dividen de manera incómoda los valores numéricos y destruyen la precisión matemática. Finalmente, sufren de ceguera estructural. Cuando una tabla 2D se serializa como una cadena de texto 1D, los LLM pierden la pista de qué valor pertenece a qué fila y columna a medida que la tabla crece.
«Es por eso que, hoy en día, es mucho más efectivo usar un LLM para escribir el código que maneja la ingeniería de características y llama a XGBoost que pedirle al LLM que lea la tabla en sí», dijo Kong.
¿Qué es TabFM?
Para ejecutar inferencia con TabFM, no actualiza ningún peso del modelo. En su lugar, toma sus ejemplos históricos (las filas de entrenamiento con sus etiquetas conocidas) y sus filas de destino (los nuevos datos que desea predecir) y las pasa al modelo como un mensaje único y unificado. El modelo aprende a interpretar las relaciones entre columnas y filas directamente desde este contexto en tiempo de ejecución.
Por ejemplo, considere un analista empresarial que intenta predecir la pérdida de clientes. En lugar de crear una canalización de datos personalizada y entrenar un modelo XGBoost, pueden simplemente pasar una muestra de datos históricos de sesiones de usuario junto con una sesión nueva y activa a TabFM. En un paso hacia adelante, el modelo devuelve una probabilidad de abandono instantáneo.
TabFM supera las limitaciones de los LLM al tratar los datos como una cuadrícula, preservando su integridad estructural sin forzarlos a formar una cadena de texto unidimensional.
Para procesar eficazmente diversas estructuras tabulares y al mismo tiempo permitir una predicción escalable de disparo cero, TabFM sintetiza las fortalezas de arquitecturas experimentales anteriores, TabPFN y TabICL. PestañaPFNdesarrollado por Prior Labs, demostró por primera vez que una arquitectura de transformador podía realizar una clasificación de disparo cero en tablas pequeñas, aunque tuvo dificultades para escalar computacionalmente a conjuntos de datos más grandes.
Más tarde, PestañaICLdesarrollado por el Instituto Nacional de Investigación en Ciencia y Tecnología Digital de Francia, abordó este cuello de botella introduciendo la compresión de filas, lo que permite el aprendizaje en contexto para procesar eficientemente tablas mucho más grandes.
TabFM combina la profunda contextualización de funciones de TabPFN con la compresión eficiente de TabICL en un novedoso diseño híbrido construido sobre tres mecanismos clave:
1. Atención alternada de filas y columnas: La tabla sin formato se procesa primero a través de un módulo de atención multicapa que alterna columnas (características) y filas (ejemplos). Al prestar atención continua a estas dos dimensiones, el modelo captura de forma nativa interacciones de características complejas. Esta contextualización profunda hace el trabajo pesado que normalmente requeriría una tediosa elaboración manual de funciones por parte de científicos de datos.
2. Compresión de filas: Después de esta contextualización, la información cruzada para cada fila se comprime en una representación vectorial única y densa. TabICL fue pionero en esto mediante el uso de tokens CLS para comprimir la rica información de una fila en un vector, «a diferencia de TabPFN v2, v2.5 y v2.6, que atienden la cuadrícula de celdas completa en toda la red», explicó Kong. Esto reduce drásticamente la huella computacional.
3. Aprendizaje en contexto (ICL): Luego, un transformador causal opera en esta secuencia de incrustaciones comprimidas. Este modelo Transformer utiliza el mecanismo de atención de TabICL para atender estos densos vectores de filas, lo que reduce drásticamente el costo de cálculo y permite que el modelo procese grandes conjuntos de datos de manera eficiente.
Un importante punto de venta de TabFM es su receta de preentrenamiento. El modelo se entrenó íntegramente en cientos de millones de conjuntos de datos sintéticos. Estos conjuntos de datos se generaron dinámicamente utilizando modelos causales estructurales (SCM) que incorporan una amplia variedad de funciones aleatorias. Al capacitarse exclusivamente en SCM sintéticos, TabFM aprendió los aspectos matemáticos fundamentales de cómo interactúan las características tabulares sin ingerir archivos CSV confidenciales del mundo real.
TabFM en acción
Para probar las capacidades del modelo, los investigadores de Google compararon TabFM en TabArena, un conjunto de evaluación integral que abarca 51 conjuntos de datos tabulares diversos en 38 tareas de clasificación y 13 de regresión.
En estos puntos de referencia públicos, las predicciones cero de TabFM ya coinciden o superan las líneas de base supervisadas fuertemente ajustadas. Sin embargo, Google tiene cuidado en señalar que esto no significa automáticamente que TabFM destrone universalmente los modelos de producción personalizados e hiperoptimizados en cada carga de trabajo empresarial.
«En lugar de reemplazar los modelos de producción hiperoptimizados, el verdadero valor comercial práctico que desbloquea para los equipos de ingeniería eficiente es la velocidad», afirmó Kong. «Permite a los analistas de datos y a los ingenieros de backend crear instantáneamente modelos de referencia de alta calidad sin un equipo de ciencia de datos dedicado a gestionar un ciclo de vida complejo».
Para los profesionales avanzados que buscan obtener la máxima precisión, el equipo de investigación también introdujo una configuración «TabFM-Ensemble». Al ejecutar el modelo a través de 32 variaciones distintas y combinar los resultados, TabFM lleva el rendimiento aún más lejos.
Primeros pasos, compensaciones y el futuro de la nube
El cambio al aprendizaje en contexto para tablas introduce una nueva compensación económica que los equipos de ingeniería deben considerar.
Con los algoritmos tradicionales, el entrenamiento es lento y costoso, pero la inferencia es ultrarrápida y barata. TabFM cambia esta dinámica. Mientras que el tiempo de entrenamiento cae a cero, la inferencia se vuelve significativamente más pesada. Debido a que el modelo debe procesar todo el conjunto de datos históricos como contexto durante cada predicción, requiere más computación y memoria en tiempo de ejecución.
En este nuevo paradigma, «la capacitación tradicional en aprendizaje automático se convierte en la fase de ‘prellenado’ (almacenamiento en caché KV) en la ventana de contexto», dijo Kong. Si bien este costo de precompletar es elevado, se paga solo una vez por tabla y el caché se reutiliza en consultas posteriores. «El problema es la latencia de predicción, que ningún almacenamiento en caché elimina», añadió Kong. Cada nueva predicción requiere pasar por un gran transformador. «Cualquier API de producción que requiera tiempos de respuesta de un solo dígito y milisegundos no puede tolerar la sobrecarga de avance de TabFM».
Para los desarrolladores que buscan evaluar el modelo hoy, la barrera de entrada es baja. Google diseñó TabFM como un reemplazo directo de los flujos de trabajo de aprendizaje automático tradicionales, ofreciendo una API compatible con scikit-learn (TabFMClassifier y TabFMRegressor). Maneja de forma nativa columnas numéricas y categóricas mixtas, funciona directamente con pandas DataFrames y no requiere codificadores ordinales manuales ni escaladores numéricos. La biblioteca admite backends JAX y PyTorch.
Sin embargo, los equipos empresariales deben ser conscientes de las limitaciones y restricciones de licencia actuales. La arquitectura del modelo tiene un límite estricto de 10 clases de salida para tareas de clasificación y está optimizada para tablas con hasta 500 características. Más importante aún, mientras Google lanzó el base de código subyacente Bajo la licencia permisiva Apache 2.0, los pesos del modelo previamente entrenado se publican en abrazando la cara bajo una estricta licencia tabfm-non-commercial-v1.0. Los desarrolladores pueden evaluar el modelo internamente, pero aún no se puede implementar en productos comerciales.
De cara al futuro, Google está abordando las fricciones en el despliegue comercial a través de su ecosistema de nube. TabFM se está integrando directamente en Google BigQuery, lo que permite a los analistas ejecutar predicciones cero de forma nativa mediante un comando «AI.PREDICT». Al colocar la inferencia del modelo básico justo al lado del almacén de datos, TabFM pronto podría hacer que el aprendizaje automático tabular complejo sea tan accesible como una consulta básica de base de datos.
En la práctica, TabFM brilla en la creación rápida de prototipos, entornos con mucha deriva de datos y conjuntos de datos pequeños y medianos de menos de 100.000 filas. Por el contrario, los equipos deben ceñirse a los modelos tradicionales para API estrictas de latencia ultrabaja o tablas masivas que superan el millón de filas, que actualmente requieren un muestreo de filas agresivo que degrada la ventaja competitiva del modelo básico.
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
La gran mayoría de los datos empresariales son tabulares (viven en almacenes de datos, CRM y libros de contabilidad financieros), pero construir un modelo confiable a partir de ellos aún significa entrenar uno nuevo desde cero para cada conjunto de datos, luego mantener ciclos de ajuste de hiperparámetros, ingeniería de funciones y reentrenar los canales para combatir la deriva de datos. Google Research propone una forma de evitarlo: un nuevo modelo básico llamado TabFM que trata la predicción tabular como un problema de aprendizaje en contexto.
Puede generar predicciones para una tabla nueva e invisible en un solo paso hacia adelante. Para los desarrolladores empresariales y los ingenieros de IA, esto reduce el tiempo de producción de semanas de ingeniería de canalización a una única llamada API.
El desafío del ML tradicional
Para extraer predicciones confiables de un árbol impulsado por gradiente, los científicos de datos deben construir y mantener canales de datos complejos. Tienen que limpiar entradas desordenadas, imputar valores faltantes, codificar variables categóricas en formatos numéricos y diseñar cruces de características personalizadas.
Una vez que los datos están listos, deben ejecutar bucles repetitivos de optimización de hiperparámetros, buscando entre tasas de aprendizaje, profundidades de árboles, proporciones de submuestreo y cuadrículas de regularización para encontrar la mejor configuración.
Una vez implementados, estos modelos tradicionales «incurren en una deuda operativa continua a través del monitoreo de la deriva de datos y el reentrenamiento de los canales para mantener la precisión», dijo a VentureBeat Weihao Kong, investigador científico de Google Research.
Mientras tanto, el resto de la industria de la IA ha seguido adelante. Los modelos de IA generativa para texto y visión por computadora han pasado sin problemas a la inferencia de disparo cero, donde un modelo puede realizar una tarea completamente nueva simplemente con solo recibir indicaciones del contexto.
Los modelos de lenguajes grandes (LLM) ya destacan en aprendizaje en contextoEntonces, ¿por qué no podemos simplemente introducir tablas en un LLM disponible en el mercado?
Debido a que los LLM están capacitados en lenguaje natural en lugar de datos estructurados, tienen dificultades para procesar tablas directamente. En primer lugar, sus límites de contexto se agotan rápidamente en tablas de tamaño mediano que contienen sólo unos pocos miles de filas y cientos de columnas. En segundo lugar, los LLM adolecen de ineficiencia en la tokenización, ya que dividen de manera incómoda los valores numéricos y destruyen la precisión matemática. Finalmente, sufren de ceguera estructural. Cuando una tabla 2D se serializa como una cadena de texto 1D, los LLM pierden la pista de qué valor pertenece a qué fila y columna a medida que la tabla crece.
«Es por eso que, hoy en día, es mucho más efectivo usar un LLM para escribir el código que maneja la ingeniería de características y llama a XGBoost que pedirle al LLM que lea la tabla en sí», dijo Kong.
¿Qué es TabFM?
Para ejecutar inferencia con TabFM, no actualiza ningún peso del modelo. En su lugar, toma sus ejemplos históricos (las filas de entrenamiento con sus etiquetas conocidas) y sus filas de destino (los nuevos datos que desea predecir) y las pasa al modelo como un mensaje único y unificado. El modelo aprende a interpretar las relaciones entre columnas y filas directamente desde este contexto en tiempo de ejecución.
Por ejemplo, considere un analista empresarial que intenta predecir la pérdida de clientes. En lugar de crear una canalización de datos personalizada y entrenar un modelo XGBoost, pueden simplemente pasar una muestra de datos históricos de sesiones de usuario junto con una sesión nueva y activa a TabFM. En un paso hacia adelante, el modelo devuelve una probabilidad de abandono instantáneo.
TabFM supera las limitaciones de los LLM al tratar los datos como una cuadrícula, preservando su integridad estructural sin forzarlos a formar una cadena de texto unidimensional.
Para procesar eficazmente diversas estructuras tabulares y al mismo tiempo permitir una predicción escalable de disparo cero, TabFM sintetiza las fortalezas de arquitecturas experimentales anteriores, TabPFN y TabICL. PestañaPFNdesarrollado por Prior Labs, demostró por primera vez que una arquitectura de transformador podía realizar una clasificación de disparo cero en tablas pequeñas, aunque tuvo dificultades para escalar computacionalmente a conjuntos de datos más grandes.
Más tarde, PestañaICLdesarrollado por el Instituto Nacional de Investigación en Ciencia y Tecnología Digital de Francia, abordó este cuello de botella introduciendo la compresión de filas, lo que permite el aprendizaje en contexto para procesar eficientemente tablas mucho más grandes.
TabFM combina la profunda contextualización de funciones de TabPFN con la compresión eficiente de TabICL en un novedoso diseño híbrido construido sobre tres mecanismos clave:
1. Atención alternada de filas y columnas: La tabla sin formato se procesa primero a través de un módulo de atención multicapa que alterna columnas (características) y filas (ejemplos). Al prestar atención continua a estas dos dimensiones, el modelo captura de forma nativa interacciones de características complejas. Esta contextualización profunda hace el trabajo pesado que normalmente requeriría una tediosa elaboración manual de funciones por parte de científicos de datos.
2. Compresión de filas: Después de esta contextualización, la información cruzada para cada fila se comprime en una representación vectorial única y densa. TabICL fue pionero en esto mediante el uso de tokens CLS para comprimir la rica información de una fila en un vector, «a diferencia de TabPFN v2, v2.5 y v2.6, que atienden la cuadrícula de celdas completa en toda la red», explicó Kong. Esto reduce drásticamente la huella computacional.
3. Aprendizaje en contexto (ICL): Luego, un transformador causal opera en esta secuencia de incrustaciones comprimidas. Este modelo Transformer utiliza el mecanismo de atención de TabICL para atender estos densos vectores de filas, lo que reduce drásticamente el costo de cálculo y permite que el modelo procese grandes conjuntos de datos de manera eficiente.
Un importante punto de venta de TabFM es su receta de preentrenamiento. El modelo se entrenó íntegramente en cientos de millones de conjuntos de datos sintéticos. Estos conjuntos de datos se generaron dinámicamente utilizando modelos causales estructurales (SCM) que incorporan una amplia variedad de funciones aleatorias. Al capacitarse exclusivamente en SCM sintéticos, TabFM aprendió los aspectos matemáticos fundamentales de cómo interactúan las características tabulares sin ingerir archivos CSV confidenciales del mundo real.
TabFM en acción
Para probar las capacidades del modelo, los investigadores de Google compararon TabFM en TabArena, un conjunto de evaluación integral que abarca 51 conjuntos de datos tabulares diversos en 38 tareas de clasificación y 13 de regresión.
En estos puntos de referencia públicos, las predicciones cero de TabFM ya coinciden o superan las líneas de base supervisadas fuertemente ajustadas. Sin embargo, Google tiene cuidado en señalar que esto no significa automáticamente que TabFM destrone universalmente los modelos de producción personalizados e hiperoptimizados en cada carga de trabajo empresarial.
«En lugar de reemplazar los modelos de producción hiperoptimizados, el verdadero valor comercial práctico que desbloquea para los equipos de ingeniería eficiente es la velocidad», afirmó Kong. «Permite a los analistas de datos y a los ingenieros de backend crear instantáneamente modelos de referencia de alta calidad sin un equipo de ciencia de datos dedicado a gestionar un ciclo de vida complejo».
Para los profesionales avanzados que buscan obtener la máxima precisión, el equipo de investigación también introdujo una configuración «TabFM-Ensemble». Al ejecutar el modelo a través de 32 variaciones distintas y combinar los resultados, TabFM lleva el rendimiento aún más lejos.
Primeros pasos, compensaciones y el futuro de la nube
El cambio al aprendizaje en contexto para tablas introduce una nueva compensación económica que los equipos de ingeniería deben considerar.
Con los algoritmos tradicionales, el entrenamiento es lento y costoso, pero la inferencia es ultrarrápida y barata. TabFM cambia esta dinámica. Mientras que el tiempo de entrenamiento cae a cero, la inferencia se vuelve significativamente más pesada. Debido a que el modelo debe procesar todo el conjunto de datos históricos como contexto durante cada predicción, requiere más computación y memoria en tiempo de ejecución.
En este nuevo paradigma, «la capacitación tradicional en aprendizaje automático se convierte en la fase de ‘prellenado’ (almacenamiento en caché KV) en la ventana de contexto», dijo Kong. Si bien este costo de precompletar es elevado, se paga solo una vez por tabla y el caché se reutiliza en consultas posteriores. «El problema es la latencia de predicción, que ningún almacenamiento en caché elimina», añadió Kong. Cada nueva predicción requiere pasar por un gran transformador. «Cualquier API de producción que requiera tiempos de respuesta de un solo dígito y milisegundos no puede tolerar la sobrecarga de avance de TabFM».
Para los desarrolladores que buscan evaluar el modelo hoy, la barrera de entrada es baja. Google diseñó TabFM como un reemplazo directo de los flujos de trabajo de aprendizaje automático tradicionales, ofreciendo una API compatible con scikit-learn (TabFMClassifier y TabFMRegressor). Maneja de forma nativa columnas numéricas y categóricas mixtas, funciona directamente con pandas DataFrames y no requiere codificadores ordinales manuales ni escaladores numéricos. La biblioteca admite backends JAX y PyTorch.
Sin embargo, los equipos empresariales deben ser conscientes de las limitaciones y restricciones de licencia actuales. La arquitectura del modelo tiene un límite estricto de 10 clases de salida para tareas de clasificación y está optimizada para tablas con hasta 500 características. Más importante aún, mientras Google lanzó el base de código subyacente Bajo la licencia permisiva Apache 2.0, los pesos del modelo previamente entrenado se publican en abrazando la cara bajo una estricta licencia tabfm-non-commercial-v1.0. Los desarrolladores pueden evaluar el modelo internamente, pero aún no se puede implementar en productos comerciales.
De cara al futuro, Google está abordando las fricciones en el despliegue comercial a través de su ecosistema de nube. TabFM se está integrando directamente en Google BigQuery, lo que permite a los analistas ejecutar predicciones cero de forma nativa mediante un comando «AI.PREDICT». Al colocar la inferencia del modelo básico justo al lado del almacén de datos, TabFM pronto podría hacer que el aprendizaje automático tabular complejo sea tan accesible como una consulta básica de base de datos.
En la práctica, TabFM brilla en la creación rápida de prototipos, entornos con mucha deriva de datos y conjuntos de datos pequeños y medianos de menos de 100.000 filas. Por el contrario, los equipos deben ceñirse a los modelos tradicionales para API estrictas de latencia ultrabaja o tablas masivas que superan el millón de filas, que actualmente requieren un muestreo de filas agresivo que degrada la ventaja competitiva del modelo básico.
La gran mayoría de los datos empresariales son tabulares (viven en almacenes de datos, CRM y libros de contabilidad financieros), pero construir un modelo confiable a partir de ellos aún significa entrenar uno nuevo desde cero para cada conjunto de datos, luego mantener ciclos de ajuste de hiperparámetros, ingeniería de funciones y reentrenar los canales para combatir la deriva de datos. Google Research propone una forma de evitarlo: un nuevo modelo básico llamado TabFM que trata la predicción tabular como un problema de aprendizaje en contexto.
Puede generar predicciones para una tabla nueva e invisible en un solo paso hacia adelante. Para los desarrolladores empresariales y los ingenieros de IA, esto reduce el tiempo de producción de semanas de ingeniería de canalización a una única llamada API.
El desafío del ML tradicional
Para extraer predicciones confiables de un árbol impulsado por gradiente, los científicos de datos deben construir y mantener canales de datos complejos. Tienen que limpiar entradas desordenadas, imputar valores faltantes, codificar variables categóricas en formatos numéricos y diseñar cruces de características personalizadas.
Una vez que los datos están listos, deben ejecutar bucles repetitivos de optimización de hiperparámetros, buscando entre tasas de aprendizaje, profundidades de árboles, proporciones de submuestreo y cuadrículas de regularización para encontrar la mejor configuración.
Una vez implementados, estos modelos tradicionales «incurren en una deuda operativa continua a través del monitoreo de la deriva de datos y el reentrenamiento de los canales para mantener la precisión», dijo a VentureBeat Weihao Kong, investigador científico de Google Research.
Mientras tanto, el resto de la industria de la IA ha seguido adelante. Los modelos de IA generativa para texto y visión por computadora han pasado sin problemas a la inferencia de disparo cero, donde un modelo puede realizar una tarea completamente nueva simplemente con solo recibir indicaciones del contexto.
Los modelos de lenguajes grandes (LLM) ya destacan en aprendizaje en contextoEntonces, ¿por qué no podemos simplemente introducir tablas en un LLM disponible en el mercado?
Debido a que los LLM están capacitados en lenguaje natural en lugar de datos estructurados, tienen dificultades para procesar tablas directamente. En primer lugar, sus límites de contexto se agotan rápidamente en tablas de tamaño mediano que contienen sólo unos pocos miles de filas y cientos de columnas. En segundo lugar, los LLM adolecen de ineficiencia en la tokenización, ya que dividen de manera incómoda los valores numéricos y destruyen la precisión matemática. Finalmente, sufren de ceguera estructural. Cuando una tabla 2D se serializa como una cadena de texto 1D, los LLM pierden la pista de qué valor pertenece a qué fila y columna a medida que la tabla crece.
«Es por eso que, hoy en día, es mucho más efectivo usar un LLM para escribir el código que maneja la ingeniería de características y llama a XGBoost que pedirle al LLM que lea la tabla en sí», dijo Kong.
¿Qué es TabFM?
Para ejecutar inferencia con TabFM, no actualiza ningún peso del modelo. En su lugar, toma sus ejemplos históricos (las filas de entrenamiento con sus etiquetas conocidas) y sus filas de destino (los nuevos datos que desea predecir) y las pasa al modelo como un mensaje único y unificado. El modelo aprende a interpretar las relaciones entre columnas y filas directamente desde este contexto en tiempo de ejecución.
Por ejemplo, considere un analista empresarial que intenta predecir la pérdida de clientes. En lugar de crear una canalización de datos personalizada y entrenar un modelo XGBoost, pueden simplemente pasar una muestra de datos históricos de sesiones de usuario junto con una sesión nueva y activa a TabFM. En un paso hacia adelante, el modelo devuelve una probabilidad de abandono instantáneo.
TabFM supera las limitaciones de los LLM al tratar los datos como una cuadrícula, preservando su integridad estructural sin forzarlos a formar una cadena de texto unidimensional.
Para procesar eficazmente diversas estructuras tabulares y al mismo tiempo permitir una predicción escalable de disparo cero, TabFM sintetiza las fortalezas de arquitecturas experimentales anteriores, TabPFN y TabICL. PestañaPFNdesarrollado por Prior Labs, demostró por primera vez que una arquitectura de transformador podía realizar una clasificación de disparo cero en tablas pequeñas, aunque tuvo dificultades para escalar computacionalmente a conjuntos de datos más grandes.
Más tarde, PestañaICLdesarrollado por el Instituto Nacional de Investigación en Ciencia y Tecnología Digital de Francia, abordó este cuello de botella introduciendo la compresión de filas, lo que permite el aprendizaje en contexto para procesar eficientemente tablas mucho más grandes.
TabFM combina la profunda contextualización de funciones de TabPFN con la compresión eficiente de TabICL en un novedoso diseño híbrido construido sobre tres mecanismos clave:
1. Atención alternada de filas y columnas: La tabla sin formato se procesa primero a través de un módulo de atención multicapa que alterna columnas (características) y filas (ejemplos). Al prestar atención continua a estas dos dimensiones, el modelo captura de forma nativa interacciones de características complejas. Esta contextualización profunda hace el trabajo pesado que normalmente requeriría una tediosa elaboración manual de funciones por parte de científicos de datos.
2. Compresión de filas: Después de esta contextualización, la información cruzada para cada fila se comprime en una representación vectorial única y densa. TabICL fue pionero en esto mediante el uso de tokens CLS para comprimir la rica información de una fila en un vector, «a diferencia de TabPFN v2, v2.5 y v2.6, que atienden la cuadrícula de celdas completa en toda la red», explicó Kong. Esto reduce drásticamente la huella computacional.
3. Aprendizaje en contexto (ICL): Luego, un transformador causal opera en esta secuencia de incrustaciones comprimidas. Este modelo Transformer utiliza el mecanismo de atención de TabICL para atender estos densos vectores de filas, lo que reduce drásticamente el costo de cálculo y permite que el modelo procese grandes conjuntos de datos de manera eficiente.
Un importante punto de venta de TabFM es su receta de preentrenamiento. El modelo se entrenó íntegramente en cientos de millones de conjuntos de datos sintéticos. Estos conjuntos de datos se generaron dinámicamente utilizando modelos causales estructurales (SCM) que incorporan una amplia variedad de funciones aleatorias. Al capacitarse exclusivamente en SCM sintéticos, TabFM aprendió los aspectos matemáticos fundamentales de cómo interactúan las características tabulares sin ingerir archivos CSV confidenciales del mundo real.
TabFM en acción
Para probar las capacidades del modelo, los investigadores de Google compararon TabFM en TabArena, un conjunto de evaluación integral que abarca 51 conjuntos de datos tabulares diversos en 38 tareas de clasificación y 13 de regresión.
En estos puntos de referencia públicos, las predicciones cero de TabFM ya coinciden o superan las líneas de base supervisadas fuertemente ajustadas. Sin embargo, Google tiene cuidado en señalar que esto no significa automáticamente que TabFM destrone universalmente los modelos de producción personalizados e hiperoptimizados en cada carga de trabajo empresarial.
«En lugar de reemplazar los modelos de producción hiperoptimizados, el verdadero valor comercial práctico que desbloquea para los equipos de ingeniería eficiente es la velocidad», afirmó Kong. «Permite a los analistas de datos y a los ingenieros de backend crear instantáneamente modelos de referencia de alta calidad sin un equipo de ciencia de datos dedicado a gestionar un ciclo de vida complejo».
Para los profesionales avanzados que buscan obtener la máxima precisión, el equipo de investigación también introdujo una configuración «TabFM-Ensemble». Al ejecutar el modelo a través de 32 variaciones distintas y combinar los resultados, TabFM lleva el rendimiento aún más lejos.
Primeros pasos, compensaciones y el futuro de la nube
El cambio al aprendizaje en contexto para tablas introduce una nueva compensación económica que los equipos de ingeniería deben considerar.
Con los algoritmos tradicionales, el entrenamiento es lento y costoso, pero la inferencia es ultrarrápida y barata. TabFM cambia esta dinámica. Mientras que el tiempo de entrenamiento cae a cero, la inferencia se vuelve significativamente más pesada. Debido a que el modelo debe procesar todo el conjunto de datos históricos como contexto durante cada predicción, requiere más computación y memoria en tiempo de ejecución.
En este nuevo paradigma, «la capacitación tradicional en aprendizaje automático se convierte en la fase de ‘prellenado’ (almacenamiento en caché KV) en la ventana de contexto», dijo Kong. Si bien este costo de precompletar es elevado, se paga solo una vez por tabla y el caché se reutiliza en consultas posteriores. «El problema es la latencia de predicción, que ningún almacenamiento en caché elimina», añadió Kong. Cada nueva predicción requiere pasar por un gran transformador. «Cualquier API de producción que requiera tiempos de respuesta de un solo dígito y milisegundos no puede tolerar la sobrecarga de avance de TabFM».
Para los desarrolladores que buscan evaluar el modelo hoy, la barrera de entrada es baja. Google diseñó TabFM como un reemplazo directo de los flujos de trabajo de aprendizaje automático tradicionales, ofreciendo una API compatible con scikit-learn (TabFMClassifier y TabFMRegressor). Maneja de forma nativa columnas numéricas y categóricas mixtas, funciona directamente con pandas DataFrames y no requiere codificadores ordinales manuales ni escaladores numéricos. La biblioteca admite backends JAX y PyTorch.
Sin embargo, los equipos empresariales deben ser conscientes de las limitaciones y restricciones de licencia actuales. La arquitectura del modelo tiene un límite estricto de 10 clases de salida para tareas de clasificación y está optimizada para tablas con hasta 500 características. Más importante aún, mientras Google lanzó el base de código subyacente Bajo la licencia permisiva Apache 2.0, los pesos del modelo previamente entrenado se publican en abrazando la cara bajo una estricta licencia tabfm-non-commercial-v1.0. Los desarrolladores pueden evaluar el modelo internamente, pero aún no se puede implementar en productos comerciales.
De cara al futuro, Google está abordando las fricciones en el despliegue comercial a través de su ecosistema de nube. TabFM se está integrando directamente en Google BigQuery, lo que permite a los analistas ejecutar predicciones cero de forma nativa mediante un comando «AI.PREDICT». Al colocar la inferencia del modelo básico justo al lado del almacén de datos, TabFM pronto podría hacer que el aprendizaje automático tabular complejo sea tan accesible como una consulta básica de base de datos.
En la práctica, TabFM brilla en la creación rápida de prototipos, entornos con mucha deriva de datos y conjuntos de datos pequeños y medianos de menos de 100.000 filas. Por el contrario, los equipos deben ceñirse a los modelos tradicionales para API estrictas de latencia ultrabaja o tablas masivas que superan el millón de filas, que actualmente requieren un muestreo de filas agresivo que degrada la ventaja competitiva del modelo básico.
La gran mayoría de los datos empresariales son tabulares (viven en almacenes de datos, CRM y libros de contabilidad financieros), pero construir un modelo confiable a partir de ellos aún significa entrenar uno nuevo desde cero para cada conjunto de datos, luego mantener ciclos de ajuste de hiperparámetros, ingeniería de funciones y reentrenar los canales para combatir la deriva de datos. Google Research propone una forma de evitarlo: un nuevo modelo básico llamado TabFM que trata la predicción tabular como un problema de aprendizaje en contexto.
Puede generar predicciones para una tabla nueva e invisible en un solo paso hacia adelante. Para los desarrolladores empresariales y los ingenieros de IA, esto reduce el tiempo de producción de semanas de ingeniería de canalización a una única llamada API.
El desafío del ML tradicional
Para extraer predicciones confiables de un árbol impulsado por gradiente, los científicos de datos deben construir y mantener canales de datos complejos. Tienen que limpiar entradas desordenadas, imputar valores faltantes, codificar variables categóricas en formatos numéricos y diseñar cruces de características personalizadas.
Una vez que los datos están listos, deben ejecutar bucles repetitivos de optimización de hiperparámetros, buscando entre tasas de aprendizaje, profundidades de árboles, proporciones de submuestreo y cuadrículas de regularización para encontrar la mejor configuración.
Una vez implementados, estos modelos tradicionales «incurren en una deuda operativa continua a través del monitoreo de la deriva de datos y el reentrenamiento de los canales para mantener la precisión», dijo a VentureBeat Weihao Kong, investigador científico de Google Research.
Mientras tanto, el resto de la industria de la IA ha seguido adelante. Los modelos de IA generativa para texto y visión por computadora han pasado sin problemas a la inferencia de disparo cero, donde un modelo puede realizar una tarea completamente nueva simplemente con solo recibir indicaciones del contexto.
Los modelos de lenguajes grandes (LLM) ya destacan en aprendizaje en contextoEntonces, ¿por qué no podemos simplemente introducir tablas en un LLM disponible en el mercado?
Debido a que los LLM están capacitados en lenguaje natural en lugar de datos estructurados, tienen dificultades para procesar tablas directamente. En primer lugar, sus límites de contexto se agotan rápidamente en tablas de tamaño mediano que contienen sólo unos pocos miles de filas y cientos de columnas. En segundo lugar, los LLM adolecen de ineficiencia en la tokenización, ya que dividen de manera incómoda los valores numéricos y destruyen la precisión matemática. Finalmente, sufren de ceguera estructural. Cuando una tabla 2D se serializa como una cadena de texto 1D, los LLM pierden la pista de qué valor pertenece a qué fila y columna a medida que la tabla crece.
«Es por eso que, hoy en día, es mucho más efectivo usar un LLM para escribir el código que maneja la ingeniería de características y llama a XGBoost que pedirle al LLM que lea la tabla en sí», dijo Kong.
¿Qué es TabFM?
Para ejecutar inferencia con TabFM, no actualiza ningún peso del modelo. En su lugar, toma sus ejemplos históricos (las filas de entrenamiento con sus etiquetas conocidas) y sus filas de destino (los nuevos datos que desea predecir) y las pasa al modelo como un mensaje único y unificado. El modelo aprende a interpretar las relaciones entre columnas y filas directamente desde este contexto en tiempo de ejecución.
Por ejemplo, considere un analista empresarial que intenta predecir la pérdida de clientes. En lugar de crear una canalización de datos personalizada y entrenar un modelo XGBoost, pueden simplemente pasar una muestra de datos históricos de sesiones de usuario junto con una sesión nueva y activa a TabFM. En un paso hacia adelante, el modelo devuelve una probabilidad de abandono instantáneo.
TabFM supera las limitaciones de los LLM al tratar los datos como una cuadrícula, preservando su integridad estructural sin forzarlos a formar una cadena de texto unidimensional.
Para procesar eficazmente diversas estructuras tabulares y al mismo tiempo permitir una predicción escalable de disparo cero, TabFM sintetiza las fortalezas de arquitecturas experimentales anteriores, TabPFN y TabICL. PestañaPFNdesarrollado por Prior Labs, demostró por primera vez que una arquitectura de transformador podía realizar una clasificación de disparo cero en tablas pequeñas, aunque tuvo dificultades para escalar computacionalmente a conjuntos de datos más grandes.
Más tarde, PestañaICLdesarrollado por el Instituto Nacional de Investigación en Ciencia y Tecnología Digital de Francia, abordó este cuello de botella introduciendo la compresión de filas, lo que permite el aprendizaje en contexto para procesar eficientemente tablas mucho más grandes.
TabFM combina la profunda contextualización de funciones de TabPFN con la compresión eficiente de TabICL en un novedoso diseño híbrido construido sobre tres mecanismos clave:
1. Atención alternada de filas y columnas: La tabla sin formato se procesa primero a través de un módulo de atención multicapa que alterna columnas (características) y filas (ejemplos). Al prestar atención continua a estas dos dimensiones, el modelo captura de forma nativa interacciones de características complejas. Esta contextualización profunda hace el trabajo pesado que normalmente requeriría una tediosa elaboración manual de funciones por parte de científicos de datos.
2. Compresión de filas: Después de esta contextualización, la información cruzada para cada fila se comprime en una representación vectorial única y densa. TabICL fue pionero en esto mediante el uso de tokens CLS para comprimir la rica información de una fila en un vector, «a diferencia de TabPFN v2, v2.5 y v2.6, que atienden la cuadrícula de celdas completa en toda la red», explicó Kong. Esto reduce drásticamente la huella computacional.
3. Aprendizaje en contexto (ICL): Luego, un transformador causal opera en esta secuencia de incrustaciones comprimidas. Este modelo Transformer utiliza el mecanismo de atención de TabICL para atender estos densos vectores de filas, lo que reduce drásticamente el costo de cálculo y permite que el modelo procese grandes conjuntos de datos de manera eficiente.
Un importante punto de venta de TabFM es su receta de preentrenamiento. El modelo se entrenó íntegramente en cientos de millones de conjuntos de datos sintéticos. Estos conjuntos de datos se generaron dinámicamente utilizando modelos causales estructurales (SCM) que incorporan una amplia variedad de funciones aleatorias. Al capacitarse exclusivamente en SCM sintéticos, TabFM aprendió los aspectos matemáticos fundamentales de cómo interactúan las características tabulares sin ingerir archivos CSV confidenciales del mundo real.
TabFM en acción
Para probar las capacidades del modelo, los investigadores de Google compararon TabFM en TabArena, un conjunto de evaluación integral que abarca 51 conjuntos de datos tabulares diversos en 38 tareas de clasificación y 13 de regresión.
En estos puntos de referencia públicos, las predicciones cero de TabFM ya coinciden o superan las líneas de base supervisadas fuertemente ajustadas. Sin embargo, Google tiene cuidado en señalar que esto no significa automáticamente que TabFM destrone universalmente los modelos de producción personalizados e hiperoptimizados en cada carga de trabajo empresarial.
«En lugar de reemplazar los modelos de producción hiperoptimizados, el verdadero valor comercial práctico que desbloquea para los equipos de ingeniería eficiente es la velocidad», afirmó Kong. «Permite a los analistas de datos y a los ingenieros de backend crear instantáneamente modelos de referencia de alta calidad sin un equipo de ciencia de datos dedicado a gestionar un ciclo de vida complejo».
Para los profesionales avanzados que buscan obtener la máxima precisión, el equipo de investigación también introdujo una configuración «TabFM-Ensemble». Al ejecutar el modelo a través de 32 variaciones distintas y combinar los resultados, TabFM lleva el rendimiento aún más lejos.
Primeros pasos, compensaciones y el futuro de la nube
El cambio al aprendizaje en contexto para tablas introduce una nueva compensación económica que los equipos de ingeniería deben considerar.
Con los algoritmos tradicionales, el entrenamiento es lento y costoso, pero la inferencia es ultrarrápida y barata. TabFM cambia esta dinámica. Mientras que el tiempo de entrenamiento cae a cero, la inferencia se vuelve significativamente más pesada. Debido a que el modelo debe procesar todo el conjunto de datos históricos como contexto durante cada predicción, requiere más computación y memoria en tiempo de ejecución.
En este nuevo paradigma, «la capacitación tradicional en aprendizaje automático se convierte en la fase de ‘prellenado’ (almacenamiento en caché KV) en la ventana de contexto», dijo Kong. Si bien este costo de precompletar es elevado, se paga solo una vez por tabla y el caché se reutiliza en consultas posteriores. «El problema es la latencia de predicción, que ningún almacenamiento en caché elimina», añadió Kong. Cada nueva predicción requiere pasar por un gran transformador. «Cualquier API de producción que requiera tiempos de respuesta de un solo dígito y milisegundos no puede tolerar la sobrecarga de avance de TabFM».
Para los desarrolladores que buscan evaluar el modelo hoy, la barrera de entrada es baja. Google diseñó TabFM como un reemplazo directo de los flujos de trabajo de aprendizaje automático tradicionales, ofreciendo una API compatible con scikit-learn (TabFMClassifier y TabFMRegressor). Maneja de forma nativa columnas numéricas y categóricas mixtas, funciona directamente con pandas DataFrames y no requiere codificadores ordinales manuales ni escaladores numéricos. La biblioteca admite backends JAX y PyTorch.
Sin embargo, los equipos empresariales deben ser conscientes de las limitaciones y restricciones de licencia actuales. La arquitectura del modelo tiene un límite estricto de 10 clases de salida para tareas de clasificación y está optimizada para tablas con hasta 500 características. Más importante aún, mientras Google lanzó el base de código subyacente Bajo la licencia permisiva Apache 2.0, los pesos del modelo previamente entrenado se publican en abrazando la cara bajo una estricta licencia tabfm-non-commercial-v1.0. Los desarrolladores pueden evaluar el modelo internamente, pero aún no se puede implementar en productos comerciales.
De cara al futuro, Google está abordando las fricciones en el despliegue comercial a través de su ecosistema de nube. TabFM se está integrando directamente en Google BigQuery, lo que permite a los analistas ejecutar predicciones cero de forma nativa mediante un comando «AI.PREDICT». Al colocar la inferencia del modelo básico justo al lado del almacén de datos, TabFM pronto podría hacer que el aprendizaje automático tabular complejo sea tan accesible como una consulta básica de base de datos.
En la práctica, TabFM brilla en la creación rápida de prototipos, entornos con mucha deriva de datos y conjuntos de datos pequeños y medianos de menos de 100.000 filas. Por el contrario, los equipos deben ceñirse a los modelos tradicionales para API estrictas de latencia ultrabaja o tablas masivas que superan el millón de filas, que actualmente requieren un muestreo de filas agresivo que degrada la ventaja competitiva del modelo básico.
La gran mayoría de los datos empresariales son tabulares (viven en almacenes de datos, CRM y libros de contabilidad financieros), pero construir un modelo confiable a partir de ellos aún significa entrenar uno nuevo desde cero para cada conjunto de datos, luego mantener ciclos de ajuste de hiperparámetros, ingeniería de funciones y reentrenar los canales para combatir la deriva de datos. Google Research propone una forma de evitarlo: un nuevo modelo básico llamado TabFM que trata la predicción tabular como un problema de aprendizaje en contexto.
Puede generar predicciones para una tabla nueva e invisible en un solo paso hacia adelante. Para los desarrolladores empresariales y los ingenieros de IA, esto reduce el tiempo de producción de semanas de ingeniería de canalización a una única llamada API.
El desafío del ML tradicional
Para extraer predicciones confiables de un árbol impulsado por gradiente, los científicos de datos deben construir y mantener canales de datos complejos. Tienen que limpiar entradas desordenadas, imputar valores faltantes, codificar variables categóricas en formatos numéricos y diseñar cruces de características personalizadas.
Una vez que los datos están listos, deben ejecutar bucles repetitivos de optimización de hiperparámetros, buscando entre tasas de aprendizaje, profundidades de árboles, proporciones de submuestreo y cuadrículas de regularización para encontrar la mejor configuración.
Una vez implementados, estos modelos tradicionales «incurren en una deuda operativa continua a través del monitoreo de la deriva de datos y el reentrenamiento de los canales para mantener la precisión», dijo a VentureBeat Weihao Kong, investigador científico de Google Research.
Mientras tanto, el resto de la industria de la IA ha seguido adelante. Los modelos de IA generativa para texto y visión por computadora han pasado sin problemas a la inferencia de disparo cero, donde un modelo puede realizar una tarea completamente nueva simplemente con solo recibir indicaciones del contexto.
Los modelos de lenguajes grandes (LLM) ya destacan en aprendizaje en contextoEntonces, ¿por qué no podemos simplemente introducir tablas en un LLM disponible en el mercado?
Debido a que los LLM están capacitados en lenguaje natural en lugar de datos estructurados, tienen dificultades para procesar tablas directamente. En primer lugar, sus límites de contexto se agotan rápidamente en tablas de tamaño mediano que contienen sólo unos pocos miles de filas y cientos de columnas. En segundo lugar, los LLM adolecen de ineficiencia en la tokenización, ya que dividen de manera incómoda los valores numéricos y destruyen la precisión matemática. Finalmente, sufren de ceguera estructural. Cuando una tabla 2D se serializa como una cadena de texto 1D, los LLM pierden la pista de qué valor pertenece a qué fila y columna a medida que la tabla crece.
«Es por eso que, hoy en día, es mucho más efectivo usar un LLM para escribir el código que maneja la ingeniería de características y llama a XGBoost que pedirle al LLM que lea la tabla en sí», dijo Kong.
¿Qué es TabFM?
Para ejecutar inferencia con TabFM, no actualiza ningún peso del modelo. En su lugar, toma sus ejemplos históricos (las filas de entrenamiento con sus etiquetas conocidas) y sus filas de destino (los nuevos datos que desea predecir) y las pasa al modelo como un mensaje único y unificado. El modelo aprende a interpretar las relaciones entre columnas y filas directamente desde este contexto en tiempo de ejecución.
Por ejemplo, considere un analista empresarial que intenta predecir la pérdida de clientes. En lugar de crear una canalización de datos personalizada y entrenar un modelo XGBoost, pueden simplemente pasar una muestra de datos históricos de sesiones de usuario junto con una sesión nueva y activa a TabFM. En un paso hacia adelante, el modelo devuelve una probabilidad de abandono instantáneo.
TabFM supera las limitaciones de los LLM al tratar los datos como una cuadrícula, preservando su integridad estructural sin forzarlos a formar una cadena de texto unidimensional.
Para procesar eficazmente diversas estructuras tabulares y al mismo tiempo permitir una predicción escalable de disparo cero, TabFM sintetiza las fortalezas de arquitecturas experimentales anteriores, TabPFN y TabICL. PestañaPFNdesarrollado por Prior Labs, demostró por primera vez que una arquitectura de transformador podía realizar una clasificación de disparo cero en tablas pequeñas, aunque tuvo dificultades para escalar computacionalmente a conjuntos de datos más grandes.
Más tarde, PestañaICLdesarrollado por el Instituto Nacional de Investigación en Ciencia y Tecnología Digital de Francia, abordó este cuello de botella introduciendo la compresión de filas, lo que permite el aprendizaje en contexto para procesar eficientemente tablas mucho más grandes.
TabFM combina la profunda contextualización de funciones de TabPFN con la compresión eficiente de TabICL en un novedoso diseño híbrido construido sobre tres mecanismos clave:
1. Atención alternada de filas y columnas: La tabla sin formato se procesa primero a través de un módulo de atención multicapa que alterna columnas (características) y filas (ejemplos). Al prestar atención continua a estas dos dimensiones, el modelo captura de forma nativa interacciones de características complejas. Esta contextualización profunda hace el trabajo pesado que normalmente requeriría una tediosa elaboración manual de funciones por parte de científicos de datos.
2. Compresión de filas: Después de esta contextualización, la información cruzada para cada fila se comprime en una representación vectorial única y densa. TabICL fue pionero en esto mediante el uso de tokens CLS para comprimir la rica información de una fila en un vector, «a diferencia de TabPFN v2, v2.5 y v2.6, que atienden la cuadrícula de celdas completa en toda la red», explicó Kong. Esto reduce drásticamente la huella computacional.
3. Aprendizaje en contexto (ICL): Luego, un transformador causal opera en esta secuencia de incrustaciones comprimidas. Este modelo Transformer utiliza el mecanismo de atención de TabICL para atender estos densos vectores de filas, lo que reduce drásticamente el costo de cálculo y permite que el modelo procese grandes conjuntos de datos de manera eficiente.
Un importante punto de venta de TabFM es su receta de preentrenamiento. El modelo se entrenó íntegramente en cientos de millones de conjuntos de datos sintéticos. Estos conjuntos de datos se generaron dinámicamente utilizando modelos causales estructurales (SCM) que incorporan una amplia variedad de funciones aleatorias. Al capacitarse exclusivamente en SCM sintéticos, TabFM aprendió los aspectos matemáticos fundamentales de cómo interactúan las características tabulares sin ingerir archivos CSV confidenciales del mundo real.
TabFM en acción
Para probar las capacidades del modelo, los investigadores de Google compararon TabFM en TabArena, un conjunto de evaluación integral que abarca 51 conjuntos de datos tabulares diversos en 38 tareas de clasificación y 13 de regresión.
En estos puntos de referencia públicos, las predicciones cero de TabFM ya coinciden o superan las líneas de base supervisadas fuertemente ajustadas. Sin embargo, Google tiene cuidado en señalar que esto no significa automáticamente que TabFM destrone universalmente los modelos de producción personalizados e hiperoptimizados en cada carga de trabajo empresarial.
«En lugar de reemplazar los modelos de producción hiperoptimizados, el verdadero valor comercial práctico que desbloquea para los equipos de ingeniería eficiente es la velocidad», afirmó Kong. «Permite a los analistas de datos y a los ingenieros de backend crear instantáneamente modelos de referencia de alta calidad sin un equipo de ciencia de datos dedicado a gestionar un ciclo de vida complejo».
Para los profesionales avanzados que buscan obtener la máxima precisión, el equipo de investigación también introdujo una configuración «TabFM-Ensemble». Al ejecutar el modelo a través de 32 variaciones distintas y combinar los resultados, TabFM lleva el rendimiento aún más lejos.
Primeros pasos, compensaciones y el futuro de la nube
El cambio al aprendizaje en contexto para tablas introduce una nueva compensación económica que los equipos de ingeniería deben considerar.
Con los algoritmos tradicionales, el entrenamiento es lento y costoso, pero la inferencia es ultrarrápida y barata. TabFM cambia esta dinámica. Mientras que el tiempo de entrenamiento cae a cero, la inferencia se vuelve significativamente más pesada. Debido a que el modelo debe procesar todo el conjunto de datos históricos como contexto durante cada predicción, requiere más computación y memoria en tiempo de ejecución.
En este nuevo paradigma, «la capacitación tradicional en aprendizaje automático se convierte en la fase de ‘prellenado’ (almacenamiento en caché KV) en la ventana de contexto», dijo Kong. Si bien este costo de precompletar es elevado, se paga solo una vez por tabla y el caché se reutiliza en consultas posteriores. «El problema es la latencia de predicción, que ningún almacenamiento en caché elimina», añadió Kong. Cada nueva predicción requiere pasar por un gran transformador. «Cualquier API de producción que requiera tiempos de respuesta de un solo dígito y milisegundos no puede tolerar la sobrecarga de avance de TabFM».
Para los desarrolladores que buscan evaluar el modelo hoy, la barrera de entrada es baja. Google diseñó TabFM como un reemplazo directo de los flujos de trabajo de aprendizaje automático tradicionales, ofreciendo una API compatible con scikit-learn (TabFMClassifier y TabFMRegressor). Maneja de forma nativa columnas numéricas y categóricas mixtas, funciona directamente con pandas DataFrames y no requiere codificadores ordinales manuales ni escaladores numéricos. La biblioteca admite backends JAX y PyTorch.
Sin embargo, los equipos empresariales deben ser conscientes de las limitaciones y restricciones de licencia actuales. La arquitectura del modelo tiene un límite estricto de 10 clases de salida para tareas de clasificación y está optimizada para tablas con hasta 500 características. Más importante aún, mientras Google lanzó el base de código subyacente Bajo la licencia permisiva Apache 2.0, los pesos del modelo previamente entrenado se publican en abrazando la cara bajo una estricta licencia tabfm-non-commercial-v1.0. Los desarrolladores pueden evaluar el modelo internamente, pero aún no se puede implementar en productos comerciales.
De cara al futuro, Google está abordando las fricciones en el despliegue comercial a través de su ecosistema de nube. TabFM se está integrando directamente en Google BigQuery, lo que permite a los analistas ejecutar predicciones cero de forma nativa mediante un comando «AI.PREDICT». Al colocar la inferencia del modelo básico justo al lado del almacén de datos, TabFM pronto podría hacer que el aprendizaje automático tabular complejo sea tan accesible como una consulta básica de base de datos.
En la práctica, TabFM brilla en la creación rápida de prototipos, entornos con mucha deriva de datos y conjuntos de datos pequeños y medianos de menos de 100.000 filas. Por el contrario, los equipos deben ceñirse a los modelos tradicionales para API estrictas de latencia ultrabaja o tablas masivas que superan el millón de filas, que actualmente requieren un muestreo de filas agresivo que degrada la ventaja competitiva del modelo básico.
