Pinterest redujo los costos de IA en un 90% al eliminar la capa de visión de un modelo de límites

Con 620 millones de usuarios mensuales, recurrir a un modelo de frontera para cada recomendación de imagen no es una estrategia, es una factura. El CTO de Pinterest, Matt Madrigal, lo resolvió eliminando la capa de visión de Qwen3-VL y reconstruyéndola con integraciones patentadas, lo que redujo los costos en un 90 % y aumentó la precisión en un 30 %.

El equipo de Madrigal ha invertido mucho en personalizar modelos de código abierto «básicamente internamente».

«Si tiene datos verdaderamente únicos con los que luego puede ajustar un modelo de código abierto, la calidad de los datos superará o, francamente, superará el tamaño del modelo», explicó Madrigal en un podcast reciente de VB Beyond the Pilot.

Cómo Pinterest personalizó Qwen para el descubrimiento visual

Pinterest, que tiene alrededor de 620 millones de usuarios activos mensuales, tiene una larga historia de aplicación de modelos de código abierto para la búsqueda y el descubrimiento visual, que se remonta a BERT de Google y CLIP de OpenAI. La compañía perfeccionó su propio Pin CLIP en este último, incorporando incrustaciones visuales patentadas y metadatos de imágenes.

El asistente de compras conversacional de Pinterest, Navigator 1, se creó en Qwen3-VL y se personalizó de una manera «bastante significativa». El equipo de Madrigal esencialmente «eliminó» la capa del codificador de visión de Qwen y refinó el modelo en integraciones multimodales patentadas. Esto les permitió capturar metadatos alrededor de pines e imágenes que luego pueden calcularse previamente sin conexión y reciclarse periódicamente en nueva información para ofrecer experiencias personalizadas.

«Los modelos de código abierto, especialmente con las licencias abiertas de Apache, donde se pueden modificar muchos pesos abiertos y personalizarlos para casos de uso únicos, ahí es donde encontramos que el código abierto es tan poderoso para nosotros», dijo Madrigal.

Traer sus propias integraciones permite a su equipo obtener contexto sobre metadatos, pines e imágenes; Además, en particular, el modelo funciona mejor en tiempo de ejecución y en inferencia. Sin estas integraciones, los desarrolladores tendrían que llamar y codificar cada imagen devuelta en tiempo de ejecución, una a la vez. Esto da como resultado una latencia “20 veces peor” desde una perspectiva de inferencia, dijo Madrigal.

«Si es algo que va a ser crítico para nuestros usuarios finales, que va a impulsar la participación, que va a necesitar escalar a más de 600 millones de usuarios activos mensuales, probablemente lo construiremos o aprovecharemos el código abierto y lo personalizaremos», dijo.

Cómo un gráfico de gustos captura los intereses cambiantes

Para guiar a los usuarios desde la inspiración hasta la compra, el equipo de Madrigal creó un “gráfico de gustos”: una representación dinámica de lo que realmente les gusta a los usuarios individuales, no solo en lo que hacen clic. «Es esta representación de los gustos cambiantes de miles de millones de personas», dijo.

La gente acude a Google u otros buscadores cuando tiene una idea clara de lo que quiere; Pinterest es para cuando todavía están en la fase de descubrimiento, dijo Madrigal. El objetivo de Pinterest es fomentar la «exploración lateral» y convertir el descubrimiento en intención (es decir, hacer clic en anuncios o realizar compras).

Debajo del capó, la arquitectura combina una estructura gráfica con aprendizaje representacional. Las integraciones de usuarios capturan los gustos cambiantes de un usuario. Estos se actualizan constantemente en función de la actividad y los nuevos contenidos y señales. «No es un gráfico social», dijo Madrigal. «Es mucho más una tabla de preferencias: ¿Qué te inspirará? ¿Qué intentas hacer a continuación?»

Por ejemplo, un usuario puede estar interesado en diseños modernos de mediados de siglo; otro puede preferir la estética de Nantucket. Estas preferencias se capturarán en las integraciones de los usuarios y, por lo tanto, el gráfico de gustos sugerirá productos específicos y relevantes.

“Se va desde el embudo superior, desde el descubrimiento hasta la inspiración, hasta llegar a la intención del embudo inferior”, dijo Madrigal.

Escuche el podcast completo para obtener más información sobre:

• Cómo Pinterest utiliza sandboxes para fomentar la creatividad de forma segura y contenida;

• Por qué un circuito de retroalimentación continua puede evitar la deriva visual de la IA;

• La importancia de realizar evaluaciones comparativas constantes para evaluar la participación del usuario, el rendimiento, la latencia y otros factores.

También puedes escuchar y suscribirte. Más allá del piloto seguro Spotify, Manzana o dondequiera que obtengas tus podcasts.