Con 620 millones de usuarios mensuales, aplicar un modelo de frontera para cada recomendación de imagen no es una estrategia, es una factura. El CTO de Pinterest, Matt Madrigal, lo resolvió destruyendo la capa de visión de Qwen3-VL y reconstruyéndola con incrustaciones patentadas, lo que redujo los costos en un 90 % y aumentó la precisión en un 30 %.
El equipo de Madrigal ha estado invirtiendo mucho en personalizar modelos de código abierto «fundamentalmente internamente».
«Si tienes datos realmente únicos con los que luego puedes ajustar un modelo de código abierto, la calidad de los datos, francamente, superará o superará el tamaño del modelo», explicó Madrigal en un artículo reciente. Podcast de VB Más allá del piloto.
Cómo Pinterest personalizó Qwen para el descubrimiento visual
Pinterest, que tiene alrededor de 620 millones de usuarios activos mensuales, ha aplicado durante mucho tiempo modelos de código abierto para la búsqueda y el descubrimiento visual, remontándose al BERT de Google y al CLIP de OpenAI. La compañía perfeccionó su propio Pin CLIP en este último, incorporando incrustaciones visuales patentadas y metadatos de imágenes.
El asistente de compras conversacional de Pinterest, Navigator 1, se creó en Qwen3-VL y se personalizó de maneras «bastante significativas». Básicamente, el equipo de Madrigal “arrancó” la capa del codificador de visión de Qwen y ajustó el modelo en incrustaciones multimodales patentadas. Esto les ha permitido capturar metadatos en torno a pines e imágenes que luego pueden precalcularse fuera de línea y volver a capacitarse periódicamente con nueva información para ofrecer experiencias personalizadas.
«Los modelos de código abierto, especialmente con licencias abiertas de Apache donde realmente se pueden modificar muchos pesos abiertos y personalizarlos para casos de uso únicos; ahí es donde hemos descubierto que el código abierto es tan poderoso para nosotros», dijo Madrigal.
Incorporar sus propias incrustaciones permite a su equipo obtener contexto sobre metadatos, pines e imágenes; Además, en particular, el modelo funciona mejor en tiempo de ejecución y en inferencia. Sin estas incrustaciones, los desarrolladores tendrían que llamar y codificar cada imagen devuelta en tiempo de ejecución, una a la vez. Eso da como resultado una latencia “20 veces peor” desde una perspectiva de inferencia, dijo Madrigal.
«Si es algo que va a ser crítico para nuestros usuarios finales, que va a impulsar la participación, que tendrá que escalar a más de 600 millones de usuarios activos mensuales, probablemente lo construiremos o aprovecharemos el código abierto y lo personalizaremos al máximo», dijo.
VB Transform · 14 y 15 de julio · Menlo Park · Orquestación agente
Intuit reconstruyó su sistema multiagente en 60 días. ¿Qué cambiaron y por qué?
En Transform, los líderes de ingeniería de Intuit, Target e Instacart analizan cómo rediseñaron sus arquitecturas de orquestación para lograr confiabilidad, escala y clientes reales.
Cómo un gráfico de gustos capta los intereses en evolución
Para guiar a los usuarios desde la inspiración hasta la compra, el equipo de Madrigal creó un «gráfico de gustos»: una representación dinámica de lo que realmente les gusta a los usuarios individuales, no solo en lo que hacen clic. «Es esta representación de la evolución de los gustos de miles de millones de personas», dijo.
La gente acude a Google u otros motores de búsqueda cuando tiene una idea clara de lo que quiere; Pinterest es para cuando todavía están en la fase de descubrimiento, dijo Madrigal. El objetivo de Pinterest es fomentar la “exploración lateral” y transformar el descubrimiento en intención (es decir, hacer clic en anuncios o realizar compras).
Debajo del capó, la arquitectura combina una estructura gráfica con aprendizaje representacional. Las incorporaciones de usuario capturan los gustos cambiantes de un usuario. Estos se actualizan constantemente en función de la actividad y los nuevos contenidos y señales. «No es un gráfico social», dijo Madrigal. «Es mucho más un gráfico de preferencias: ¿Qué te inspirará? ¿Qué intentas hacer a continuación?».
Por ejemplo, a un usuario le pueden interesar los diseños modernos de mediados de siglo; otro puede preferir la estética de Nantucket. Esas preferencias se capturarán en las incrustaciones del usuario y, como resultado, el gráfico de gustos mostrará productos específicos y relevantes.
“Se va desde el embudo superior, el descubrimiento de la inspiración, hasta la intención del embudo inferior”, dijo Madrigal.
Escuche el podcast completo para saber más sobre:
-
Cómo Pinterest utiliza sandboxes para fomentar la creatividad de una manera segura y contenida;
-
Por qué un circuito de retroalimentación continua puede evitar la disminución visual de la IA;
-
La importancia de realizar evaluaciones comparativas constantes para medir la participación del usuario, el rendimiento, la latencia y otros factores.
También puedes escuchar y suscribirte Más allá del piloto en Spotify, Manzana o dondequiera que obtengas tus podcasts.
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
