Las cámaras de 360 ​​grados tienen un nuevo superpoder

Imagínese Google Street View, excepto que puede caminar como si fuera un videojuego. Ahora imagina que no necesitas esperar a que Google filme porque es completamente DIY. Insta360, el fabricante líder de cámaras de 360 ​​grados, ahora se ha asociado con una startup británica de 12 personas llamada Splatica para ayudar a los creadores a hacer precisamente eso.

En enero pasado, escribimos sobre el splatting gaussiano, la tecnología que promete algún día permitir a cualquiera recrear digitalmente fragmentos del mundo real en 3D fotorrealista. Pero Splatica hace que sea sorprendentemente fácil aprovechar los símbolos. hoy – con nada más que una cámara de 360 ​​grados disponible en el mercado y un servicio de suscripción que se encarga de todo lo demás.

Cuando digo «sorprendentemente fácil», lo digo en serio: esto es todo lo que tenía que hacer:

Lo probé con una cámara Insta360 X5 y un Antigravity A1, y puedes ver mis resultados a continuación. Si bien definitivamente no son perfectos (los símbolos a menudo pueden parecer un poco etéreos, como si estuvieras entrando en una pintura generada por computadora), ya estoy convencido de que algunos creadores y empresas comprarán cámaras de 360 ​​​​grados solo para este propósito.

El cofundador de Insta360, Max Richter, me dice que las cámaras de la compañía ya tenían demanda para recorridos virtuales de bienes raíces, informes de progreso de construcción e inspecciones de instalaciones. Si fuera un agente de bienes raíces, compraría uno para esta función ahora mismo.

Aquí está mi captura de Antigravity A1 de una estructura de juego gigante en mi parque local (use las teclas WASD en un teclado para volar y un mouse para conducir, o arrastre los controles en pantalla en un teléfono):

Y el aro de baloncesto destartalado de otro parque más adelante. Splatica elimina automáticamente a la mayoría de las personas en la escena, por lo que el parque está un poco más vacío de lo que estaba en realidad.

Si tocas el botón de ruta en la esquina superior derecha, debajo de «SD» y «HD», deberías ver la ruta sinuosa exacta que tomé con cada cámara (y el palo selfie de Insta360 X5) para crear estos resultados.

Cuando simplemente doy una vuelta alrededor del aro, como puedes ver a continuación, no se ve tan bien. Splatica solo puede recrear lo que ve tu cámara, por lo que necesitas filmar desde cada lugar donde quieras “estar” en el mundo virtual.

A continuación, intenté simular una inspección básica de un puente en el mismo parque, centrándome en un pilar debajo del tren de cercanías BART. No estoy seguro de que tenga suficientes detalles para satisfacer a los topógrafos o inspectores de seguridad reales; tal vez eso se deba a que la evasión excesiva de obstáculos del dron siguió deteniendo mi vuelo.

Pero cuando pasé más de cinco minutos capturando mi propio patio trasero con el X5, los resultados fueron tan amplios que mi esposa y yo no nos sentimos muy cómodos compartiendo todo el escaneo. En su lugar, vea cómo Splatica recreó todos los objetos en mi patio trasero generando una nube de puntos 3D:

Todos estos escaneos se pueden descargar en formato PLY y USDZ y asociarse con mediciones del mundo real: el cofundador de Splatica, Andrey Shelomentsev, me dice que normalmente hay un error del uno por ciento cada 100 centímetros, «lo suficientemente bueno para realizar levantamientos y una exploración aproximada del espacio», y dice que las mediciones pueden ser más precisas si se colocan algunos marcadores alrededor de un área.

En realidad, esta no es la primera vez que intento escanear en 3D mi patio trasero: en 2021, lo hice con un dron autónomo Skydio. Pero en aquel entonces, Skydio cobraba 2.999 dólares al año por la función, sin incluir un dron ni un servicio para unir las fotos, mientras que Splatica afirma que su servicio lo hace todo de forma autónoma con un vídeo normal de 360 ​​grados.

Las escenas de muestra de Splatica son incluso más interesantes que las mías, particularmente ahora que está tratando de demostrar que las empresas pueden usar su servicio para entrenar robots antes de implementarlos de verdad en fábricas de todo el mundo. Aquí está la fábrica de Imecar Elektronik en Antalya, Türkiye:

Y para algo completamente diferente, aquí tenéis parte de la Leighton House de Londres:

¿Cómo es posible esto simplemente caminando con una cámara? Shelomentsev me cuenta que su empresa ha creado una versión patentada de SLAM (la técnica de localización y mapeo simultáneos que permite que todo tipo de robots, automóviles autónomos y dispositivos de realidad virtual conozcan su posición en el espacio 3D) diseñada específicamente para crear nubes de puntos precisas a partir de videos de 360 ​​grados. Puedes pensar en las nubes de puntos como los “huesos” de objetos 3D que luego se pintan con color.

Y aunque Splatica dice que puede funcionar con cualquier cámara de 360 ​​grados, ayuda que las cámaras Insta360 y Antigravity coloquen todo tipo de metadatos adicionales en los archivos de video. «Los archivos contienen todo lo que necesitamos: parámetros de distorsión de la lente, velocidad de obturación, datos del acelerómetro y giroscopio, y GPS, transmitidos desde la aplicación móvil Insta360 directamente a la cámara durante la captura», dice el CEO y cofundador de Splatica, Eugene Nikolskii. El borde.

_{Arriba: Corridor Crew explica visualmente cómo funcionan los símbolos.}

El combo Insta360/Splatica tiene sus limitaciones. Si amplía cualquiera de mis ejemplos incrustados o vinculados para ver detalles finos, probablemente verá manchas de color ligeramente translúcidas en lugar de texturas legibles; después de todo, así es como se hacen los símbolos. La fotogrametría tradicional de alta resolución podría funcionar mejor si lo que más le importa son las superficies.

Pero eso no impide que Insta360, Antigravity y Splatica lancen una campaña de marketing llamada Project Eternal, que las empresas promocionan como una «iniciativa global» para preservar los monumentos culturales para las generaciones futuras. Ofrece premios para los mejores símbolos gaussianos, 1000 cargas gratuitas de Splatica (por orden de llegada) y un proyecto piloto para escanear Pompeya y la impresionante Civita di Bagnoregio en Italia. También están “invitando a creadores de todo el mundo” a explorar sitios como los teatros romanos y la isla de Jeju en Corea.

(Las compañías no nos dijeron cuánto están invirtiendo en Project Eternal y admitieron que no están ayudando a los creadores a obtener permisos para esas ubicaciones, pero Splatica afirma que mantendrá el acceso público indefinidamente a cualquier escena enviada a su «Open Heritage Dataset», y la compañía tiene una política de privacidad decente que deja en claro que su contenido le pertenece).

Más allá de eso, Richter de Insta360 dice que su compañía ya tiene clientes empresariales que prueban la reconstrucción 3D y los flujos de trabajo de gemelos digitales en los ámbitos de la construcción y la gestión de instalaciones, y espera proporcionar datos más completos desde la cámara a los servicios de reconstrucción 3D y hacer que el proceso sea más fluido.

En este momento, la mayor barrera de entrada con Splatica podría ser que el servicio no es barato. La empresa cobra entre 18 y 25 centavos por segundo de video procesado, y también debes pagar una suscripción mensual. Actualmente, la compañía está experimentando con los precios: la semana pasada eran $70, $200 o $385 por mes dependiendo del tamaño del escaneo que necesite, mientras que esta semana los mismos niveles son $50, $150 y $300.

Pero si quieres probarlo, es posible que aún puedas obtener una de las 1000 máquinas tragamonedas gratuitas. Splatica dice que renunciará a su tarifa de suscripción para los primeros 1.000 usuarios, cada uno de los cuales debería poder convertir 10 minutos de metraje de 360 ​​grados en pequeños mundos 3D. También puedes explorar más de 100 símbolos adicionales en la galería pública de Splatica.