Nube de puntos

Una imagen se convierte en espacio tridimensional y responde al movimiento de las manos en tiempo real.

Depth Cloud es un prototipo de experimentación audiovisual desarrollado en el laboratorio de Artefacto Films que transforma imágenes fijas en nubes de puntos tridimensionales interactivas. El proyecto surge como exploración estética dentro de una investigación más amplia sobre la percepción espacial en el cine y la pregunta de qué ocurre cuando una fotografía o un fotograma fílmico adquiere profundidad, volumen y capacidad de respuesta física. La imagen deja de ser una superficie plana y se convierte en materia navegable, en una estructura que el cuerpo puede manipular con sus manos frente a una pantalla.

El sistema funciona en tres etapas encadenadas. En la primera, el usuario carga una imagen y el modelo de lenguaje multimodal Gemini de Google genera un mapa de profundidad, una representación en escala de grises donde cada valor de píxel codifica la distancia estimada al plano de la cámara. 

En la segunda etapa, un proceso de conversión transforma ese mapa en una nube de puntos tridimensional renderizada en tiempo real mediante shaders WebGL dentro de un componente React. 

En la tercera, MediaPipe Hands analiza la señal de la cámara del usuario y traduce los gestos de las manos en transformaciones espaciales sobre la nube: rotación, escala, dispersión explosiva de partículas. 

El sistema opera también en un modo alternativo donde Gemini Nano genera escenas voxelizadas a partir de la misma imagen de entrada, produciendo una representación volumétrica discreta del espacio fotográfico.

Durante más de un siglo, el cine organizó la mirada desde un punto fijo; el espectador inmóvil frente a una proyección plana. Depth Cloud somete esa convención a una tensión directa. Al convertir el fotograma en una nube de puntos manipulable con el cuerpo, el proyecto propone que la imagen cinematográfica tiene una espacialidad latente que los modelos de visión artificial pueden hacer visible. Al mismo tiempo, abre una reflexión sobre la naturaleza de la profundidad generada por inteligencia artificial, la estimación de profundidad que produce Gemini es una inferencia estadística, una interpretación del espacio que el modelo construye a partir de patrones aprendidos en millones de imágenes.

El prototipo permite explorar cómo una sola herramienta puede ser a la vez un instrumento de análisis de archivo fílmico, un dispositivo de instalación interactiva y una plataforma de experimentación estética con nubes de puntos..

Aplicación: https://depthcloud-hand-control-231178493219.us-west1.run.app/