Kinesthesia

Un sistema que convierte el cuerpo en mesa de montaje.

El montaje cinematográfico ha sido históricamente un proceso mental y lineal, una operación de selección, ritmo y decisión que ocurre frente a una pantalla y una línea de tiempo, con las manos sobre un teclado. 

Kinesthesia parte de una pregunta surgida en un taller; ¿puede el montaje ser también un proceso físico? ¿Puede el cuerpo, su postura, su movimiento en el espacio, convertirse en el instrumento con el que se arma una película? Este prototipo es la respuesta experimental a esa pregunta. Desarrollado como laboratorio de investigación a partir de un taller de Artefacto, el sistema permite que una persona edite y controle la reproducción de imágenes en movimiento únicamente con gestos corporales, sin teclado, sin ratón, sin interfaz gráfica convencional.

El sistema funciona a través de MediaPipe Pose, el modelo de detección de poses corporales desarrollado por Google. La arquitectura subyacente es BlazePose GHUM 3D, un modelo optimizado para inferencia en tiempo real que detecta 33 puntos anatómicos del cuerpo humano, desde la nariz hasta los dedos de los pies. Cada uno de estos puntos, llamados landmarks, representa una coordenada espacial que el modelo calcula a partir del flujo de una cámara web. La inferencia se ejecuta mediante TensorFlow Lite con delegado XNNPACK, lo que permite que todo el proceso corra en CPU sin necesidad de hardware especializado. Sobre esa representación de puntos, el sistema evalúa relaciones espaciales entre landmarks específicos. Por ejemplo: si la muñeca izquierda está por encima de la cadera izquierda, se activa la reproducción; si desciende por debajo de la rodilla, el video se pausa… Cada condición gestual y su acción asociada se define en una hoja de Google Sheets, lo que convierte esa hoja de cálculo en una partitura coreográfica y en una interfaz de programación accesible sin código. 

El procesamiento visual del video corre sobre OpenCV y MoviePy, que permiten aplicar efectos en tiempo real y construir el montaje final a partir de los timecodes marcados con el cuerpo.

La pregunta que organiza Kinesthesia tiene raíces en debates que el cine lleva décadas sin resolver del todo. Cuando Eisenstein describía el montaje como colisión, o cuando los editores de la tradición soviética hablaban del ritmo como algo casi muscular, señalaban una dimensión corporal en la toma de decisiones fílmicas que la tecnología digital tendió a invisibilizar. 

El taller del que surgió este prototipo puso a los participantes a pensar el montaje desde la postura, desde el equilibrio, desde la distancia física con la pantalla. Kinesthesia traslada esa experiencia a un sistema funcional y plantea preguntas sobre la naturaleza de la autoría técnica; cuando las instrucciones de edición viven en una hoja de cálculo compartida y el gesto que las activa es el de cualquier cuerpo presente, ¿quién edita la película?

Dentro de la investigación de Artefacto, Kinesthesia opera como un laboratorio sobre los límites entre interfaz, cuerpo y narración. 

El flujo completo, desde la postura corporal hasta el archivo de video exportado, funciona sin intervención manual sobre dispositivos de entrada tradicionales. El sistema está diseñado para seguir siendo modificado, el mapa de gestos en Google Sheets puede reescribirse, los videos fuente pueden cambiarse, y los efectos visuales disponibles, que incluyen desde inversión de color hasta distorsión sinusoidal, pueden activarse o desactivarse según la propuesta de cada sesión. 

Kinesthesia es un instrumento abierto para seguir explorando si el cine puede editarse con el cuerpo entero.