Un sistema que converteix el cos en taula de muntatge.
El muntatge cinematogràfic ha estat històricament un procés mental i lineal, una operació de selecció, ritme i decisió que passa davant una pantalla i una línia de temps, amb les mans sobre un teclat. Kinesthesia parteix d’una pregunta sorgida a un taller. El muntatge pot ser també un procés físic? El cos, la postura, el moviment a l’espai, es pot convertir en l’instrument amb què s’arma una pel·lícula? Aquest prototip és la resposta experimental a aquesta pregunta. Desenvolupat com a laboratori de recerca a partir d’un taller d’Artefacto, el sistema permet que una persona editi i controli la reproducció d’imatges en moviment únicament amb gestos corporals, sense teclat, sense ratolí, sense interfície gràfica convencional.
El sistema funciona a través de MediaPipe Pose, el model de detecció de posis corporals desenvolupat per Google. L’arquitectura subjacent és BlazePose GHUM 3D, un model optimitzat per a inferència en temps real que detecta 33 punts anatòmics del cos humà, des del nas fins als dits dels peus. Cadascun daquests punts, anomenats landmarks, representa una coordenada espacial que el model calcula a partir del flux d’una càmera web. La inferència s’executa mitjançant TensorFlow Lite amb delegat XNNPACK, cosa que permet que tot el procés corri en CPU sense necessitat de maquinari especialitzat. Sobre aquesta representació de punts, el sistema avalua relacions espacials entre landmarks específics. Per exemple, si el canell esquerre està per sobre del maluc esquerre, s’activa la reproducció; si baixa per sota del genoll, el vídeo es pausa. Cada condició gestual i la seva acció associada es defineix en un full de Google Sheets, fet que converteix aquest full de càlcul en una partitura coreogràfica i en una interfície de programació accessible sense codi.
El processament visual del vídeo corre sobre OpenCV i MoviePy, que permeten aplicar efectes a temps real i construir el muntatge final a partir dels timecodes marcats amb el cos.
La pregunta que organitza Kinesthesia té arrels en debats que el cinema fa dècades que no resol del tot. Quan Eisenstein descrivia el muntatge com a col·lisió, o quan els editors de la tradició soviètica parlaven del ritme com una cosa gairebé muscular, assenyalaven una dimensió corporal en la presa de decisions fílmiques que la tecnologia digital va tendir a invisibilitzar.
El taller de què va sorgir aquest prototip va posar els participants a pensar el muntatge des de la postura, des de l’equilibri, des de la distància física amb la pantalla. Kinesthesia trasllada aquesta experiència a un sistema funcional i planteja preguntes sobre la naturalesa de l’autoria tècnica. Quan les instruccions d’edició viuen en un full de càlcul compartit i el gest que les activa és el de qualsevol cos present, qui edita la pel·lícula?
Dins la investigació d’Artefacto, Kinesthesia opera com un laboratori sobre els límits entre interfície, cos i narració. El flux complet, des de la postura corporal fins al fitxer de vídeo exportat, funciona sense intervenció manual sobre dispositius d’entrada tradicionals. El sistema està dissenyat per continuar sent modificat. El mapa de gestos a Google Sheets es pot reescriure, els vídeos font es poden canviar, i els efectes visuals disponibles, que inclouen des d’inversió de color fins a distorsió sinusoïdal, es poden activar o desactivar segons la proposta de cada sessió. Kinesthesia és un instrument obert per continuar explorant si el cinema es pot editar amb el cos sencer.
