Análisis de montaje

Una herramienta de análisis del corte cinematográfico construida sobre visión por computador y aprendizaje automático. 

Los primeros cortes de una película son territorios difíciles de habitar para cualquiera que no sea quien los monta. El material llega en bruto, los tiempos cambian de una sesión a otra y la línea de tiempo del software de edición ofrece muy poca superficie para pensar. Las notas escritas a mano se pierden, los comentarios verbales se olvidan y la conversación entre el equipo creativo y el director o directora queda fragmentada. Editing Analytics parte de una premisa concreta surgida en ese espacio de trabajo, necesitamos un tablero visual, algo parecido a un muro de post-its digitales, que permita anotar, clasificar y analizar lo que ocurre dentro de un corte mientras todavía se está formando. 

La segunda premisa es de investigación, existen modelos robustos para detectar cortes automáticamente en una película, pero no existen herramientas consolidadas para detectar secuencias. Definir qué es una secuencia y reconocerla de forma automática en un montaje es un problema abierto, y este prototipo es un intento sistemático de abordarlo. 

El sistema opera con una arquitectura de dos capas. En el frontend, una aplicación organiza el material visual en cuadrícula y ofrece módulos de anotación, comparación de cortes, análisis estadístico y visualización temporal del ritmo de montaje. En el backend, un servidor unificado en Python articula cuatro modelos distintos según el tipo de análisis requerido. PySceneDetect actúa como capa base de detección de planos mediante tres detectores configurables. 

Para la capa semántica, el sistema integra YOLOv12, RT-DETR y varios VLMs. La identificación de similitud visual entre fragmentos combina dos arquitecturas de representación distintas: DINOv2 y CLIP, que genera representaciones conjuntas de imagen y texto en el mismo espacio vectorial. Sobre esos embeddings opera una cadena de algoritmos de agrupamiento, HDBSCAN, K-Means, DBSCAN, Clustering Aglomerativo, Gaussian Mixture Models y UMAP para reducción dimensional, que buscan detectar clusters de planos visualmente coherentes. Esos clusters son el intento computacional de identificar lo que un editor o editora reconoce como secuencia. 

La teoría del montaje distingue entre unidades de tiempo muy diferentes; el plano como unidad mínima, la escena como unidad de lugar y acción, y la secuencia como unidad de significado narrativo. Walter Murch, en sus reflexiones sobre el oficio, señalaba que editar es construir ritmo, y que el ritmo de un film no vive en ningún plano individual sino en la relación entre planos. André Bazin sostenía que el montaje crea una realidad que no existe en el material original, mientras que Eisenstein teorizó el choque entre planos como el motor mismo del sentido. Todos estos enfoques comparten una dificultad y es que la secuencia es una unidad que solo existe en la lectura, no en la señal. Eso es exactamente lo que hace que su detección automática sea tan complicada. Los modelos de visión pueden medir diferencias de píxeles, de vectores semánticos o de presencia de objetos, pero ninguna de esas métricas captura directamente la intención narrativa que une un conjunto de planos. Editing Analytics trata de aproximarse a esa imposibilidad, la convierte en superficie de investigación y propone visualizaciones que permiten al equipo creativo razonar sobre ella. 

El prototipo se utiliza en el contexto de trabajo editorial activo dentro de Artefacto. Durante las sesiones de primer corte, el sistema procesa el archivo de video exportado desde la sala de montaje, extrae fotogramas representativos por plano, genera embeddings visuales y los presenta agrupados en el tablero. El equipo puede añadir anotaciones por plano, comparar versiones del mismo corte lado a lado y visualizar el ritmo temporal como una curva de densidad a lo largo del film. El módulo de análisis estadístico calcula duración media de plano, distribución de duraciones, evolución temporal del ritmo y patrones de detección de objetos.

El objetivo del proyecto es tener herramientas propias de análisis del corte, herramientas que sirvan para leer lo que ya existe dentro de una película antes de decidir qué cambiar.