Una eina danàlisi del tall cinematogràfic construïda sobre visió per computador i aprenentatge automàtic.
Els primers talls d´una pel·lícula són territoris difícils d´habitar per a qualsevol que no sigui qui els munta. El material arriba en brut, els temps canvien d’una sessió a una altra i la línia de temps del programari dedició ofereix molt poca superfície per pensar. Les notes escrites a mà es perden, els comentaris verbals s’obliden i la conversa entre l’equip creatiu i el director o la directora queda fragmentada. Editing Analytics parteix d’una premissa concreta sorgida en aquest espai de treball, necessitem un tauler visual, semblant a un mur de post-its digitals, que permeti anotar, classificar i analitzar el que passa dins d’un tall mentre encara s’està formant.
La segona premissa és de recerca, hi ha models robustos per detectar talls automàticament en una pel·lícula, però no hi ha eines consolidades per detectar seqüències. Definir què és una seqüència i reconèixer-la automàticament en un muntatge és un problema obert, i aquest prototip és un intent sistemàtic d’abordar-lo.
El sistema opera amb una arquitectura de dues capes. Al frontend, una aplicació organitza el material visual en quadrícula i ofereix mòduls d’anotació, comparació de talls, anàlisi estadística i visualització temporal del ritme de muntatge. Al backend, un servidor unificat a Python articula quatre models diferents segons el tipus d’anàlisi requerit. PySceneDetect actua com a capa base de detecció de plànols mitjançant tres detectors configurables.
Per a la capa semàntica, el sistema integra YOLOv12, RT-DETR i diversos VLMs. La identificació de similitud visual entre fragments combina dues arquitectures de representació diferents: DINOv2 i CLIP, que genera representacions conjuntes d’imatge i text al mateix espai vectorial. Sobre aquests embeddings opera una cadena d’algoritmes d’agrupament, HDBSCAN, K-Means, DBSCAN, Clustering Aglomeratiu, Gaussian Mixture Models i UMAP per a reducció dimensional, que busquen detectar clusters de plans visualment coherents. Aquests clústers són l’intent computacional d’identificar allò que un editor o editora reconeix com a seqüència.
La teoria del muntatge distingeix entre unitats de temps molt diferents; el pla com a unitat mínima, l’escena com a unitat de lloc i acció, i la seqüència com a unitat de significat narratiu. Walter Murch, en les reflexions sobre l’ofici, assenyalava que editar és construir ritme, i que el ritme d’un film no viu en cap pla individual sinó en la relació entre plans. André Bazin sostenia que el muntatge crea una realitat que no existeix al material original, mentre que Eisenstein va teoritzar el xoc entre plans com el motor mateix del sentit. Tots aquests enfocaments comparteixen una dificultat. La seqüència no està inscrita al vídeo com una dada física. Al senyal només hi ha fotogrames, talls i so; la seqüència apareix quan algú interpreta aquests plànols i entén que compten una mateixa acció en un mateix temps i lloc. És una unitat de sentit, imatge. Això és exactament el que fa que la detecció automàtica sigui tan complicada. Els models de visió poden mesurar diferències de píxels, de vectors semàntics o de presència d’objectes, però cap d’aquestes mètriques no captura directament la intenció narrativa que uneix un conjunt de plans. Editing Analytics intenta aproximar-se a aquesta impossibilitat, la converteix en superfície de recerca i proposa visualitzacions que permeten a l’equip creatiu raonar-hi.
El prototip s’utilitza en el context de treball editorial actiu dins d’Artefacto. Durant les sessions de primer tall, el sistema processa el fitxer de vídeo exportat des de la sala de muntatge, extreu fotogrames representatius per plànol, genera embeddings visuals i els presenta agrupats al tauler. L’equip pot afegir anotacions de pla, comparar versions del mateix tall costat a costat i visualitzar el ritme temporal com una corba de densitat al llarg del film. El mòdul danàlisi estadístic calcula durada mitjana de pla, distribució de durades, evolució temporal del ritme i patrons de detecció dobjectes.
L’objectiu del projecte és tenir eines pròpies d’anàlisi del tall, eines que serveixin per llegir allò que ja existeix dins una pel·lícula abans de decidir què canviar.
