TransVLM: detección de cualquier transición de plano con modelos de lenguaje y visión

HeyGen Research y la Universidad de Melbourne han presentado TransVLM, un modelo de lenguaje y visión aceptado en ECCV 2026 que reformula la detección de cortes de plano como detección de transiciones completas (STD), identificando segmentos temporales con inicio y fin en lugar de puntos aislados. El modelo fusiona flujo óptico con fotogramas en color dentro de un modelo de lenguaje y visión para detectar todo tipo de transiciones: cortes, fundidos y efectos especiales. TransVLM alcanza un 78,3 % de F1 segmental en datos públicos y un 89,5 % en datos sintéticos, superando a métodos previos como AutoShot. Incluye un motor de datos que genera 233.000 vídeos sintéticos con 690.000 transiciones y un pipeline de inferencia por ventanas deslizantes para vídeos de longitud arbitraria. Esta tecnología es relevante porque una detección imprecisa de transiciones corrompe tareas posteriores como la búsqueda de vídeo, el subtitulado y, sobre todo, la generación de vídeo por IA.