TransVLM: Detección de cualquier transición de plano con modelos de visión y lenguaje

TransVLM, un modelo desarrollado por HeyGen Research y la Universidad de Melbourne y aceptado en ECCV 2026, redefiné la detección de límites de plano como Detección de Transiciones de Plano (STD) identificando segmentos completos de transición en lugar de simples puntos de corte. El modelo fusiona el flujo óptico con los fotogramas de color dentro de un modelo de visión y lenguaje para detectar todos los tipos de transiciones: cortes, fundidos y efectos especiales. Logra un F1 segmental del 78.3% sobre datos públicos y del 89.5% sobre datos sintéticos, superando a todos los métodos existentes. Su motor de datos escalable genera 233.000 vídeos con 690.000 transiciones y su inferencia por ventana deslizante permite procesar vídeos de duración arbitraria. La detección precisa de transiciones resulta clave para impedir que los modelos de generación de vídeo a partir de texto produzcan transiciones no deseadas.