Detecci´ on de transiciones graduales

Las transiciones graduales (ediciones) son una clase importante de efectos, tales como fundidos entre fotogramas, fundidos (de entrada o salida) a o de un color (negro, blanco,etc.) y cortinillas. Alrededor de los a˜nos 50 las transiciones graduales fueron introducidas en el lenguaje cinematogr´afico; un fundido, por ejemplo, era muy utilizado para realizar un cambio de lugar o de ´epoca (flashback ) dentro de la misma acci´on. As´ı pues estas transiciones pueden ser tambi´en utilizadas como indicios para detectar cambios de escena, adem´as del simple corte del que hemos hablado anteriormente.

El desarrollo de la tecnolog´ıa de la edici´on ha facilitado el uso de los efectos de edici´on en la producci´on de v´ıdeo. Actualmente existe un gran n´umero de efectos de transici´on (por ejemplo el Adobe Premiere, un programa para la edici´on de v´ıdeo, proporciona m´as de 75 efectos de transici´on diferentes), lo cual dificulta la detecci´on de este tipo de efectos. Sin embargo, las transiciones graduales ocurren con menos frecuencia que los cortes, reduci´endose la importancia que la detecci´on de estos cambios de escena tienen en la mejora de los sistemas de an´alisis de v´ıdeo. Concretamente, en el caso que ocupa a esta tesis, la restauraci´on de pel´ıculas antiguas, estas transiciones son bastante escasas y adem´as no resultan cr´ıticas para la restauraci´on, ya que no suponen un cambio brusco de escena, es decir, una ruptura de la continuidad temporal. Sin embargo, nos ocuparemos a continuaci´on de analizar el estado del arte en la detecci´on de transiciones graduales, y m´as adelante dedicaremos una secci´on a la explicaci´on del m´etodo usado en esta tesis, as´ı como a la presentaci´on de los resultados obtenidos.

Detecci´on de mesetas

Las comparaciones basadas solamente en fotogramas sucesivos no son adecuadas para la detecci´on de transiciones graduales ya que los cambios entre un fotograma y el siguiente son peque˜nos en este tipo de efectos. Una alternativa es comparar el fotograma ftcon el ft−k; sin

embargo, este tipo de comparaci´on puede dar lugar a muchos falsos positivos, ya que dentro del mismo plano, dos fotogramas separados k pueden tener grandes diferencias estad´ısticas debidas, por ejemplo al movimiento de la c´amara o de objetos dentro de la escena.

Yeo y Liu [154] presentan un detector de transiciones graduales que se basa en la com- paraci´on de los fotogramas i e i + k, obteni´endose una secuencia de distancias calculada como

{Dk

i = d(fi, fi+k)}. Si k se elige mayor que la duraci´on de la transici´on, la secuencia Dik pre-

sentar´a una meseta de m´axima anchura. Para reducir la detecci´on de falsas transiciones, se exige que el valor de la meseta sea m´as alto que la media de las diferencias entre fotogramas para los cortes. Un m´etodo similar se presenta en [137], aqu´ı se trabaja con im´agenes dc y la distancia se calcula como la diferencia entre los histogramas de las componentes YUV de dos fotogramas consecutivos.

los planos X e Y (el ´ultimo fotograma del plano X y el primero del plano Y ) por medio de la siguiente expresi´on:

E(t) = (t− T₂) L₂ Y  t∈[T2,T2+L2] +  1−(t− T1) L₁  X  t∈[T1,T1+L1] , (2.11)

donde T₁ y T₂ representan los instantes en los cuales el escalado de las intensidades de X e

Y comenzaron y L₁ y L₂ representan las duraciones de los escalados. Un fundido a negro es un caso especial de fundido, en el cual X = 0 si es fundido desde negro (fade-in) o Y = 0 si es hacia negro (fade-out ).

Concretamente Hampapur, Jain y Weymouth [60], calculan lo que ellos llaman im´agenes crom´aticas, dividiendo la diferencia del nivel de gris de cada p´ıxel entre dos im´agenes, entre el nivel de gris de dicho p´ıxel en la segunda imagen. Durante los fundidos, esta imagen crom´atica mantiene un valor razonablemente constante. Tambi´en calculan una imagen similar para detectar cortinillas. Desafortunadamente esta t´ecnica es muy sensible al movimiento de los objetos y de la c´amara.

Fernando et al. [49] presentan un algoritmo para detectar fundidos basado en caracter´ısti- cas estad´ısticas derivadas del modelo matem´atico elegido para la transici´on gradual, concre- tamente se basan en el hecho de que si la secuencia de v´ıdeo es un proceso erg´odico, durante un fundido la media tiene un comportamiento lineal y la varianza cuadr´atico. Implementan el m´etodo para v´ıdeo no comprimido y para v´ıdeo comprimido MPEG. En el primer caso obtienen mejores resultados ya que existen limitaciones en v´ıdeo comprimido para calcular la varianza. Estos mismos autores proponen tambi´en [50] un m´etodo de detecci´on de cortinillas que consiste en dividir cada fotograma en bloques de 16× 16 p´ıxeles y obtener una imagen

estad´ıstica que contenga el valor de la media y la varianza de cada bloque. Las cortinillas se

detectan encontrando los bloques en los que el error cuadr´atico medio supera cierto umbral. La direcci´on y el patr´on de la cortinilla se determinan aplicando la transformada de Hough sobre la imagen estad´ıstica una vez que se ha puesto un umbral. Un m´etodo similar al de Fernando [49] para detecci´on de fundidos es el de Lu, Zhang y Yao [62], sin embargo este algoritmo (basado en el car´acter de la media y la varianza en el fundido) s´ı trabaja con v´ıdeo comprimido. Para reducir las falsas alarmas provocadas por el movimiento de objetos y de c´amara calculan la doble diferencia crom´atica. Tambi´en presentan una mejora Truong, Dorai y Venkatesh [145], los cuales ponen ciertas restricciones a las transiciones detectadas con los m´etodos tradicionales de detecci´on de fundidos basados en el modelo (variaci´on de varianza cuadr´atica y de media lineal) para evitar falsos positivos.

Detecci´on basada en caracter´ısticas

El m´etodo propuesto por Zabih en [156, 157] es ´util para detectar transiciones graduales as´ı como cortes. Se basa en el hecho de que durante un corte o un fundido aparecen nuevos bordes en los fotogramas y desaparecen otros. Los p´ıxeles que pertenecen a estos bordes se denominan p´ıxeles de bordes de entrada (si aparecen) o de salida (si desaparecen). Los m´etodos que nos ocupan se basan en contabilizar los p´ıxeles de bordes de entrada (ρin) y salida

(ρout) para detectar cortes y fundidos o determinar la distribuci´on espacial de los mismos para

la detecci´on de cortinillas. Los cambios de escena se detectan calculando ρ = max(ρin, ρout).

Un corte se detectar´a si existe un pico estrecho de ρ, mientras que para una transici´on gradual el pico de ρ ser´a m´as ancho. Durante un fundido desde negro ρin >> ρout, y al rev´es si el

fundido es hacia negro. Un fundido se caracteriza por una predominancia de ρindurante una

primera fase y de ρout durante la segunda. Comparaciones dobles

El m´etodo de dobles comparaciones [158] se basa en la idea de que existen marcadas diferencias entre los histogramas de los fotogramas de antes y despu´es de una transici´on gradual. Las diferencias entre los histogramas de dos fotogramas consecutivos pertenecientes a una transici´on son m´as peque˜nas que los pertenecientes a un corte pero mayores que las de los histogramas de dos im´agenes consecutivas que pertenecen a un mismo plano. As´ı pues, se utiliza un primer umbral m´as alto para detectar cortes, y uno menor para detectar transiciones graduales. Toda pareja de fotogramas que supere el segundo umbral ser´a marcada como candidata a pertenecer a un efecto de edici´on. Para cada candidata se calcula una diferencia acumulativa con m´as parejas adyacentes. Si dicha diferencia supera el primer umbral (el utilizado para detectar cortes), se asume que se ha encontrado una transici´on gradual.