Capítulo 3. Procesamiento de imágenes en Sistemas I2DASW
5.4 Evaluación de la performance
Para evaluar la performance se realizaron muestras sobre un conjunto de 12 videos para el seguimiento de carriles, y 8 de ellos para la detección de obstáculos. Además se incluyó un set de 224 frames provenientes del banco de imágenes [58] y de imágenes tomadas en diferentes rutas argentinas mencionadas anteriormente. Fueron procesados un total de 12.212 frames, a una velocidad promedio de 30 frames por segundo (FPS), y todos ellos a una resolución de 256 x 240 pixeles, dando un promedio de 814 frames por cada video o secuencia de imágenes, tal cual se observa en la tabla de resultados (Tabla 5.4.1).
Los algoritmos de procesamiento fueron ejecutados sobre distintas máquinas desde una con procesador Intel Dual Core, hasta una máquina con un procesador Intel Core i7 y 8GB de memoria RAM, obteniendo una velocidad de ejecución promedio de 30.3 milisegundos por frame.
Capítulo 5. Resultados
Análisis Resultado
Tiempo de ejecución por frame 30,3 ms
Cantidad de videos procesados para carriles 12 Cantidad de videos procesados para obstáculos 8
Secuencias de imágenes adicionales procesadas 224 frames Cantidad de frames procesados para carriles 12.212 frames Cantidad de frames procesados para obstáculos 6.586 frames
Frames promedio por video 814 frames
Frames por segundo (FPS) promedio por video 30 FPS Porcentaje de carriles bien detectados 91,9% Porcentaje de obstáculos bien detectados 46,17% Porcentaje de cambios de carril detectados 93,75% Porcentaje de cambios de carril detectados sin error 81,25%
Tabla 5.4.1: Resultados del análisis de performance.
En cuanto a la detección de carriles, los mismos fueron detectados correctamente en el 92% de los casos, independientemente de si se habilitó o no el uso de los datos históricos para mejorar la detección de las líneas. El porcentaje de error de un 8%, el cual se considera aceptable, se debe mayormente a los casos donde las líneas se encontraban débilmente delimitadas, no permitiendo la obtención de ambas líneas que conforman el carril de conducción.
Se evaluó además la detección de cambio de carril, obteniendo cerca de un 94% de acierto, sobre un total de 13 diferentes cambios de carril existentes en 8 de los 12 videos analizados. El error en este caso se debió a un cambio de carril no detectado, ya que en el momento del cruce la línea central no se encontraba bien delimitada y la misma no fue detectada. Por otro lado, se obtuvo un porcentaje de detección de cambios de carril sin falsos positivos de un 81,25%. Este valor es el más acertado, ya que tiene en cuenta no solo los carriles detectados y los no detectados, sino también los cambios incorrectos o falsos positivos. En este caso, se detectaron dos situaciones donde se indica un cambio de carril erróneo, debido a que el vehículo permanece cerca del límite entre ambos carriles y no llega a pasar nunca al carril izquierdo, por lo cual se supone incorrectamente que el vehículo está realizando un cambio de carril.
Por último, en cuanto a la detección de obstáculos, el porcentaje de obstáculos bien detectados, es decir, únicamente de vehículos situados sobre el carril de conducción o cerca de los límites del mismo, fue cercano al 46,17%. Este valor bajo se debe principalmente a las siguientes causas (Figura 5.4.1):
- Imágenes con sol de frente, el cual provoca que ciertos vehículos no logren ser detectados definiendo una configuración de umbralado acorde que permita distinguir el
Capítulo 5. Resultados
objeto del resto de la imagen.
- Ciertos vehículos lejanos no logran ser detectados debido a su tamaño y ubicación. - Aparición de sombras sobre el carril, generadas por árboles situados a los lados de la
banquina, por vehículos de gran escala situados en el carril vecino, como camiones, o también por reflejos generados a través del parabrisas.
- Falsos positivos debido a objetos detectados fuera de los límites del carril de conducción, que en casos donde el carril no logró ser detectado por la ausencia de alguna de las líneas, se debe indicar como un posible obstáculo sin importar su ubicación, para evitar alertar sobre un potencial peligro cercano.
- Objetos detectados sobre la banquina izquierda, que no serían obstáculos potenciales al conducir sobre el carril derecho son detectados de todos modos como un “peligro de sobrepaso”. En algunos casos ésto se debe a la calibración de la cámara o movimiento de la misma durante la toma del video, que provoca un cambio en la perspectiva y el objeto parece estar cercano al carril actual, cuando no lo está.
Figura 5.4.1: Principales casos de error en la detección de obstáculos.
En las siguientes imágenes se muestran algunos frames para lograr describir el procesamiento sobre un conjunto de videos, siguiendo paso a paso su evolución. En primer lugar, como se observa en la primera imagen (Figura 5.4.2) se extrajeron 12 frames de unas de las secuencias más utilizadas del banco de imágenes, de un total de 56 frames donde prevalecen ambos carriles visibles y sus líneas perfectamente delimitadas.
Capítulo 5. Resultados
Figura 5.4.2: Resultados obtenidos sobre un video extraído del banco de imágenes.
Por último, se analizaron en detalle tres videos tomados en rutas argentinas, como se observa en la imagen (Figura 5.4.3), incluyendo autovías, carriles no detectados debido a líneas débilmente delimitados o sin delimitar, carriles mal detectados en frames donde la línea central no logra ser detectada, sombras generadas por vehículos cercanos de gran escala, cambios de carril y acercamiento a obstáculos con sus respectivas alertas de proximidad o advertencias de sobrepaso.
Capítulo 5. Resultados
Capítulo 5. Resultados
Además de resaltar los carriles, obstáculos y alertas correspondientes, es importante mostrar ejemplos que muestren el estado de la ruta y las posibles variantes que pueden aparecer, indicando por un lado el carril de conducción detectado (izquierdo o derecho), y por otro lado, el estado de la línea central, es decir, si la misma permite ser o no un posible sobrepaso de carril sin peligro. Como se puede observar en la figura 5.4.4, en los casos donde la línea central es simple y blanca se indicó a través de una alerta que la vía está libre y el conductor podría cambiar de carril sin problema. Por otro lado, una línea doble o simple amarilla indicaría, en el último caso según el carril de conducción actual, que existe un peligro de sobrepaso.
En las imágenes se incluyeron también los casos donde los resultados no fueron los esperados, debido al grosor de las líneas y en algunos casos la calidad de la imagen que no hace posible la correcta detección de las características de la línea central. Por ejemplo, existen casos donde se indica que la línea es doble o simple y amarilla, cuando en realidad el cambio de carril se encuentra permitido.
Figura 5.4.4: Información del estado de la ruta.
En este capítulo se realizó un análisis global sobre los resultados obtenidos del trabajo elaborado junto con todas las observaciones que se detectaron y a continuación se realizará una conclusión detallada sobre todas las pruebas y sus resultados.
Capítulo 5. Resultados
5.5 Conclusiones
Como se observó en el presente capítulo, fue evaluado el comportamiento el framework en un amplio conjunto de imágenes y videos, incluyendo diferentes rutas y variadas condiciones de las mismas. La detección de líneas y por ende carriles, teniendo en cuenta los resultados detallados fue bastante buena y superó las expectativas iniciales. Se presentaron una serie de casos de carriles no detectados o mal detectados debido a la detección de falsos positivos por apariciones de sombras sobre el carril de conducción o líneas débilmente marcadas.
En cuanto a la detección de obstáculos y su performance, ésta presentó más fallas en comparación con la detección de carriles. Esto se debió principalmente a la aparición de un gran número de falsos positivos generados en gran parte por la aparición de sombras, reflejos en el parabrisas y cambios en la textura del pavimento provocados a grietas principalmente. Por otra parte, se detectaron casos donde vehículos ubicados a una cierta distancia no lograron ser detectados debido a su tamaño, o ciertas condiciones de iluminación, como sol de frente, que provocaron que el umbralado inicial no lograra resaltar el objeto deseado. Si bien el porcentaje de error fue alto en estos casos, los resultados son aceptables bajo las condiciones esperadas.