actualmente realizados a nivel nacional e internacional bajo metodologías multitemporales de análisis píxel a píxel.
CAPITULO 4. PRESENTACIÓN Y ANÁLISIS DE LOS RESULTADOS
4.6. Resultados Fase 6 Validación temática de los resultados
4.6.1. Matrices STEP de Error Ponderadas.
Las métricas STEP son ponderadas en función de las áreas de los objetos comparados para obtener así una estimación de los errores de Comisión, Omisión y la Exactitud Promedio para cada clase y cada métrica33, ver tablas 18 a 21. Y finalmente se agregan y reportan las exactitudes promedio y se indican sus respectivos intervalos de confianza, ver Tabla 22 (Lizarazo, 2014a). A continuación y a modo de ejemplo los resultados para el método RF en el Sector #1 a partir de los datos de referencia del IDEAM. Los resultados completos para todos los sectores y todos los métodos a partir de la comparación con los datos de IDEAM y Global Forest Change se presentan en el anexo 3.
SHAPE Bosque Deforestación No Bosque Total Productor (%)Exactitud
Bosque 90,830 4,839 1,637 97,305 93%
Deforestación 6,292 13,916 1,164 21,371 65%
No Bosque 8,636 12,517 53,341 74,494 72%
Total 105,758 31,272 56,142 193,171 100%
Exactitud Usuario (%) 86% 44% 95% 100% 82%
Tabla 15 Matriz de errores ponderados para Área (Shape) por el método de clasificación RF para el Sector #1 a partir de los datos IDEAM.
THEME Bosque Deforestación No Bosque Total Exactitud
Productor (%) Bosque 106,611 6,583 2,223 115,417 92% Deforestación 7,398 15,636 1,387 24,421 64% No Bosque 11,582 21,396 71,718 104,696 69% Total 125,591 43,616 75,328 244,535 100% Exactitud Usuario (%) 85% 36% 95% 100% 79%
Tabla 16 Matriz de errores ponderados para Tematico (Theme) por el método de clasificación RF para el Sector #1 a partir de los datos IDEAM.
EDGE Bosque Deforestación No Bosque Total Productor (%)Exactitud
Bosque 103,396 132 480 104,008 99%
Deforestación 1,030 3,440 459 4,928 70%
No Bosque 3,928 445 44,640 49,013 91%
Total 108,354 4,017 45,578 157,949 100%
Exactitud Usuario (%) 95% 86% 98% 100% 96%
Tabla 17 Matriz de errores ponderados para Borde (Edge) por el método de clasificación RF para el Sector #1 a partir de los datos IDEAM.
33 El valor de cada celda representa área superpuesta ponderada, acumulada por categoría temática clasificada, entre los
objetos de referencia y los correspondientes objetos clasificados, multiplicado por la correspondiente métrica evaluada (Lizarazo, 2014a).
POSITION Bosque Deforestación No Bosque Total Productor (%)Exactitud Bosque 105,464 3,028 619 109,112 97% Deforestación 3,265 11,101 1,375 15,741 71% No Bosque 7,466 19,133 51,117 77,717 66% Total 116,195 33,263 53,111 202,569 100% Exactitud Usuario (%) 91% 33% 96% 100% 83%
Tabla 18 Matriz de errores ponderados para Posición (Position) por el método de clasificación RF para el Sector #1 a partir de los datos IDEAM.
Exactitud Promedio por Componente Lim Inf IC 95% Lim Sup IC 95% Shape 82% 60.0% 100.0% Theme 79% 56.7% 100.0% Edge 96% 81.1% 100.0% Position 83% 61.2% 100.0%
Tabla 19 Matriz de Exactitud Promedio Geométrica y Temática por el método de clasificación RF para el Sector #1 a partir de los datos IDEAM.
Si se observa en este caso particular del algoritmo RF en el sector 1, los más altos indicadores de exactitud, tanto del usuario como del productor, los presenta la clase de Bosque. La clase deforestación y No Bosque presentan en todas las métricas indicadores no mayores al 86% tanto en la exactitud del productor como del usuario. Es de anotar los bajos valores de exactitud en el indicador de forma, ver Tabla 19, para la clase deforestación, no hay correspondencia geométrica adecuada entre los objetos de deforestación generados y los datos de referencia del IDEAM. En términos generales el consolidado STEP, ver Tabla 19, presenta una adecuada correspondencia geométrica y temática de todas las clases (Bosque, No Bosque y Deforestación) por el método RF en el Sector #2 a partir de la validación respecto a los datos oficiales del IDEAM.
Para tener un panorama más claro sobre el comportamiento de cada uno de los métodos en todas las clases, a partir de los datos de validación IDEAM, se procede a agregar las métricas en una tabla consolidada por sector y método de clasificación. En el caso del Sector #2, ver Tabla 20, el método DT ofrece una ligera y mayor exactitud en forma, tema y limite que los otros tres clasificadores. Mientras que la métrica de exactitud temática es baja, menor al 80%, en los métodos RF y SVM. Sin embargo todos los métodos presentan un muy alto indicador de exactitud, por arriba del 95%, para el indicador de Borde. Para el sector #2 y #3, ver Tabla 21 y Tabla 22, todos los métodos presentan estadísticas similares y significativamente altas para todas las clases en todas las métricas STEP.
Sector #1 RF DT Knn SVM Shape 82% 86% 84% 81%
Theme 79% 87% 82% 76%
Edge 96% 94% 96% 96%
Position 83% 91% 86% 80%
Tabla 20 Resumen de los indicadores promedio por métricas de la matriz STEP para los 4 métodos aplicados al Sector #1 a partir de los datos IDEAM. El código de Color indica los valores más bajos
(amarillo) a los más altos (verde)
Sector #2 RF DT Knn SVM Shape 92% 91% 90% 91%
Theme 91% 89% 88% 89%
Edge 98% 98% 98% 98%
Position 92% 91% 91% 91%
Tabla 21 Resumen de los indicadores promedio por métricas de la matriz STEP para los 4 métodos aplicados al Sector #2 a partir de los datos IDEAM. El código de Color indica los valores más bajos
(amarillo) a los más altos (verde)
Sector #3 RF DT Knn SVM Shape 94% 95% 94% 92%
Theme 93% 94% 94% 93%
Edge 96% 96% 97% 97%
Position 94% 94% 94% 93%
Tabla 22 Resumen de los indicadores promedio por métricas de la matriz STEP para los 4 métodos aplicados al Sector #3 a partir de los datos IDEAM. El código de Color indica los valores más bajos
(amarillo) a los más altos (verde)
Para los resultados de la validación de todas las clases en los tres sectores a partir de los datos de validación de Global Forest Change, a modo de resumen, se presentan igualmente los resultados agregados de las métricas STEP para todas las clases, ver Tabla 23 a Tabla 25. Las matrices por métricas se encuentran en el anexo 3. Es de notar lo relativamente bajo, entre 58% a 72%, de los indicadores agregados para el sector #1, excepto el indicador de Borde que es además el que mayor valor presenta para todos los métodos. En todos los sectores y para todos los métodos el indicador de exactitud en posición es el indicador con menor valor. En todos los sectores los resultados de los 4 métodos son bastante similares.
Sector #1 RF DT Knn SVM Shape 70% 66% 71% 72%
Theme 70% 68% 70% 71%
Edge 89% 85% 92% 90%
Position 60% 58% 62% 64%
Tabla 23 Resumen de los indicadores promedio por métricas de la matriz STEP para los 4 métodos aplicados al Sector #1 a partir de los datos Global Forest Change. El código de Color indica los
Sector #2 RF DT Knn SVM Shape 94% 93% 93% 93%
Theme 91% 90% 90% 90%
Edge 99% 98% 98% 98%
Position 86% 85% 86% 84%
Tabla 24 Resumen de los indicadores promedio por métricas de la matriz STEP para los 4 métodos aplicados al Sector #2 a partir de los datos Global Forest Change. El código de Color indica los
valores más bajos (amarillo) a los más altos (verde)
Sector #3 RF DT Knn SVM Shape 95% 94% 94% 94%
Theme 92% 94% 94% 93%
Edge 98% 98% 99% 98%
Position 85% 85% 84% 85%
Tabla 25 Resumen de los indicadores promedio por métricas de la matriz STEP para los 4 métodos aplicados al Sector #3 a partir de los datos Global Forest Change. El código de Color indica los
valores más bajos (amarillo) a los más altos (verde)
Finalmente y para presentar un consolidado final de todos los métodos, en todos los sectores y a partir de la validación de los datos IDEAM y Global Forest Change, se consolidan los siguientes reportes gráficos de tipo radial sobre los indicadores de exactitud Promedio (Todas las clases) y las exactitudes Usuario y Productor (Deforestación), pues son los objetos de interés para el presente estudio.
Para el Sector #1 son evidentes los contraste en los resultados de la detección al compararlos entre los datos de validación de IDEAM (Ilustración 58 A y B) y los datos de deforestación de Global Forest Change (Ilustración 70 A y B), pues el área de este última sobrestimada los cambios por deforestación observados en la imagen. Los resultados del proceso propuesto (Ilustración 58 e Ilustración 70 C a F) al compararlo con ambos datos de validación subestiman el área deforestada reportada. Pero los resultados presentan una mejor coherencia con las detecciones reportadas con IDEAM en este Sector, siendo el método de Knn el más exacto en la detección, pues identifica las mismas 2 áreas deforestadas reportadas (Ilustración 58 E). Sin embargo debe anotarse que las detecciones de los métodos RF y SVM señalan un cambio por deforestación en una zona donde IDEAM no lo identifica adecuadamente, ver Ilustración 58 paneles C y D, lo que sería un error por comisión, aunque no identifican al mismo el polígono en la parte superior del sector, que corresponde efectivamente a una deforestación, y esto reduce sus indicadores de exactitud del usuario (errores por omisión).
Los indicadores de exactitud temática promedio son mayores, entre 75% a 100% para IDEAM y entre 55% a 90% para Global Forest Change a partir de los datos de validación para todas las clases en todas las métricas. Caso particular es el método DT a partir de la validación con IDEAM (Ilustración 59 A) donde reporta el mayor indicador de exactitud promedio para todas las clases, pero como se evidencia los indicadores de exactitud del
productor (Ilustración 59 B) y usuario (Ilustración 59 C) son 0% para este mismo método, pues no hay ninguna coincidencia a nivel espacial de las detecciones por este método con ninguna de las áreas de validación IDEAM o Global Forest Change (Ilustración 58 e Ilustración 70 C a F).
En términos generales la métrica con mayores porcentajes de exactitud, en todas las clases y en deforestación específicamente, es Borde (Edge), mientras que caso contario la métrica de Forma (Shape) presenta los indicadores más bajos de exactitud, tanto para todas las clases como para deforestación bien sea a partir de los datos de validación IDEAM o Global Forest Change. Lo que indica esto que las detecciones de los objetos de deforestación difieren de las formas reportadas por los dos set de evaluaciones trabajados, pero conservan similitud en forma y características en su geometría.
Los objetos de deforestación generados por el método de Knn (Ilustración 58 E) presentan una mejor probabilidad (exactitud del usuario) de representar las áreas deforestadas, y una mayor correspondencia con los datos de evaluación (exactitud del productor) de acuerdo a los datos del IDEAM, Ilustración 59. Sin embargo al comparar con los datos de Global Forest Change los objetos de deforestación generados presentan una considerable diferencia en el área reportada y por ende la exactitud del usuario es considerablemente baja, aunque las exactitudes del productor (correspondencia del detectado y el mapa de referencia) son bastante altas, ver Ilustración 71 C, pues la mayoría de las áreas de los objetos de deforestación detectados corresponden espacialmente a la detección reportada por Global Forest Change.
A B C D E F
Ilustración 58 Resultados comparativos para el Sector #1, a partir de los datos de validación IDEAM (polígonos rojos) y cada uno de los métodos empleados (polígonos purpura). Como referencia se presentan las imágenes
A B C
Ilustración 59 Gráficos radiales comparando las estadísticas de exactitud Promedio para todas las clases (A) y la Exactitud del Usuario (B) y Productor (C) para la clase
deforestación en el Sector #1 a partir de los datos de validación de IDEAM.
A B C D E F
Ilustración 60 Resultados comparativos para el Sector #1, a partir de los datos de validación Global Forest Change (polígonos rojos) y cada uno de los métodos empleados (polígonos purpura). Como referencia se presentan
las imágenes del primer frame T0 (A) y ultimo frame T5 (B).
A B C
Ilustración 61 Gráficos radiales comparando las estadísticas de exactitud Promedio para todas las clases (A) y la Exactitud del Usuario (B) y Productor (C) para la clase deforestación en el Sector #1 a partir de los datos de validación de Global Forest
Los objetos de deforestación generados para el Sector #2 presentan una adecuada representación del fenómeno, y si bien comparándolos con los datos de referencia IDEAM, Ilustración 62, y Global Forest Change, Ilustración 64, no se presentan notables diferencias, en tamaño, forma y/o distribución de estos, como lo ocurrido en el sector #1. Puede observarse a simple vista que el método RF, Ilustración 62 C, es el que mejor resultados ofrece. Los métodos DT, Knn y SVM, Ilustración 62 D a F, entregan buenos resultados, pero los objetos de deforestación generados se presentan dispersos o desconectados, así que no permiten caracterizar completamente el fenómeno. En base a los datos de validación de IDEAM otros objetos de deforestación diferentes a la “vía” son generados por todos métodos; en el caso del método DT, Ilustración 62 D, se genera un mayor cantidad de estos, lo que se asocia a una mayor sensibilidad del método a la detección de áreas de cambio asociadas a variaciones fenológicas de vegetación secundaria y o a cambios en la respuesta espectral de bosque por deforestación.
.
Los indicadores de exactitud temática promedio de los objetos son muy altos, entre 75% a 100%, tanto para IDEAM, Ilustración 63 A, como para Global Forest Change, Ilustración 65 A, para todas las clases en todas las métricas. Lo que indicaría que para este sector todos los métodos ofrece una adecuada delimitación de los objetos asociados a las coberturas de Bosque y No Bosque.
Los objetos de deforestación generados por el método de RF (Ilustración 62 C) presentan una mejor probabilidad (exactitud del usuario) de representar las áreas deforestadas, y una mayor correspondencia con los datos de evaluación (exactitud del productor) de acuerdo a los datos del IDEAM, Ilustración 63 B y C, así como para Global Forest Change, Ilustración 65 B y C. En ambos casos es evidente la mayor correspondencia de los objetos de deforestación obtenidos por este método al ser validado con los dos conjuntos de datos de referencia. Si bien para el caso de la validación con los datos de Global Forest Change la exactitud del usuario, Ilustración 65 B, es menor par el Método RF que para la validación con datos IDEAM, Ilustración 63 B, lo que indicara una mejor definición de los objetos de deforestación de acuerdo a lo identificado por IDEAM. Los métodos SVM y Knn, Ilustración 63 Ilustración 65, presentan menores exactitudes por métrica (promedio, usuario y productor) que los el método RF pero aun así estas son superiores a las del metodo DT, cuyos errores pos omisión, Ilustración 65 B, y comisión, Ilustración 65 C, son muy altos para cada set de datos de validación, lo que indica una muy baja correspondencia de las detecciones coincidentes, los bajos valores de las métricas de Forma y Posición, en ambos casos indicarían que los objetos de deforestación son más pequeños o más numerosos que los objetos de validación.
A B C D E F
Ilustración 62 Resultados comparativos para el Sector #2, a partir de los datos de validación IDEAM (polígonos rojos) y cada uno de los métodos empleados (polígonos purpura). Como referencia se presentan las imágenes
del primer frame T0 (A) y ultimo frame T5 (B).
A B C
Ilustración 63 Gráficos radiales comparando las estadísticas de exactitud Promedio para todas las clases (A) y la Exactitud del Usuario (B) y Productor (C) para la clase
deforestación en el Sector #2 a partir de los datos de validación de IDEAM.
A B C D E F
Ilustración 64 Resultados comparativos para el Sector #2, a partir de los datos de validación Global Forest Change (polígonos rojos) y cada uno de los métodos empleados (polígonos purpura). Como referencia se presentan
A B C
Ilustración 65 Gráficos radiales comparando las estadísticas de exactitud Promedio para todas las clases (A) y la Exactitud del Usuario (B) y Productor (C) para la clase deforestación en el Sector #2 a partir de los datos de validación de Global Forest
Change.
Los resultados del Sector #3 son similares para todos los métodos, en todas las métricas STEP y para ambos procesos de validación. Comparados con los datos de validación IDEAM, Ilustración 66 A y B, y Global Forest Change, Ilustración 68 A y B, todos los resultados subestiman el área deforestada, dado que por las características espectrales de la vegetación y la presencia de nubes, para el T0, los algoritmos de clasificación determinan que inicialmente esta área es No Bosque, aunque espectralmente dicha área podría ser de Bosque, y aun dado el fuerte cambio a suelo desnudo en el T1, ver Ilustración 57, y de mantenerse claramente hasta el T5 como un área de No Bosque, el modelamiento de la dinámica de dichos objetos es de No Bosque Estable. De allí que aunque todos los métodos generan un objeto de deforestación, Ilustración 66 e Ilustración 68 paneles C a F, las detecciones de deforestación no son comparables a las indicadas por los datos de validación IDEAM y Global Forest Change.
La exactitud promedio para todos los métodos en todas las métricas a partir de ambos conjuntos de validación son superiores al 85%, ver Ilustración 67 A e Ilustración 69 A. Pero en el análisis de la exactitud de la clase deforestación la subestimación del área deforestada por todos los métodos en comparación con los datos de validación generan indicadores muy altos de exactitud del productor para todas las métricas STEP, es decir un bajo error de omisión, por cuanto toda el área del objeto de deforestación está contenido en el objeto de validación deforestación, ver Ilustración 66 y Ilustración 68 paneles C a F; pero de igual forma se obtienen una muy baja exactitud del usuario, un alto indicador del error de comisión, por cuanto, las áreas indicadas como deforestación en los conjuntos de validación no fueron identificados como tales, sino por el contrario como áreas de Bosque o No Bosque.
A B C D E F
Ilustración 66 Resultados comparativos para el Sector #3, a partir de los datos de validación IDEAM (polígonos rojos) y cada uno de los métodos empleados (polígonos purpura). Como referencia se presentan las imágenes
del primer frame T0 (A) y ultimo frame T5 (B).
A B C
Ilustración 67 Gráficos radiales comparando las estadísticas de exactitud Promedio para todas las clases (A) y la Exactitud del Usuario (B) y Productor (C) para la clase
deforestación en el Sector #3 a partir de los datos de validación de IDEAM.
A B C D E F
Ilustración 68 Resultados comparativos para el Sector #3, a partir de los datos de validación Global Forest Change (polígonos rojos) y cada uno de
los métodos empleados (polígonos purpura). Como se referencia se presentan las imágenes del primer frame T0 (A) y ultimo frame T5 (B).
A B C
Ilustración 69 Gráficos radiales comparando las estadísticas de exactitud Promedio para todas las clases (A) y la Exactitud del Usuario (B) y Productor (C) para la clase deforestación en el Sector #3 a partir de los datos de validación de Global Forest
Change.