Procesamiento paralelo de imágenes hiperespectrales

(1)

Procesamiento paralelo de

imágenes hiperespectrales

Miércoles, 20 de Septiembre de 2017

Antonio Plaza

Hyperspectral Computing Laboratory (HyperComp)

Departamento de Tecnología de los Computadores y de las Comunicaciones Escuela Politécnica de Cáceres, Universidad de Extremadura, Cáceres E-mail: aplaza@unex.es - Web: http://www.umbc.edu/rssipl/people/aplaza

(2)

•! El grupo de investigación Hyperspectral Computing Laboratory (HyperComp) centra su actividad en el procesamiento eficiente de imágenes hiperespectrales.

•! El grupo consta de 12 investigadores (2 profesores, 3 postdocs, 5 doctorandos y 2 investigadores externos). El grupo mantiene colaboraciones activas con varios grupos nacionales e internacionales.

•! Se trata de un grupo joven, con alta producción científica.

Presentación grupo de investigación

(3)

Revista IEEE TGARS

•! Fundada en el año 1963.

•! Factor de impacto de 4.942 en el JCR de 2016 (Q1: Remote Sensing y Electrical and Electronic

Engineering).

•! Más de 1500 nuevos manuscritos científicos recibidos en el año 2016 (este número aumentará en 2017).

•! 50 Editores Asociados, 23 de ellos en Estados

Unidos y 13 en China.

•! Contribuciones sobre procesamiento de datos obtenidos mediante remote sensing.

(4)

Proyectos de investigación activos

EOXPOSURE (2017-2019)

•! Financiado por Comisión Europea (RISE).

•! Socios: Universidad de Pavia (Italia), Royal Military Academy (Bélgica), Universidad de As Lagoas (Brasil), Universidad de Córdoba (Argentina)

•! Coordinador Univ. Extremadura: Javier Plaza

HOST (2015-2017)

•! Financiado por Comisión Europea (REGPOT).

•! Socios: EPC (Escocia), Universidad de Poznan (Polonia), INRIA (Francia), CINECA (Italia).

•! Coordinador Univ. Extremadura: Antonio Plaza

SIMMAP (2016-2018)

•! Financiado por Ministerio de Economía y Competitividad (MINECO).

•! Proyecto coordinado.

•! Socios: Universidad de La Coruña.

•! Coordinadores UEx: A. Plaza y M. Barrena

(5)

Shanghai ranking 2017

(6)

Imágenes hiperespectrales en remote sensing

(7)

Otras aplicaciones: medicina, control de calidad, etc.

(8)

Plataformas hyperspectral remote sensing

Procesamiento paralelo de imágenes hiperespectrales Jornadas SARTECO, 19-22 Septiembre 2017, Málaga 8

A: Satélites – Opción más ampliamente utilizada para obtener una cobertura global. B: Plataformas aerotransportadas – Menor resolución temporal y cobertura.

(9)

Concepto de imagen hiperespectral

“One of the main advantages of the concept of imaging spectrometry is the possibility to derive substantive information about the composition of the observed spectral signatures by taking advantage of the detailed spectral resolution in order to analyze the mixing effects that usually happen at a sub-pixel scales.”

“Imaging spectrometry (hyperspectral remote sensing) deals with data from instruments acquiring reflectance images in a large (>40) number of narrow (<0.01 to 0.02 !m in width), contiguous (i.e., adjacent) spectral bands allowing to derive the mineralogy of objects or obtaining information on soil, water and biochemical composition.” Alexander F. H. Goetz

(10)

El problema de la mezcla

Pure pixel (water) Mixed pixel (soil + rocks) Mixed pixel (vegetation + soil) 0 1000 2000 3000 4000 5000 300 600 900 1200 1500 1800 2100 2400 R ef lect ance 0 1000 2000 3000 4000 300 600 900 1200 1500 1800 2100 2400 Wavelength (nm) R ef lect ance 0 1000 2000 3000 4000 300 600 900 1200 1500 1800 2100 2400 Wavelength (nm) R ef lect ance Wavelength (nm)

El problema de la mezcla

•! Cada píxel de la imagen tiene asociada una firma espectral que puede ser pura o no.

•! Los píxeles mezcla son muy frecuentes en imágenes hiperspectrales, debido a la insuficiente resolución espacial del sensor o a efectos de mezcla íntima.

A. Plaza, J. A. Benediktsson, J. Boardman, J. Brazile, L. Bruzzone, G. Camps-Valls, J. Chanussot, M. Fauvel, P. Gamba, J.A. Gualtieri, M. Marconcini, J. C. Tilton and G. Trianni, “Recent advances in techniques for hyperspectral image processing,” Remote Sensing of Environment, vol. 113, pp. 110-122, 2009.

(11)

Desmezclado lineal frente a no lineal

•! El desmezclado lineal asume la presencia de componentes macroscópicamente puros, distribuidos de forma homogénea en el píxel.

•! En realidad esto supone una simplificación, ya que la mezcla de componentes suele tener un carácter altamente no lineal.

•! Dada la dificultad del modelo no lineal, se han planteado soluciones intermedias.

W.-K. Ma, J. M. Bioucas-Dias, T.-H. Chan, N. Gillis, P. Gader, A. Plaza, A. Ambikapathi and C.-Y. Chi, “A signal processing perspective on hyperspectral unmixing: Insights from remote sensing,” IEEE Signal Processing Magazine, vol. 31, no. 1, pp. 67-81, January 2014 (ESI Highly Cited Paper).

(12)

Desmezclado espectral lineal

•! Objetivo: encontrar una serie de firmas espectrales puras (endmembers) que puedan utilizarse para caracterizar píxeles mezcla en la escena.

•! El unmixing consiste en encontrar la abundancia de cada endmember en cada píxel.

Banda i

Banda j

m

₁

m

₂

m

₃

E. M. T. Hendrix, I. Garcia, J. Plaza and A. Plaza, “On the minimum volume simplex enclosure for estimating a linear mixing model,”

Journal of Global Optimization, vol. 56, no. 3, pp. 957-970, July 2013.

y =

!

_j

m

_j

j=1

3

(13)

Spectral unmixing chain

J. M. Bioucas-Dias, A. Plaza, N. Dobigeon, M. Parente, Q. Du, P. Gader and J. Chanussot, “Hyperspectral unmixing overview: geometrical, statistical and sparse regression-based approaches,” IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 5, no. 2, pp. 354-379, April 2012

(ESI Highly Cited Paper; Most Highly Cited Paper of the IEEE Geoscience and Remote Sensing Society)

(14)

Aproximaciones clásicas

•! Se basan en la identificación automática de endmembers en la propia imagen.

•! Por ejemplo, el método N-FINDR identifica píxeles extremos en la nube de puntos.

•! Estos píxeles definen un simplex de máximo volumen que engloba al resto de puntos.

M. Zortea and A. Plaza, “A quantitative and comparative analysis of different implementations of N-FINDR: A fast endmember extraction algorithm,”

IEEE Geoscience and Remote Sensing Letters, vol. 6, no. 4, pp. 787-791, October 2009.

(15)

Problema: ausencia de píxeles puros

•! Es habitual es que no existan píxeles puros en la imagen (según resolución espacial).

•! Para solventar este problema, se han desarrollado técnicas que estiman el simplex de

mínimo volumen que engloba a todos los puntos de la imagen.

•! Problemas: endmembers virtuales (firmas no reales), estimación número de endmembers.

E. M. T. Hendrix, I. Garcia, J. Plaza, G. Martin and A. Plaza, “A new minimum volume enclosing algorithm for endmember identification and abundance estimation in hyperspectral data,” IEEE Transactions on Geoscience and Remote Sensing, vol. 50, no. 7, pp. 2744-2757, July 2012.

Procesamiento paralelo de imágenes hiperespectrales Jornadas SARTECO, 19-22 Septiembre 2017, Málaga 15 TÉCNICAS EXISTENTES Máximo volumen •! Técnicas supervisadas (PPI) y también totalmente automáticas (OSP, VCA, N-FINDR) Mínimo volumen •! Técnicas automáticas (ICE, MVC-NMF, SPICE, MINVEST, MVSA, SISAL, MVES) min M,x Mx ! Y F 2 + V M

( )

s.t. x ! 0

(16)

•! Los métodos que asumen la existencia de píxeles puros en la imagen pueden fallar si la resolución espacial no es adecuada (todos los píxeles son mezclas).

•! Los métodos de mínimo volumen ofrecen una solución parcial, ya que pueden generar endmembers no reales, y en este caso es difícil estimar el número de endmembers.

•! Posible solución: usar librerías espectrales para realizar el desmezclado:

Uso de librerías espectrales

D. Iordache, J. M. Bioucas-Dias and A. Plaza, Sparse unmixing of hyperspectral data,

(17)

Sparse unmixing

•! Expresa los píxeles mezcla de la imagen combinación de un conjunto de firmas espectrales puras contenidas en una librería espectral (potencialmente enorme):

•! Ventajas: no necesita identificar los endmembers en la imagen ni estimar su número

(problema difícil), pero su coste computacional es muy elevado.

D. Iordache, J. M. Bioucas-Dias and A. Plaza, Sparse unmixing of hyperspectral data,

IEEE Transactions on Geoscience and Remote Sensing, vol. 6, no. 6, pp. 2014-2039, June 2011 (ESI Highly Cited Paper).

(18)

Inclusión de información espacial

•! Normalmente se incluye un término para considerar la información espacial en el proceso de desmezclado, lo cual eleva aún más el coste computacional:

•! Este término, denominado total variation (TV) favorece transiciones suaves en la abundancia de los endmembers en píxeles que son vecinos espaciales.

D. Iordache, J. M. Bioucas-Dias and A. Plaza, “Total variation spatial regularization for sparse hyperspectral unmixing,”. IEEE

Transactions on Geoscience and Remote Sensing, vol. 50, no. 11, pp. 4484-4502, November 2012 (ESI Highly Cited Paper).

(19)

Ejemplo real: Cuprite, Nevada

Procesamiento paralelo de imágenes hiperespectrales – Jornadas SARTECO, 19-22 Septiembre 2017, Málaga 19

Ground truth

N-FINDR

Sparse

(20)

Procesamiento paralelo de imágenes hiperespectrales Jornadas SARTECO, 19-22 Septiembre 2017, Málaga 20 0 2 4 6 8 10 12 14 400 700 1000 1300 1600 1900 2200 2500 Wavelength (nm) Radiance(uW/cm^2/nm/sr) . AVIRIS Estimate

Residual _{WTC Hot Spot Area A}

Hottest Spectrum Temperature Estimate=928K

6% of the area

Ejemplo real: World Trade Center

Estimación temperatura “hot spots”

•! Las imágenes obtenidas por el sensor AVIRIS sobre el World Trade Center no fueron de utilidad, pues no pudieron ser interpretadas en tiempo razonable.

•! Gran cantidad de información de referencia obtenida por USGS (http://speclab.cr.usgs.gov).

(21)

Procesamiento eficiente de datos hiperespectrales

A. Plaza, J. Plaza, A. Paz and S. Sanchez, “Parallel hyperspectral image and signal processing,” IEEE Signal Processing Magazine, vol. 28, no. 3, pp. 119-126, May 2011 (Best Column Paper Award, IEEE Signal Processing Society).

(22)

Composición falso color AVIRIS WTC Localización de hot spots (USGS)

M. Chi, A. Plaza, J. A. Benediktsson, Z. Sun, J. Shen, Y. Zhu, “Big data for remote sensing: challenges and opportunities,”

Proceedings of the IEEE, vol. 104, no. 11, pp. 2207-2219, November 2016.

(23)

•! Los sensores hiperespectrales aerotransportados suelen ser de tipo pushbroom; es decir, capturan las imágenes línea a línea, siendo cada píxel un vector L-dimensional.

•! Para hablar de procesamiento en tiempo real, es necesario tener en cuenta que AVIRIS tarda 5 segundos en obtener una imagen (614x512 píxeles, 224 bandas).

Necesidad de procesamiento en tiempo real

S. Bernabe, G. Botella, G. Martin, M. Prieto-Matias and A. Plaza, “Parallel implementation of a full hyperspectral unmixing chain using OpenCL,”

(24)

J. Setoain, M. Prieto, C. Tenllado, A. Plaza and F. Tirado, “Parallel morphological endmember extraction using commodity graphics hardware,”

IEEE Geoscience and Remote Sensing Letters, vol. 43, no. 3, pp. 441-445, July 2007.

Posibles arquitecturas

•! Tradicionalmente se han utilizado clusters de computadores como solución estándar para el procesamiento de grandes bases de datos de imágenes hiperespectrales.

•! Los clusters presentan problemas en cuanto a mantenimiento, consumo, etc.

•! Las GPUs han emergido como una alternativa para el procesamiento de imágenes hiperespectrales.

(25)

•! La GPU introduce características interesantes para el procesamiento de imágenes.

•! En nuestro contexto, la GPU ofrece una arquitectura compacta, barata y con cada vez menor consumo energético, que la hace particularmente adecuada para el procesamiento de imágenes hiperespectrales.

GPUs en análisis hiperespectral

S. Sanchez, G. Leon, A. Plaza and E. Quintana-Orti, “Assessing the performance-energy balance of graphics processors for spectral unmixing,”

(26)

S. Sanchez, R. Ramalho, L. Sousa and A. Plaza, “Real-time implementation of remotely sensed hyperspectral image unmixing on GPUs,”

Journal of Real-Time Image Processing, vol. 10, no. 3, pp. 469-483, September 2015.

Unmixing en GPUs

Version Load VD HySime N-FINDR IEA UCLS NCLS Save

Serial* (gcc –O3) 0.51 19.98 97.58 22.31 69.33 1.15 341.80 0.02 Tesla GPU 0.56 0.86 5.05 0.62 0.68 0.17 4.59 0.02 GTX 580 GPU 0.56 0.68 4.07 0.58 0.61 0.13 2.34 0.02 Speedup Tesla - 23.23x 19.32x 35.98x 101.95x 6.76x 74.46x -

Speedup GTX - 29.38x 23.97x 38.46x 113.65x 8.84x 146.06x -

NVidia Tesla GPU NVidia GTX 580 GPU

Number of endmembers Endmember signatures Endmember abundances

*Intel core i7 920 CPU at 2.67 Ghz with 8 cores (1 used)

(27)

Unmixing en FPGAs

•! Las FPGAs son actualmente el estándar para procesamiento y compresión a bordo.

•! Ofrecen características como reconfigurabilidad, bajo consumo, tolerancia a radiación.

C. Gonzalez, D. Mozos, J. Resano and A. Plaza, “FPGA implementation of the N-FINDR algorithm for remotely sensed hyperspectral image analysis,” IEEE

Transactions on Geoscience and Remote Sensing, vol. 50, no. 2, pp. 374-388, February 2012.

C. Gonzalez, J. Resano, A. Plaza and D. Mozos, “FPGA implementation of abundance estimation for spectral unmixing of hyperspectral data using the image space reconstruction algorithm,” IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 5, no. 1, pp. 248-261, February 2012. FPGA

DMA

FIFO POWERPC Next slot

Occupancy Pixel data Write Read Pixel data Transmitter Read Endmember End DDR2 SDRAM RS232 N-FINDR module vectors data vector data positions position

current pixel endmembers volume volume index volume volume volume abs(det) module abs(det) ready

new data data

!"#"

zero

(28)

SpaceCubes

•! Basados en FPGAs de Xilinx, se utilizaron por primera vez en la Hubble Servicing

Mission 4 (SpaceCube 1.0).

•! Esta fue la primera vez que una FPGA de Xilinx fue operativa en el espacio. Actualmente se encuentra en explotación la generación SpaceCube 2.0.

S. Lopez, T. Vladimirova, C. Gonzalez, J. Resano, D. Mozos and A. Plaza, “The promise of reconfigurable computing for hyperspectral imaging on-board systems: review and trends,” Proceedings of the IEEE, vol. 101, no. 3, pp. 698-722, March 2013.

(29)

Resumen arquitecturas

Clusters, multicores y redes heterogéneas:

-  Interesantes para procesamiento y almacenamiento de datos ya enviados a tierra. -  No se adaptan fácilmente a escenarios de procesamiento en tiempo real.

-  Grandes problemas en cuanto a consumo energético y tolerancia a radiación. -  Se necesita una infraestructura cara para obtener resultados en tiempo real. -  Mantenimiento muy costoso, por lo que en la actualidad se encuentran en desuso.

Graphics processing units (GPUs):

-  Probablemente la mejor solución en términos de coste-rendimiento.

-  Solución de bajo coste, pero consumo energético todavía demasiado elevado. -  No existen arquitecturas tolerantes a radiación para misiones en el espacio.

Field programmable gate arrays (FPGAs):

-  Solución estándar para procesamiento a bordo debido a su bajo consumo. -  La reconfigurabilidad es una propiedad muy importante en misiones reales. -  Arquitecturas tolerantes a radiación, su programación es difícil.

(30)

L. I. Jimenez and A. Plaza, “HyperMix: An open-source tool for fast spectral unmixing on graphics processing units,”

IEEE Geoscience and Remote Sensing Letters, vol. 12, no. 9, pp. 1883-1887, September 2015.

Herramienta HyperMix

•! Paquete open source que comprende la mayor parte de los algoritmos de procesamiento de imágenes hiperespectrales desarrollados en nuestro grupo (incluyendo implementaciones GPU).

•! Permite dibujar una cadena de procesamiento en un canvas y ejecutar los algoritmos de procesamiento en su versión CPU o GPU (contribución novedosa).

(31)

http://hypercomphypermix.blogspot.com.es

(32)

Procesamiento en arquitecturas cloud

J. M. Haut, M. Paoletti, J. Plaza and A. Plaza, “Cloud implementation of the k-means algorithm for hyperspectral image analysis,” Journal of Supercomputing, vol. 73, no. 1, pp. 514-529, January, 2017.

•! Motivado por el carácter distribuido y la disponibilidad creciente de bases de datos de imágenes hiperespectrales.

•! Aplicación de técnicas de big

data basadas en deep learning

mediante redes neuronales.

•! Utilización de tecnologías como Apache Hadoop, Spark y Openstack.

•! Resultados prometedores.

(33)

Procesamiento en arquitecturas cloud

Procesamiento paralelo de imágenes hiperespectrales – Jornadas SARTECO, 19-22 Septiembre 2017, Málaga 33

V. Ayma, P. Happ, R. Ferreira, A. Oliveira, R. Feitosa, G. da Costa and A. Plaza, “A new cloud computing architecture for the classification of remote sensing data,” IEEE Journal of Selected Topics in Applied Earth Observations

(34)

A._{! Ferran, S. Bernabe, P. G. Rodriguez and A. Plaza, “A web-based system for classification of remote sensing data,”}

IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 6, no. 4, pp. 1934-1948, August 2013.

(Best Paper Award, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing)

Procesamiento de imágenes de Google Maps

(35)

GPUs

(airborne, drones)

Asumible

Procesamiento a bordo?

Amenaza: balance entre programabilidad y consumo/tolerancia a radiación (spaceborne).

Oportunidad: arquitecturas de bajo consumo en constante evolución, cámaras ligeras, drones/UAVs.

Consumo energético Sí Soluciones HPC estándar No Tiempo desarrollo Limitado FPGAs (spaceborne) Alto GPUs bajo consumo (smartphones) Bajo

Roadmap HPC hyperspectral

Rad-hard? Clusters GPU clusters Multicores Arq. heterogéneas

(36)

UAV+ GPU + cámara hiperespectral

(37)

Proceedings of the IEEE

SPECIAL ISSUE: SPATIAL TECHNOLOGY AND SOCIAL MEDIA (October 2017)

Guest Editors: Antonio Plaza, Jón Atli

Benediktsson, Bing Zhang, Tao Yang and Jun Li

In this special issue of the Proceedings of the

IEEE, we intend to provide a snapshot of the most

recent advances and breakthroughs in the combination of remote sensing data and information coming from social media, from a big data processing perspective. This is particularly important in remote sensing applications dealing with processing time constraints, including the monitoring of natural disasters such as floods, wildfires, earthquakes, etc.

J Li, J. A. Benediktsson, B. Zhang, T. Yang and A. Plaza, “Spatial technology and social media in remote sensing: a survey,” Proceedings of the IEEE, vol. 105, no. 10, pp. 1855-1864, October 2017.

(38)