Seminario Aplicaciones de las Redes Neuronales (WebSOM)

Seminario

Aplicaciones de las Redes Neuronales

(WebSOM)

Usos de los Mapas Auto-Organizativos

Idea base:Aprovechar las capacidades de auto-organización para aplicar métodos basados en SOM sobre colecciones ...

... con un gran número de datos

I _{muchos elementos}⇒_{muchos vectores}

... con datos complejos

I muchos atributos⇒vectores de alta dimensión

Campos de aplicación

1 _{SOM en visualización de datos} 2 _{SOM en compresión de datos}

3 SOM en extracción de prototipos y características

Campos de aplicación (I)

Objetivo:reducción de dimensiónsobre vectores con un gran no de dimensiones

I _{Escalado multidimensional}

Mapeo de un espacion-dimesional (capa de entrada) a un espacio bidimensional (capa de competición)

I _{Resumir datos multidimensionales en un”mapa plano”}

Permite el descubrimiento y visualización de relaciones entre datos de entrada

I _{SOM preservan la”topología semántica”de los datos de entrada,}

capturándola y trasladándola a la capa de competición

F Datos de entrada”semánticamente próximos”activarán neuronas próximas

I _{Relaciones no evidentes en el conjunto de entrada se hacen}

visibles en el mapa

Ejemplo: Mapa de la ”pobreza” mundial

http://www.cis.hut.fi/research/som-research/worldmap.html

Países descritos mediante vectores de 39 indicadores de calidad de vida (nivel educativo, sistema sanitario, etc)

Despues del entrenamiento del SOM:

I cada neurona de competición se ”especializa” en paises (1 ó más)

con caraterísticas similares

I paises con niveles de riqueza similares activan neuronas próximas

Campos de aplicación (II)

Objetivo:usar elescalado dimensionalpara generar una nueva versión”compacta”de los datos de entrada que preserve las relaciones”semánticas”entre ellos

Explotar la”salida”del SOM para obtener una versión más manejable de los datos de entrada

I _{Entrada: patrones de entrada (ndimensiones)} I _{Salida: construida a partir de la capa de competición}

F Neurona ganadora”representa”al patrón de entrada

Patrón entrada→clase discreta

F Todas las neuronas”representan”al patrón de entrada

Patrón entrada→vector de”correspondencias”(proximidad con neuronas)

SOM en extracción de prototipos y características

Objetivo:explotar”conocimiento implícito”descubierto por SOM

I Identificación devectores representantesde cada uno de los

”grupos”asociados a las neuronas de competición

I _{Selección de componentes (o combinaciones de componentes)}

que”dominan”la activación de las neuronas

F También permite ponderación de componentes

WebSOM: organización de documentos

Herramienta para la organización de grandes colecciones de docs. textuales

Organiza los documentos estructurándolos en un”mapa”en función de su contenido

Documentos similares (misma temática) se ubican en zonas próximas del”mapa”

Permite la navegación por ese”mapa de documentos”

(estructuración en niveles)

http://websom.hut.fi/websom/

Tareas:

1 Representación de documentos

I _{Documentos = vectores numéricos representando su contenido} I _{Representación de palabras y ponderación}

2 _{Organización de los documentos (entrenamiento del SOM)} 3 _{Generación del interfaz de presentación}

I _{Asignación de documentos a posiciones del mapa (neuronas)} I _{Etiquetado del mapa (neuronas)}

WebSOM: representación de documentos (I)

Transformación de cada documento en unvector numérico

Problema: gran número de palabras⇒reducir dimensión

Fase 1:preprocesamiento de la colección Filtrado:

eliminarpalabras vacias

tomar palabras presentes en al menos 30 docs.

Normalización de palabras (extracción de raices) Agrupar palabras en”clases de palabras”usando SOM

I _{Creación demapa de categorías de palabras}(≈diccionario de ”sinónimos”)

Mapa de categorias de palabras(WCM:word category map)

1 _{Cada palabra de la colección tiene asociado un vector que}

representa su”contexto medio”de aparición(ventana de longitud 1) I se asigna un vector aleatorio único a cada palabraW_i(≈función hash [huella única])

I media de los vectores aleatorios de las palabras que aparecen antes deW_i(contexto anterior medio)

I media de los vectores aleatorios de las palabras que aparecen después deW_i(contexto posterior medio) 2 _{Entrenarword category mapcon los vectores resultantes}

I _{Es un SOM que”agrupa”palabras con contextos medios similares} I _{IDEA:sinónimos y palabras cercanas semánticamente ó palabras}

que representan conceptos relacionados”caen”en la misma neurona (= categoría)

WebSOM: representación de documentos (II)

Mapa de categorías de palabras

Fase 2:representación de documentos

Las palabras de cada doc. son filtradas y normalizadas Cada palabra se pasa por elword category mapya entrenado para obtener su ”clase” (neurona activada)

El vector que representará al doc. será unhistogramade la frecuencia de las categorías del WCM que contiene ese doc.

I _{Un componente por cada neurona/categoria del WCM}

Reducción de dimensión

I _{decenas de miles de palabras}→_{cientos/miles de categorias}

WebSOM: organización y visualización de docs. (I)

Con los vectores asociados a cada uno de los docs. de la colección se entrena otro SOM (elmapa de documentos)

IDEA:Cada neurona especializa en un tipo de documentos(≈tema)

Cada doc. ocupa un lugar en el mapa en función de su contenido Docs. de temática similar ”caen” en misma neurona(o una próxima)

A cada punto (neurona) del mapa de documentos se le asocia: Lista de docs.”ubicados”en ese punto

Lista de palabras descriptivas

I _Tienen



alta frecuencia de aparación en docs. de esa neurona baja frecuencia de aparación en docs. de otras neurona

Construcción de la interfaz de navegación/presentación

División en niveles de detalle

Etiquetado de puntos(neuronas) y regiones en base a las palabras descriptivas y su ”fuerza”

Dentro de cada nivel→colorindica ladensidad de documentos

en una región del mapa

WebSOM: organización y visualización de docs. (II)

WebSOM: Esquema general del proceso

Temas a desarrollar

Ejemplos de usos prácticos de los SOM

I _{en visualización de datos}

I _{en reconocimiento de formas y procesam. de imágenes} I _{en preprocesamiento de datos}

I _{otros, ...}

Usos prácticos de las redes neuronales en general

I _{Predicción y clasificación} I _{Procesamiento de imágenes} I _etc

Revisión de herramientas/sistemas relacionados (con SOMs ó con RNAs en general)

etc,...

Referencias

WebSOM:http://websom.hut.fi/websom

T. Kohonen:http://www.cis.hut.fi/research/som-research