Tipos de Redes Neuronales

Las redes neuronales también es una técnica usada para pronósticos de la demanda.

Hay varios tipos de redes neuronales pero, de acuerdo a las características mencionadas anteriormente, se tiene algunas redes que han sido utilizadas para pronosticar. Entre ellas tenemos:

 Perceptrón multicapa  Red de Elman

 RBF (Red de Base Radial)  Red de Jordan

 Red Hopfield

 Teoría de Resonancia Adaptativa A continuación, presentaremos cada una de ellas.

BIBLIOTECA

DE CIENCIAS

FÍSICAS

A) Perceptrón multicapa

Una de las ventajas de este tipo de red, tal como se demostró en 1989, por Cybenko y Hornik, entre otros, es que es un aproximador universal de funciones, de modo que cualquier función continua en el espacio multidimensional real se puede aproximar mediante una red PM, también es de relativa dificultad de uso y aplicación, dado que es una red sin recurrencias y feed-fordward. Posee además una elevada capacidad de generalización y robustez, que provoca que la pérdida de una neurona no afecte al resultado.

Es por ello que, aunque no sea la solución óptima en muchos casos, sobre todo por su elevado tiempo de entrenamiento en estructuras complejas, esta red está ampliamente extendida, teniendo aplicaciones en campos como:

 El reconocimiento del habla

 El reconocimiento óptico de caracteres  El control de procesos

 La predicción de series temporales  La conducción de vehículos

Figura 7: Red Perceptrón Multicapa. Conexionado feed-fordward [WER89].

La arquitectura del PM se puede apreciar en la figura 7 está basada en una red feed-fordward o con conexiones hacia delante, en la que se disponen de 3 tipos de capas:

 La capa de entrada, en la que las neuronas actúan como buffer y no se disponen de pesos ni umbrales.

 Las capas ocultas.

 La capa de salida, que actúa como un buffer de salida.

Todas las neuronas de la red (excepto las de la entrada, en general) llevan asociado un umbral. Además, cada neurona de una capa tiene conexiones con todas las de la capa anterior, aunque puede suceder que en ciertos casos no sea así, y que el peso de una conexión sea 0, es decir, que no exista. El entrenamiento de

BIBLIOTECA

DE CIENCIAS

FÍSICAS

este tipo de redes, es decir, su aprendizaje, se realiza utilizando el algoritmo de Retropropagación.

B)

Red Elman – Jordan

Las redes Elman y Jordan, definidas por los investigadores del mismo nombre, son redes parcialmente recurrentes, es decir, son redes con conexionado feed- fordward, a las que se le han añadido algunas conexiones hacia atrás.

Tanto en la red Elman como en la Jordan, la arquitectura básica de la red es básicamente una red feed-fordward, y, en concreto, una PM, dado que las activaciones de todas las neuronas son saturantes. Sin embargo, de todas las entradas de las que se dispone en la capa de entrada alguna son utilizadas para recoger la información que disponían otras neuronas en el instante anterior. Estas neuronas se denominan entradas de contexto, dado que hacer referencia al estado anterior de la red. En la Figura 8 se muestra la arquitectura de la red de Elman.

Figura 8: Arquitectura de la red de Elman [BRO88].

La diferencia principal entre los dos tipos de arquitectura está en la información que se transmite a las entradas de contexto. En las redes Elman se realimentan las salidas de las neuronas de la última capa oculta, de modo que, en cierto sentido, la red dispone de información acerca de la entrada del instante anterior.

En las redes Jordan, sin embargo, existe una doble recurrencia. Por una parte se realimentan las salidas del instante anterior ponderadas con un parámetro fijo μ, y, además, cada neurona de contexto recibe una copia de su estado anterior. El parámetro μ determina el horizonte de la memoria de la red, es decir, determina la ventana de tiempo que recuerda la red, de los datos de salida.

El aprendizaje de estos dos tipos de redes se basa en el algoritmo de retropropagación, dado que a la hora de entrenar se desacoplan los bucles.

BIBLIOTECA

DE CIENCIAS

FÍSICAS

C)

Red de función de base radial(RBF)

A diferencia de las redes Perceptrón, las redes de Base Radial o redes RBF son arquitecturas que disponen únicamente una capa oculta, con lo que en total, suman 3 capas: entrada, oculta y salida como podemos apreciar en la figura 9. Al igual que en las PM, cada neurona de una capa tiene conexión con todas las neuronas de la capa siguiente, aunque no existen pesos de la entrada a las neuronas ocultas.

Figura 9: Red de Función de Base Radial. Conexionado feed-fordward [BRO88].

Sin embargo, la principal diferencia de las redes RBF con el resto de redes está en el propio funcionamiento de las neuronas. Mientras que en las redes PM las funciones de activación son de carácter saturante, en las redes RBF las funciones de activación son radiales, es decir, se define un centro para cada neurona de la capa oculta que hace que la neurona tome un elevado valor de activación cuando las entradas estén cerca de dicho centro, y bajo cuando la distancia al centro sea mayor. Las neuronas de la capa de salida, sin embargo, disponen de funciones de activación lineales y actúan como meros sumadores.

El entrenamiento de las redes de RBF consiste en “distribuir” las neuronas a lo largo del espacio de entrada, de forma que entre todas sean capaces de generar la función, pero cada una en el tramo que le corresponda. Para ello, existen algoritmos específicos que calculan directamente los centros de las neuronas de la capa oculta, con el fin de distribuirlas adecuadamente en el hiperespacio de entrada. Sin embargo, también es posible utilizar técnicas basadas en el algoritmo de Retropropagación para entrenarlas, dado que también constituyen redes feed- fordward.

D)

Red Hopfield

La Red Hopfield es recurrente y completamente interconectada ver figura 10. Funciona como una memoria asociativa no lineal, que puede almacenar

BIBLIOTECA

DE CIENCIAS

FÍSICAS

internamente patrones presentados de forma incompleta o con ruido. De esta forma puede ser usada como una herramienta de optimización; también se han utilizado en aplicaciones de segmentación y restauración de imágenes y optimización combinatoria.

Esto significa que si existe una conexión desde la neurona Ni a la neurona Nj, también existe la conexión desde Nj a Ni ambas exhibiendo el mismo peso (wij = wji). Vale aclarar que la conexión de una neurona con sí misma no está permitida. El conjunto permitido de valores de entrada y salida es {0, 1} (o en alguna oportunidad {−1, 1}); o sea, es un conjunto binario. De esta manera todas las neuronas en una Red Hopfield son binarias, tomando solamente uno de los dos estados posibles: activo (1) o inactivo (−1 o 0).

La clave del aprendizaje Hopfield es que si un patrón que tiene que ser aprendido se conoce, los pesos sobre cada conexión de la red neuronal pueden ser calculados. En esta circunstancia, solamente el estado de las neuronas cambia durante el proceso de aprendizaje. Este cálculo garantiza que cada patrón aprendido corresponda a un mínimo de la función energía.

Es importante entender que para este tipo de redes la definición de aprendizaje es diferente al dado anteriormente, donde aprendizaje significaba simplemente la adaptación de los pesos.

Figura 10: Arquitectura de la Red Hopfield [HIL95].

BIBLIOTECA

DE CIENCIAS

FÍSICAS

E)

Teoría de Resonancia Adaptativa (ART)

El modelo ART soluciona el dilema de la estabilidad y plasticidad del aprendizaje mediante un mecanismo de realimentación entre las neuronas competitivas de la capa de salida.

Cuando a la red se le presenta un patrón de entrada este se hace resonar con los prototipos de las categorías conocidas por la red, si el patrón entra en resonancia con alguna clase entonces es asociado a esta y el centro de cluster es desplazado ligeramente para adaptarse mejor al nuevo patrón que le ha sido asignado. En caso contrario, si el patrón no entra en resonancia con ninguna clase, pueden suceder dos cosas: si la red posee una capa de salida estática entrará en saturación pues no puede crear una nueva clase para el patrón presentado pero tampoco puede asignarlo a una clase existente, si la red posee una capa de salida dinámica se creará una nueva clase para dicho patrón, esto no afectará a las clases ya existentes. Podemos apreciar su arquitectura en la figura 11.

Figura 11: Arquitectura de la red ART [HIL95].