Formalizaci´on de la red neuronal basada en firmas (SNN)

(SNN)

Detr´as del paradigma de red neuronal basado en las firmas neuronales que proponemos, al que de aqu´ı en adelante vamos a denominar SNN (de sus siglas en ingl´es Signature Neural Network ), hay cuatro ideas principales:

• Cada neurona de la red tiene una firma que permite identificarla de forma un´ıvoca. • Cada unidad “firma” su informaci´on de salida con su r´ubrica. Por lo tanto, en los

mensajes que fluyen por la red existen m´ultiples c´odigos (multic´odigos) atendiendo al “qui´en” y al “qu´e” de la informaci´on.

• Cada neurona individual discrimina sus se˜nales de entrada en funci´on de qui´en sea el emisor, realiz´andose un tipo de procesamiento diferente en funci´on de esta discrimi- naci´on. El procesamiento incluye una memoria transitoria que permite mantener un registro de la informaci´on procesada con anterioridad y de su origen. Esta memoria proporciona un mecanismo de contextualizaci´on de la informaci´on.

• La auto-organizaci´on de la red depende en gran medida de la discriminaci´on llevada a cabo en cada unidad.

7.2. Formalizaci´on de la red neuronal basada en firmas (SNN) 103

7.2.1. Definiciones de la red neuronal basada en firmas neuronales

Antes de describir formalmente el paradigma de red neuronal que proponemos, se deben definir una serie de t´erminos. Algunas de las definiciones de la SNN son abiertas, de forma que dependen del problema espec´ıfico que se quiere resolver:

• Neurona o c´elula: cada una de las unidades de procesamiento de la red.

• Firma neuronal : identificador ´unico de cada neurona en la red. Por ejemplo, se puede utilizar el n´umero de neurona o las coordenadas de la posici´on que ocupa en la red. • Datos neuronales: informaci´on almacenada en una neurona referente al problema a

resolver.

• Informaci´on neuronal : par formado por el “qui´en” (firma neuronal) y el “qu´e” (datos neuronales) de una neurona.

• Sinapsis: conexi´on entre dos c´elulas de la red. Una neurona no puede conectarse consigo misma.

• Vecindario: conjunto de c´elulas conectadas monosin´apticamente a una neurona. • Contexto de informaci´on local. La entrada de cada unidad de la red puede contener

la informaci´on neuronal de m´ultiples neuronas. Las reglas de procesamiento de cada neurona deben determinar el subconjunto de estas informaciones neuronales que se va procesar en una unidad de tiempo. Este subconjunto se denomina contexto de infor- maci´on local de la neurona. El tama˜no del contexto (Ncontexto) es el n´umero m´aximo

de elementos del subconjunto. ´Este es el par´ametro m´as importante del algoritmo. Cada neurona utiliza su contexto de informaci´on local como memoria transitoria para almacenar la informaci´on procesada anteriormente y su origen.

• Mensaje: informaci´on total que se transmite a trav´es de una sinapsis entre dos neu- ronas en una iteraci´on del algoritmo. El mensaje consiste en la informaci´on neuronal de todas las neuronas que forma parte del contexto de informaci´on local del emisor, m´as la informaci´on neuronal del propio emisor. Esto permite mantener un registro del camino seguido por el mensaje. El tama˜no m´aximo de los mensajes que fluyen por la red es igual a Ncontexto. La propagaci´on de informaci´on en la red es bidireccional.

• Un receptor comienza a reconocer o aprende la firma de un emisor durante el pro- cesamiento de sus mensajes de entrada en el momento en que detecta que los datos neuronales de ´este son “relevantes para ´el para resolver el problema”. El significado de “relevante” depende de cada problema concreto. La auto-organizaci´on de la red se basa en la discriminaci´on de la informaci´on en funci´on de este reconocimiento de firmas en cada unidad.

• Propagaci´on de informaci´on: dependiendo del problema que se quiera resolver, una neurona s´olo podr´a recibir un mensaje de entrada en cada iteraci´on (propagaci´on monosin´aptica) o m´as de un mensaje (propagaci´on multisin´aptica).

• Una neurona pertenece a un cl´uster si reconoce la firma de todas las neuronas de su vecindario. Estas neuronas s´olo act´uan como “conductores” de informaci´on.

7.2.2. Algoritmo

Antes de la ejecuci´on del algoritmo, se debe inicializar la conectividad y los datos neuro- nales de todas las unidades de la red. Dependiendo del problema, esta inicializaci´on puede ser aleatoria o heur´ıstica. Despu´es de este paso previo, el algoritmo consiste en la repetici´on de tres pasos diferentes para cada neurona de la red hasta que se cumpla la condici´on de parada. El esquema general de los dos primeros es com´un a muchos otros paradigmas de redes neuronales artificiales. Sin embargo, la discriminaci´on local de la informaci´on llevada a cabo por la SNN requiere de nuevas tareas en cada uno de ellos:

1. Procesamiento de las entradas sin´apticas

Esta es la fase de procesamiento del paradigma. En ella se procesan todas las entradas sin´apticas de la neurona. El conjunto de datos a analizar se elige de los recibidos a trav´es de todas las sinapsis. El tipo de procesamiento que se realiza depende (i) de si el receptor reco- noce o no la firma del emisor de la se˜nal y (ii) del problema espec´ıfico. Adem´as de las tareas propias del procesamiento de informaci´on, si dentro de los datos neuronales seleccionados para su procesamiento hay alguno enviado por una neurona que no pertenece al vecinda- rio del receptor que es “relevante” para la resoluci´on del problema, se establece una nueva sinapsis entre ambas neuronas. La reconfiguraci´on de la red en funci´on del reconocimiento de una determinada firma neuronal permite a las c´elulas intercambiar informaci´on signifi- cativa y avanzar en la soluci´on del problema. Como ´ultimo paso de esta fase, el contexto de informaci´on local se actualiza con el conjunto de datos analizados durante el procesamiento de los mensajes de entrada.

2. Propagaci´on de informaci´on

Durante esta fase las neuronas construyen y env´ıan sus mensajes de salida. Si la longitud del mensaje alcanza el tama˜no m´aximo Ncontexto, la informaci´on neuronal de la c´elula m´as

antigua del contexto de informaci´on local se elimina del mensaje (esto se ilustra en la Secci´on 7.4 para el caso particular de la resoluci´on de puzzles rompecabezas).

3. Restauraci´on del vecindario

Si la neurona no tiene el n´umero m´aximo de vecinos, trata de conectarse aleatoriamente a otra neurona en la misma situaci´on (s´olo una sinapsis por neurona e iteraci´on). En primer lugar, busca neuronas en su misma situaci´on en su contexto de informaci´on local y, si no es posible establecer una conexi´on con ninguna de ellas busca en el resto de c´elulas de la red. Esta fase permite maximizar la cantidad de informaci´on que se propaga por la red. Adem´as, establecer conexiones con neuronas que no pertenecen al contexto de informaci´on local de la neurona permite la propagaci´on de informaci´on a otras regiones de la red, incluyendo nuevas c´elulas en el ´area local de la unidad. De esta forma se procesa la informaci´on localmente, descartando aquella que no es significativa para resolver el problema, y poco a poco se incrementa el radio de influencia de la neurona.