UNIVERSIDAD A U T ~ N O M A

281  Descargar (0)

Texto completo

(1)

UNIVERSIDAD A U T ~ N O M A METROPOLITANA

INFORME FINAL DEL PROYECTO TERMINAL I1 LAS REDES NEURONALES Y COGNITRON

INFORME FINAL PRESENTADO EN

"

LA DIVISIóN DE CIENCIAS

BASICAS

E INGENIERÍA COMO ASPIRANTE AL GRADO DE LICENCIADO EN COMPUTACI~N

DEPARTAMENTO DE INGENIERÍA ELÉCTRICA

POR

FERMIN EULOGIO CARMONA RAMIREZ MIGUEL ANGEL GRANADOS TRONCOS0

JORGE POBLETTE RODRIGUEZ

(2)

PRÓLOGO

Cuando se descubran los mecanismos mediante los cuales

funciona el cerebro, zl ser humano será dueño de un Inmenso poder y, paradójicamente estará más indefenso que nunca.

El que nadie sepa como aprenden l o s seres humanos, ya

que sólo sabemos como ayudar a aprender mejor, ha sido uno

de los mayores obstáculos cuando se quieren diseñar modelos

para enseñar a las computadoras a aprender.

El aprendizaje puede tomar muchas formas, por ejemplo el

aprendizaje mediante ejemplos, el aprendizaje a través de

experiencias y analogías, y el aprendizaje de principios

fundamentales.

El funcionamiento de una Red Neuronal está ligado a

ciertos procesos que se pretenden simular y que son

propiedades inherentes en nuestros cerebros.

Las computadoras que funcionan con este tipo de redes, a

diferencia de l a s convencionales, no se programan sino que se entrenan. Después de un periodo de entrenamiento,

durante el cual los pesos de la red se van modificando para

condicionar a la red a que produzca el comportamiento

deseado, viene la etapa de operación, durante l a cual la red debe conducirse de manera adecuada ante situaciones que

nunca conoció durante el periodo de entrenamiento. Una red será más eficiente a medida que tenga más experiencia. Obviamente, el problema crucial e n esta arquitectura es el

(3)

RECONOCIMIENTOS

Queremos agradecer a la Maestra en Ciencias Mariko Nakano Miyatake por el apoyo prestado durante toda la

investigación.

(4)

diseño de métodos y algoritmos para cambiar los pesos

secuencialmente una vez que cierta colección de parejas de estímulos y respuestas han sido dados. Por esto se recurre

a métodos matemáticos de optimización, así como a principios

y técnicas de la teoría cualitativa de las ecuaciones

diferenciales. Modificar los pesos de la red equivale a

modificar la estructura del sistema dinámico subyacente para

crear en él los atractores y las cuencas de atracción necesarias para reproducir el comportamiento prescrito.

Describir el propósito y el diseño de cada red en

detalle, ver la relación de cada red con los clasificadores

de patrones y algoritmos de partición existentes que son normalmente implementados en computadoras secuenciales son algunas de las razones que nos indujeron a realizar una

nueva simulación de COGNITRON. Nueva, en el sentido de que con esta simulación se pueden ilustrar los principios del

diseño utilizados para obtener paralelismo, empleando

elementos de procesamiento parecidos a las neuronas. Otro aspecto importante que se mostró con esta nueva simulación es la consistencia de la red. Con esto nos referimos a qde la red mantiene sus habilidades cognitivas, como lo son la memoria asociativa, la clasificación y su predisposición para el aprendizaje, a pesar de que la red se transfiere a un sistema con características distintas y se implementa con un lenguaje diferente, al cual, fue concebida originalmente.

(5)

RECONOCIMIENTOS

. . .

ii

PRÓLOGO

. . .

iii

LISTA DE ILUSTRACIONES

. . .

vii

GLOSARIO

. . .

viii

INTRODUCCI~N

. . .

13

CAPÍTULO 1 ANTECEDENTES HISTóRICOS

...

18

CAPÍTULO 2 FUNDAMENTOS BIOL~GICOS

. . .

23

CAPÍTULO 3 REDES NEURONALES ARTIFICIALES

. . .

33

CAPÍTULO 4 COMPONENTES BÁSICOS DE UNA RED NEURONAL

. . .

48

CAPÍTULO 5 TOPOLOGÍA DE UNA RED NEURONAL

. . .

55

CAPÍTULO 6 FUNCIONAMIENTO DE UNA RED NEURONAL

. . .

57

CAPÍTULO 7 APRENDIZAJE DE UNA RED NEURONAL

. . .

63

CAPÍTULO 8 REMEMBRANZA EN LAS REDES NEURONALES

. . .

78

CAPÍTULO 9 PARADIGMAS

. . .

80

CAPÍTULO I O FUNDAMENTOS DE COGNITRON

...

9 5 CAPÍTULO 11 TOPOLOGÍA DE COGNITRON

...

106

CAPÍTULO 12 SIMULACI~N DE COGNITRON

...

115

APÉNDICE 1

. . .

125

APÉNDICE 2

. . .

129

APÉNDICE 3

. . .

135

APÉNDICE 4

. . .

176

APÉNDICE 5

. . .

182

APÉNDICE 6

. . .

223

(6)

APÉNDICE 7

. . .

2 3 4 APÉNDICE 8

. . .

2 3 8 BIBLIOGRAFÍA

. . .

239

(7)

LISTA DE ILUSTRACIONES Figura

Figura 1 . Cerebro

. . .

24

Figura 2 . Neurona . . . 27

Figura 3 . Sinapsis

. . .

28

Figura 4 . Proceso Sináptico

. . .

28

Figura 5

.

Conexión

. . .

29

Figura 6

.

Sinapsis Excitatoria

. . .

30

Figura 7 . implementación de Neurona artificial en hardware

. . .

3 6 Figura 8 . Modelo conceptual de neurona artificial

. . . .

49

Figura 9 . Neurona artificial con Pesos . . . 50

Figura 10 . Funcionamiento de una Neurona artificial

. .

50

Figura 11

.

Funciones de Transferencia . . . 51

Figura 12 . Capa de una Red Neuronal . . . 52

Figura 13

.

Red Jerárquica

. . .

53

Figura 14

.

Funcionamiento de una Red Neuronal . . . 58

Figura 15 . Modelo Matemático operacional de una Red Neuronal . . . 81

Figura 16

.

Sinapsis Aferente Modificable

. . .

98

Figura 17 . Sinapsis de Brindley . . . 9 9 Figura 18 . Sinapsis Hebbianas

. . .

101

Figura 19 . Hipótesis Básica de COGNITRON . . . 102

(8)

Figura 20

.

Áreas Conectables

...

109 Figura 21

.

Arquitectura de COGNITRON

. . .

111 Figura 22

.

Arquitectura General de Tranputer

. . .

130

.

Figura 23

.

Administración de los TRAMS

. . .

133

(9)

GLOSARIO

Aprendiza j e.

Es la fase de una Red Neuronal en la que nuevos datos son puestos en la red causando un reajuste en los valores de

l o s pesos de las conexiones entre los elementos de procesamiento.

Auto asociativo

Es el proceso en el que el sistema almacena un Conjunto de datos, que se le presentan repetidamente y los relaciona

con el conjunto de datos que se le presentan a la red ese momento

en

Axon

Son la parte de la célula nerviosa a través de las cuales se envían los impulsos ; Las partes activamente

eléctricas de la célula nerviosa. Capas Intermedias u Ocultas.

Es el estrato de elementos de procesamiento que se encuentran situados entre la capa de entrada ( la que recibe

los datos de entrada ) y la capa de salida ( la que entrega

los datos procesados por la red ) l o s cuales proveen a la red de poder computacional adicional.

Ciclo de intercambio de información

Es un ciclo a través del cual las entradas son

constantemente puestas en la red para lograr las salidas deseadas.

Conexión.

Son los caminos entre los elementos de procesamiento, ya sean positivos o negativos, los cuales ligan a estos

elementos de procesamiento en una red. Dendri t a

Es la parte enramada de una célula nerviosa, la cual lleva los impulsos hacia la célula. Es la parte

electricamente pasiva de una célula nerviosa. Entrenamiento

El proceso por el cual la red aprende a asociar un patrón de entrada con una respuesta correcta.

Función de Transferencia.

(10)

Es la función por la cual la nueva salida del elemento de procesamiento es derivada de la combinación de las entradas de la red y el estado actual del elemento de procesamiento.

Grafo Dirigido.

Es la representación de la variación y dirección de

flujo para los elementos de procesamiento con respecto a otros elementos de procesamiento.

Lógica Contradictoria ( Fuzzy Logic )

Así se le conoce a la información contradictoria o incompleta.

Neurona.

Es la unidad funcional y estructural del sistema nervioso, constituida por una célula nerviosa y todos sus procesos, incluyendo un axon y una o más dendritas.

Paradigma.

Es la arquitectura de la red que especifica la estructura de interconexión entre los nodos.

Pesos ( Weight 1

ES la ponderación de los enlaces de 10s elementos de procesamiento, los cuales se expresan con números reales-

LOS pesos determinan el tipo de conexión, esto es decir la conexión puede ser excitadora o inhibitoria dependiendo del valor que posea el peso.

Retropropagación ( Back Propagation )

Es un algoritmo en el cual los valores son modificados a través de la propagación de una señal de error hacia atrás que se acarrea desde las vías de salida hacia las de entrada.

Sigmoide

Es la gráfica, producto de una función, que tiene la forma de una doble curva, como la letra S

Sinapsis.

Es el punto de contacto entre neuronas adyacentes donde

10s impulsos nerviosos son transmitidos de una hacia otra.

Umbral ( Threshold 1

Nivel mínimo de energía de excitación

(11)

Este trabajo esta dedicado a nuestros padres, que han sido nuestros guías y sostén en los momentos más

difíciles.

Fermin, Jorge y Miguel Angel.

Para Estela y mis Hijas.

Fermin.

(12)
(13)

. . .

Por cuanto es un esfuerzo por llevar a cabo algo posible

dentro de este imposible que sabemos que es la vida. Okakura Kakuzo.

(14)

SECCIÓN I

(15)

enfoques y métodos para lograr un objetivo común: entender y emular el funcionamiento del cerebro y la mente.

Las Redes Neuronales son objetos matemáticos los cuales representan lo que nosotros pensamos son elementos de

procesamiento primario en los cerebros. Para satisfacer diversos propósitos de investigación estos objetos pueden manipularse de diferentes maneras, es decir pueden ser

vistos como modelos; siendo estos, el modelo computacional, el modelo de la estructura cerebral y el modelo de procesos cognoscitivos. De esta manera se da lugar a la generación de arquitecturas que ofrezcan la posibilidad de realizar

funciones cognoscitivas tales como la generalización, la

asociación y el aprendizaje.

1

La tecnología de Redes Neuronales, también conocida como Conexionismo, se expande rápidamente y sus aplicaciones

surgen cada vez en mayor número.

Cuando trabajan correctamente, las Redes Neuronales

proveen mayores beneficios, tales como la habilidad de tomar datos incompletos y entregar resultados aproximados. su

paralelismo, velocidad y entrenabilidad las hacen tolerantes al error así como también rápidas y eficientes para manejar grandes cantidades de datos.

Pero, como las Redes Neuronales funcionan tal como

nosotros creemos que el cerebro humano lo hace, no son muy eficientes manejando números, especialmente si lo que se

(16)

necesita son respuestas acertadas y de forma rápida.

Certidumbre, poder de computo y lógica no son sus puntos fuertes y cuando resuelven un problema no pueden decirnos como lo hicieron. En esta temprana etapa de la curva

tecnológica las redes reales (o verdaderas) similares a las Redes Neuronales Biológicas no están disponibles.

"~

Lo que tenemos son simulaciones de Redes Neuronales

Art.ificiales que funcionan en máquinas digitales y que se desenvuelven muy bien en actividades como el reconocimiento de patrones y la síntesis funcional.

Las Redes Neuronales han sido objeto de una intensa

investigación, a nivel mundial, durante los últimos años.

Debido a esta intensa actividad se impulsó el desarrollo de una amplia gama de aplicaciones las cuales basan su

desempeño en las diferentes soluciones que sobre la

estructura y funcionamiento del cerebro proponen l o s diversos paradigmas existentes.

Las Redes Neuronales no son el Único método de aprendizaje que se ha propuesto para las máquinas.

Numerosos procedimientos de aprendizaje para máquinas ha

sido propuesto durante los pasados 30 años. En 1990, Carbonell los clasifica en cuatro grandes grupos:

1.- Aprendizaje inductivo. 2 . - Aprendizaje analítico.

3.- Algoritmos genéticos (sistemas de clasificación).

(17)

4.-Métodos de aprendizaje conexionista. (Redes Neuronales)

.

Actualmente las Redes Neuronales Artificiales, están

siendo usadas por un gran número de aplicaciones comerciales las cuales incluyen el reconocimiento de voz, texto y equipo; Análisis Financiero; Manejo de Bases de Datos;

Procesamiento de señales e imagen; Diagnósticos médicos;

Trabajar con información caótica, rara o incompleta; y

algunos tipos de manufacturas, control de calidad y procesos de control.

A medida que nos acercamos al siglo XXI, necesitamos un nuevo enfoque de las Ciencias de la Información para poder establecer una tecnología de Redes Neuronales, ya que esta se encuentra aun en su infancia. Así como hay una

estructura formal de nuestra Red Neuronal Biológica, las

Redes Neuronales Artificiales más eficientes necesitaran un

marco de trabajo y un orden para determinar cómo aprenderán, preprocesos y cómo se llevará a cabo la selección de la

información de entrada. También existe el problema de la

coordinación de las diferentes partes de un sistema

inteligente al momento de desempeñar funciones especificas.

A pesar de comprendemos aun muy poco acerca del

funcionamiento del cerebro y de la incertidumbre existente en lo que se refiere a si queremos o no modelar nuestras Redes Neuronales Biológicas; existen una variedad de

(18)

factores que respaldan las vastas implementaciones de Redes Neuronales Artificiales. Además de contribuir al estudio

del cerebro y del sistema nervioso, los avances logrados en el diseño, análisis y control de las Redes Neuronales Artificiales han permitido inventar nuevas formas de

computación y de procesamiento de información dando por

resultado toda una nueva generación de computadoras (también

conocidas como Neurocomputadoras)

.

(19)

CAPÍTULO 1

ANTECEDENTES HIST~RICOS

En SU tiempo hombres como Descartes trataron de entender

los mecanismos mediante los cuales los cerebros y los músculos transmitían información. En ese entonces los fenómenos eléctricos no estaban todavía bien entendidos y no se tenía aun el concepto de Neurona.

Hacia 1890, William James en su libro Psicologia (Curso

Breve) expone varias opiniones con respecto a la actividad

cerebral y vislumbra muchas de las teorías actualmente en uso.

El estudio fisiológico de los órganos y principalmente el de los sistemas fisiológicos descubrió que el cerebro es el gran órgano controlador de estos sistemas.

El trabajo científico de Santiago Ramón y Cajal(1906) comprueba la existencia de la célula nerviosa a la cual

Waldayer denominó Neurona y esta queda establecida como el

bloque básico con el que está compuesto el sistema nervioso. Posteriormente en 1932 Carlos Scott Sherrington nos indicó

cómo funcionan los sistemas de neuronas.

(20)

llamaron Cibernética, los problemas de regulación tanto en los seres vivos como en las máquinas. Tratando de entender los sistemas tecnológicos desde el punto de vista de los sistemas biológicos.

~ "~

En 1936, Alan Turing es el primero en recurrir al

cerebro como paradigma computacional. Y ya para el año de

1943 el neurofisiólogo Warren Mc. Culloch y el matemático

Walter Pitts publican un modelo matemático de una neurona a la cual llamaron neurona f o r m a l . Este artículo desató una

actividad mayúscula en lógica neuronal, modelos electrónicos de neuronas y Redes Neuronales.

En 1949, Donald Hebb publicó su libro La Organización de la Conducta en el que proponía un mecanismo de aprendizaje basado en las variaciones de la efectividad de la sinapsis; en una neurona muy activa se potenciaba y en una neurona

inactiva se decrementaba la intensidad sináptica.

Actualmente l o s modelos cerebrales basados en las llamadas sinapsis hebbianas son muy socorridas.

Durante la década de los 50's los avances en lo que se refiere al Hardware y al Software dio paso a la era de la simulación por computadora. Se hizo posible probar las

teorías acerca de ,las funciones del sistema nervioso y

conforme avanzaban las investigaciones la terminología de las Redes Neuronales se iba consolidando.

(21)

Una de las primeras investigaciones fue dirigida por

Nathaniel Rochester en colaboración con Donald Hebb para los laboratorios de investigación de IBM.

Los esfuerzos en el campo de la simulación vieron sus frutos en 1956 con el proyecto de investigación de verano

Dartmouth, en Inteligencia Artificial, ya que de este se

desprenden las más importantes investigaciones en las áreas de Inteligencia Artificial y Redes Neuronales.

En el año de 1957, Frank Rosenblatt, de la universidad de Cornell, comienza a trabajar en el PERCEPTRON. El Perceptron fue implementado en circuiteria y es la Red Neuronal más antigua que aun se utiliza en nuestros días encontrándola implementada en diversas aplicaciones tales como el reconocimiento de caracteres.

En 1959, Bernard Widrow y Marcian Hoff, de la

universidad de Stanford, desarrollan el modelo ADALINE y

posteriormente desarrollan WALINE.

En la década de l o s 6 0 ’ s destaca Stephen Grossberg, de la universidad de Boston, por sus extensos trabajos de

investigación fisiológica para desarrollar modelos de Redes Neuronales. Para el año de 1967 desarrolla su Red Neuronal,

AVUANCHE, basada en las investigaciones que realizaba. Esta Red Neuronal desempeña actividades tales como el

reconocimiento de patrones continuos de voz.

(22)

Debido a la gran popularidad 'y' a l o s grandes esfuerzos

dedicados al desarrollo de las Redes Neuronales Narvin

Minsky y Seymour Papert publican, en 1969, su iibro

Perceptrones, en el cual desacreditan el Perceptron y con

ello a la tecnoiogía de Redes Neuronales. Pese a esto las

investigaciones en el área de las Redes Neuronales siguieron

efectuándose a nivel mundial y es de esta forma que por ejemplo James Anderson, en Estados Unidos, desarrolla el

modelo de C E R E B R O E N U N A C A J A ( B R A I N S T A T E I N A B O X ) ; en Japón el Dr. Kunihiko Fukushima desarrolla el Cognitron y el Neocognitron; Y en Helsinki, Teuvo Kohonen desarrolla sus modelos de AUTO O R G A N I Z A C I ó N .

En 1982, John Hopfield presenta su artículo REDES

NEURONALES a la Academia Nacional de Ciencias (en Estados

Unidos). En este artículo expone con claridad y basado en el análisis matemático cómo trabajaran estas redes y lo que podrán lograr.

A partir de 1985, comienzan a llevarse a cabo reuniones periódicas para compartir los avances logrados en el campo de las Redes Neuronales. En estas reuniones se aprecia la

labor de cooperación entre disciplinas tan diversas como la Computación, la Electrónica, las Matemáticas, la Física, la Fisiología, la Medicina, la Filosofía, la Neurobiología y las Ciencias Cognitivas. Entendiendo estas ultimas como las ciencias que abordan conceptos mentales tales como

(23)

sensación, emoción, pensamiento, deseo y no sólo con

aquellos conceptos que tienen que ver con el conocimiento. Un ejemplo de lo que se consigue con estas reuniones lo

personifica el matemático Ruso A.N. Kolmogorov quien ha .- ~

probado un teorema que sostiene que los modelos de Redes Neuronales pueden aprender al aproximar cualquier

representación continua, basados solamente en las

ocurrencias que se le presenten como entrada, siempre y

cuando el error en la representación sea minimizado mediante el criterio de l o s mínimos cuadrados.

Actualmente, algunos de los mayores dilemas que las

Redes Neuronales enfrentan son el aprendiza j e, entrenamiento, diseño, evaluación y desempeño de las mismas. Un área específica de investigación trata de identificar un paradigma de red o patrón que se adapte mejor a una aplicación específica. Existen docenas de paradigmas de

redes conocidos y el número cada día se incrementa. Así podemos decir que el interés en el estudio de las Redes Neuronales se debe al nuevo desarrollo de topologías de redes y algoritmos, a las nuevas técnicas de

implementación de circuitos analógicos VLSI y a algunas intrigantes demostraciones así como también por una

(24)

CAPÍTULO 2

FUNDAMENTOS B I O L ~ G I C O S

lzdxEmw

En los organismos vivos y más avanzados, la evolución ha

hecho posible la estructuración de zonas especiales que

toman a su cargo la dirección de su existencia y de sus relaciones con el medio ambiente circundante.

Estas zonas, cuando adquieren un alto grado de

complejidad, reciben el nombre de cerebro, el cual, a su vez, se ha diferenciado dentro de un tejido orgánico más vasto; el tejido nervioso (Ver figura 1 )

.

Por la manera de actuar estas estructuras cerebrales, así como por su

(25)

h i pot :.4 1 a m o

cerebro

g l d n d u l a

p i t u z t a r i el0

na 1 medi

Figura 1. El Cerebro

El cerebro humano es seguramente una de las estructuras más complejas del universo. Tan sólo la exploración de su estructura implica una dificultad colosal, ya que para esto

el cerebro se divide en cinco partes: el telencéfalo,

formado por los hemisferios cerebrales; el diencéfalo; el

mesencéfalo; el cerebro posterior, formado por el puente de Varoli y el cerebelo; y finalmente el bulbo raquídeo. A

pesar de esto, el progreso que se ha hecho en la comprensión de su estructura y función ha sido muy importante.

Parece que la operación de nuestro cerebro se da de una manera distribuida, lo que implica que las funciones están

repartidas entre un número muy grande de componentes y

ninguna parte del trabajo se delega exclusivamente a una de ellas. La necesidad de funcionar de esta manera justifica

el conexionismo masivo que revelan los estudios anatómicos del cerebro. Llevar a cabo simultáneamente diversos

(26)

procesos es una capacidad necesaria del cerebro para

realizar tareas de alto nivel, ;1 su vez esto requiere de una

coordinación caiectiva y de que ocurra en un lapso de tiempo muy corto para que puedan realizarse en orden secuencial.

Para entender mejor el desempeño del cerebro, como

órgano, podemos analizar a manera de ejemplo, el proceso de representación sensorial que lleva a cabo. Así tenemos que

abstracción de estímulos externos se realiza en el receptor, éste transmite el estímulo a las aferentes primarias con las que se encuentra en contacto físico y éstas a su vez, se encargarán de conducirlo y proyectarlo al cerebro, que

finalmente lleva a cabo el acto de percepción de l o s atributos de la modalidad sensorial de la que se trate

(visual, auditiva, táctil, etcétera)

.

NEURONAS

El sistema nervioso se compone de un tejido especial que

contiene dos tipos principales de células: Neuronas y Neuroglías (del griego glia, substancia viscosa).

La neurona es la unidad básica del sistema nervioso. El

número de neuronas existentes en el cerebro es de

aproximadamente 10,000 millones, en tanto que las glías son

unas 100,000 millones, es decir, la relación entre neuronas y glías es de 1 a . 1 0 . El número de neuronas viene

determinado desde el principio de la vida, o sea que no

(27)

aumenta posteriormente, y no sólo eso, sino que tienden a

disminuir.

Existen dos criterios para clasificar las neuronas:

según su estructura y según su función. Por su estructura se clasifican en tres grupos unipolar; bipolar; y

multipolar. Esta clasificación se basa en el número de

prolongaciones que parten del cuerpo celular. Por su

función hay tres tipos de neuronas que intervienen en la formación de las vías nerviosas, a saber las neuronas

aferentes (del latín afere, llevar); las neuronas motoras o eferentes (del latín efere, traer); y las neuronas

internunciales que conducen impulsos de las neuronas

aferentes hacia las eferentes, formando cadenas en las vías neurales y situándose por completo dentro del sistema

nervioso central.

Las neuroglias o simplemente glías, se les adjudica una función de cementación entre las diversas neuronas y parece ser que además juegan un papel importante en la conducción de señales.

La neurona propiamente dicha consta de un cuerpo celular y proyecciones que transmiten impulsos de ida

Y

vuelta al

cuerpo celular. Ver Figura 2.

(28)

D s n d r a t a s : C o n d u o - n = = R a l e a a

c u e r p o

-Ax6n: C o n d u c e la s e R

d e r-apueeta

1 n e 1 a m

a l

Figura 2. Neurona

Las neuronas tienen dos tipos de prolongaciones: Axones y Dendritas. Un axón es una extensión citoplásmica alargada

que transporta impulsos nerviosos que se alejan del cuerpo celular.

Las dendritas (del griego dendron, árbol) son

proyecciones que llevan impulsos hacia el cuerpo celular.

Sus superficies poseen proyecciones semejantes a espinas que son los lugares principales de uniones entre dendritas y

terminales de axón, es decir los impulsos nerviosos se transmiten de los axones a las dendritas.

La función de las neuronas consiste en conducir señales de una parte del cuerpo a otra mediante fenómenos eléctricos

Y químicos. Cuando un impulso viaja a lo largo de un axón la transmisión característica es eléctrica. Cuando el

c l e o

impulso es transmitido de una neurona a otra a través de una sinapsis, la transmisión característica es química. Figuras

3 y 4.

(29)

Sinapele:

Punto p a r a el cual un xmpulso n e m o s o

p r s r desde una n e u r o n a a otra.

Figura 3 . Sinapsis

Punto p a r a el cual un xmpulso n e m o s o

p r s r desde una n e u r o n a a otra. Sinapele:

\- -

I

.

Figura 3 . Sinapsis

Mitocondria

Vesiculas con

Espacio (o blscha )

mbrana postsindptica

Figura 4. Proceso Sináptico

Denominaremos Red Neuronal a un conjunto compuesto por un gran número de neuronas interconectadas. Ver Figura 5.

(30)

VESICULAS SINAPTICAS

Figura 5. Conexión

Aunque existe una gran variedad de formas y especializaciones entre las neuronas, básicamente su función puede resumirse en la generación y envío de señales

eléctricas; Debido a esto veremos a cada una de las neuronas como entes con dos estados posibles, ya que pueden estar

activas o inactivas. Estas neuronas están en contacto unas con otras, de manera que reciben señales provenientes de

otras neuronas a través de las sinapsis. La interacción

entre las neuronas podrá ser excitadora si incita a la neurona a la actividad, o inhibidora si tiende a mantenerla en reposo. Figura 6 .

(31)

S I N A P S I S E X I T A D O -

DENS"

POSTSlCNAPTICA

I

DE-RITA

il

li

Figura 6 . Sinapsis Excitatoria

La Red Neuronal recibe señales del exterior a través de las células receptoras. De esta manera, cada neurona,

promediará las señales que recibe y si la suma total de las entradas, en determinado momento, sobrepasa cierto umbral crítico, entonces las primeras se excitarán y enviarán su

propia vibración de salida, con impulso torrencial, a otras neuronas, las cuales pueden excitarse a su vez y a toda la

línea que recorren. En caso contrario permanecerá en

reposo, esto es, no emitirá ninguna señal de respuesta. Las representaciones sensorio motoras acerca de nuestro mundo están determinadas por la micro estructura del cerebro y por los aspectos dinámicos de la actividad neuronal dentro de ellos.

Por micro estructuras nos referimos a las relaciones

espaciales entre las terminales de l o s axones que entran a una pequeña región de la estructura cerebral y a las neuronas donde estas terminales se proyectan. De esta

(32)

forma, las relaciones neuronales están determinadas por

factores genéticos pero también, por factores epigenéticos, ya que sus conexiones pueden ser modificadas por la

experiencia.

Así los procedimientos de reconocimiento y aprendizaje a nivel micro estructura del cerebro lo podemos describir de la siguiente manera: Cada percepción o evocación mental está relacionada con un estado neurofisiológico en el cual participan, colectivamente, un gran número de neuronas, por lo cual basta con repetir el estado neurofisiológico para

evocar la percepción correspondiente. El proceso de

evocación mental o remembranza consiste en un proceso de

relajamiento, regido por las leyes de la Física, en el cual el estado del cerebro evoluciona hacia estados de energía mínima.

El proceso de aprendizaje consiste en el establecimiento

de nuevas conexiones sinápticas entre las neuronas, y la

modificación funcional o estructural de las ya existentes. La estructura del área donde se concretan los estados se

modifica constantemente debido a la continua interacción con el medio y a los procesos de ajuste a éste.

Las sensaciones son un vehículo utilizado para colocar al cerebro en un estado neurofisiológico a partir del cual se inicia el proceso de relajamiento que conduce a recordar. En consecuencia el sistema en su totalidad es el responsable

(33)

del modo en que sus símbolos se desencadenan entre s í . Sólo en el nivel simbólico adquieren sentido l o s patrones de desencadenamiento.

Cabe señalar que las conductas innatas, reflejas o

instintivas corresponden a conexiones determinadas por la

herencia.

Con lo que respecta a las neuronas podemos decir que las

propiedades sobresalientes de las estas son las siguientes:

-

Es anatómica y embriológicamente independiente.

- Tiene gran capacidad de excitabilidad.

- Tiene gran capacidad para transmitir el estímulo que

capta.

- Ofrece una articulación especial con las otras neuronas.

De todo lo anteriormente expuesto, podemos decir que las investigaciones sobre el cerebro y sus estructuras

funcionales nos ofrece el marco conceptual desde el cual debemos formularnos preguntas y darnos a la tarea de plantear una investigación que pueda ofrecerles una

respuesta.

(34)

CAPÍTULO 3

REDES NEURONALES ARTIFICIALES

P R R L m I N A R E s

Un concepto que se ajusta perfectamente en lo que respecta a la heurística del aprendizaje a través de la

experiencia es lo que se conoce como modelo de Red Neuronal.

El área de la modelación de Redes Neuronales

Artificiales ha servido como punto de convergencia

multidisciplinario y es por esta razón que no es extraño que

los conceptos que se manejan al hablar de ellas sean tomados de diferentes disciplinas que intervienen en su estudio.

Es así que cuando se trata de dinámica cerebral, por

ejemplo, aunque se este trabajando con modelos biológicos, no se llega a prescindir del uso de conceptos que provienen de las ciencias físicas e incluso de la terminología propia de la técnica industrial. De este modo es frecuente hablar

de las conexiones neuronales , y de como se asemeja su comportamiento a los conmutadores telefónicos. sus

actividades obedecen a las leyes que son comunes en los campos electromagnéticos. Puede decirse también que

(35)

que el cerebro humano puede calcarse sobre un modelo de

cerebro electrónico.

Aunado al avance técnico hay que observar también el

empleo, cada vez más acusado, de las teorías matemáticas, sobre todo para los procesos biológicos, de manera que es

posible el estudio de los múltiples datos que se Procesan en las intrincadas conexiones neuronales. Para ello, se

utilizan métodos estadísticos, como el Cálculo de

probabilidades y la teoría de juegos.

"

La riqueza computacional del cerebro humano se debe a SU

gran número de neuronas las cuales están conectadas unas con

otras a través de una compleja red de sinapsis.

El diseño de una Red Neuronal Artificial esta basada en nuestro actual entendimiento de los sistemas nerviosos

biológicos para tratar de imitar la forma en que el proceso inteligente de información se efectúa dentro de un cerebro

viviente. No obstante, las Redes Neuronales Artificiales

poseen un poder de procesamiento mínimo comparado con los cerebros de criaturas tan primitivas como las moscas,

cucarachas y chinches.

Aquí cabe señalar que l o s modelos de Redes Neuronales

Artificiales o simplemente Redes Neuronales, son conocidas por diferentes nombres, tales como modelos conexionistas,

conexionismo, modelos de procesos paralelos distribuidos,

paralelismo y sistemas neuromorficos. Asi también a l o s

(36)

elementos de procesamiento de las Redes Neuronales se les

puede encontrar reportados como neuronas, células, nodos, elementos de procesamiento básico o nodos de procesamiento;

y a las conexiones entre estos elementos como l i g a s , conexiones o sinapsis.

Existen muchos modelos de neuronas. Gran parte de ellos teóricos y otros basados en la experimentación. Un modelo

de neuronas puede incluir unas cuantas características de

las neuronas biológicas, o ser muy detallado.

El concepto de Modelo de Redes Neuronales es tan amplio que cuando hacemos referencia a ellas, podemos estar

hablando tanto de Hardware como de Software simultáneamente. Luego así tenemos que el Conexionismo es una rama de la

ciencia de la Computación que procesa la información de una nueva forma, al manejar problemas que no pueden ser tratados eficientemente de forma digital, ya que l o s algoritmos que

utilizan son demasiado complejos para ser programados; para

esto también la arquitectura de las computadoras, que se utilizan pueden estar basadas en la utilización de muchos procesadores interconectados entre sí de manera masiva, lo que implica que tales computadoras trabajan masivamente en paralelo, es decir que en un momento dado todos l o s procesadores y todas las conexiones pueden estar activos.

Así podemos decir que una Red varios elementos de procesamiento

Neuronal está compuesta de interconectados que operan

(37)

en paralelo y trabajan en forma similar a la que pensamos las neuronas descodifican información en el cerebro humano.

Como las Redes Neuronales están biologicamente

inspiradas podemos decir p e si una neurona biológica consiste de axones, dendritas y sinapsis, la neurona artificial imita l o s axones y dendritas de su contraparte biológica con alambres y las sinapsis utilizando resistores con valores determinados (pesos). Ver Figura 7 .

Pssc

E F

XI -vi

R , ' l O k R

""""_

I WI I

Figura 7. implementación de Neurona artificial en hardware

En gran parte el Conexionismo ha optado por tomar de l o s sistemas nerviosos la arquitectura en capas, las conexiones masivas y el procesamiento distribuido en paralelo.

Los elementos de una red responden a la acción externa como integradores, es decir, su estado(respuesta) está en

función del efecto que recibe a través de la sinapsis con

(38)

todos los demás procesadores conectados a él. Así, mediante la interacción de sus células, el estado de la red cambia constantemente en el tiempo. Un sistema que se comporta de esta manera es llamado sistema dinámico y puede ser modelado matemáticamente por un sistema de ecuaciones diferenciales, si se conocen l a s leyes físicas que rigen su comportamiento. De este modo podríamos definir una Red Neuronal como un

sistema dinámico no lineal multivariable con procesamiento

distribuido en paralelo.

Los beneficios potenciales de las Redes Neuronales van más allá de las altas velocidades que se adquieren en el

cálculo de operaciones, provistas por el paralelismo masivo.

Así, por ejemplo una característica sobresaliente de l a s Redes Neuronales es que pueden aprender. Este proceso de

aprendizaje es efectuado por la red debido a que basa la toma de decisiones en su funcionamiento colectivo.

Una vez que se tiene un programa de Redes Neuronales se le entrena. El entrenamiento depende de .la dinámica

distribuida de las conexiones y de la adaptación de los pesos. Una vez que la red ha sido entrenada puede trabajar dentro de su especialización y resolver problemas con

condiciones nuevas o inciertas, es decir puede generalizar basándose en sus conocimientos. La ventaja que acarrea

esto, es que no se escriben nuevos programas para cada nuevo problema.

(39)

Recientes avances en los campos como las matemáticas, la neurología y la neurobiología, han impulsado el resurgimiento de la tecnología de Redes Neuronales.

Consecuentemente la teoría de Redes Neuronales está siendo

estudiada en dos aspectos: primero, la eficiencia de una Red Neuronal basada en la arquitectura electrónica y segundo, en

el alcance del entendimiento de las funciones biológicas de

las Redes Neuronales.

"

Tenemos mucho que aprender antes de entender las

capacidades de una Red Neuronal. Comúnmente, sabemos muy

poco acerca de nuestras propias memorias biológicas. Tan es así, que no podemos determinar si existe algo que diferencie el proceso de aprendizaje del proceso de remembranza o evoca

miento. Agregando, los algoritmos de aprendizaje de Redes

Neuronales existentes, esta tecnología se torna novedosa más no poderosa, ya que al estar basada en el funcionamiento de las neuronas biológicas, también pueden equivocarse.

Las aplicaciones de Redes Neuronales tienden a caer en diferentes clases. Por ejemplo, sensores y procesamiento de conocimientos, reconocimiento de patrones y sistemas de

control. Las Redes Neuronales no son muy buenas llevando a

cabo las tareas estandar que ejecuta una computadora normal, como es el caso del procesamiento de grandes cantidades de

datos con un alto grado de precisión en los cálculos. Pero cuando se trata de tareas tales como analizar conjuntos de

(40)

datos incompletos o información contradictoria e ilógica, las Redes Neuronales las realizan de manera eficaz con

respecto a las computadoras convencionales aunque estas posean varios procesadores.

La tarea de entrenar aplicaciones a gran escala puede ser substancial ya que requiere de la programación de

computadoras convencionales. Ya que se sabe muy poco acerca

del porque una Red Neuronal se comporta de cierta manera, aun hay riesgos en el hecho de sobre entrenar una red y de

construir capas intermedias in eficientes.

El buen diseño de una Red Neuronal aun esta sujeto a los

límites del hardware. Esto implica que dependiendo de las

aplicaciones, l o s sensores y actuadores adecuados para una Red Neuronal tendrán que escogerse o diseñarse de manera específica. Los sensores especializados son necesarios para traducir una imagen, escena o patrón específico en un vector de entrada para la Red Neuronal, de modo que estos

transforman un patrón complicado en un conjunto de números, para su mejor manejo.

Muchos de los productos en la línea de las Redes

Neuronales son software, Shells, herramientas de desarrollo, chips y tarjetas aceleradoras. Algunas compañías están en

proceso de desarrollar hardware de propósito especial y chips para ser usados en aplicaciones a gran escala. Las Redes Neuronales tienen un gran potencial en áreas tales

(41)

como el reconocimiento de voz e imágenes donde varias

hipótesis son seguidas simultáneamente y gran cantidad de cálculos son realizados, pero aun l o s mejores sistemas están lejos de igualar el desempeño del ser humano.

Las Redes Neuronales tipicamente proveen un alto grado de robustez o tolerancia al error, que las tecnologías basadas en el modelo secuencia1 Von Neumann, ya que hay

mucho más nodos de procesamiento cada uno con conexiones

primarias locales y el daño a unos cuantos nodos o ligas no necesariamente afectan significativamente su desempeño.

Muchos de los algoritmos de Redes Neuronales también adaptan el peso de las conexiones al tiempo que mejoran su desempeño basándose en l o s resultados que obtienen en ese mismo

instante.

La Computación con Redes Neuronales tiene restricciones de Entrada/Salida como cualquier computadora convencional. El problema básico reside en que aunque el canal de

comunicaciones es relativamente grande comparado con el

promedio total de comunicaciones establecidas del sistema, el rendimiento del mismo se deteriora significativamente.

El desempeño de una Red Neuronal depende de elementos como :

- El número de capas.

- El número de elementos de procesamiento.

- Periodos de entrenamiento.

(42)

- Conjuntos de datos de prueba.

- Parámetros de veracidad.

El diseñar Redes Neuronales Artificiales para resolver

problemas y estudiar redes biológicas reales puede cambiar el modo en que enfrentamos los problemas y llevarnos a desarrollar nuevos algoritmos para darles solución por

nuevos caminos.

A partir de este momento abordaremos a la tecnología de Redes Neuronales Artificiales desde el punto de vista de los modelos lógicos. Desde este punto de vista todos l o s

conceptos, características y además el funcionamiento pueden hacerse extensivos hacia el Software y el Hardware.

PROPIEDADES DE UNA RED NEURONAL

Antes de describir en detalle todos los elementos que conforman una Red Neuronal Artificial, consideraremos los parámetros con l o s que se evalúan y explicaremos cada uno de ellos.

Para implementar una Red Neuronal se necesita tomar en cuenta los siguientes factores:

- Capacidad de memoria.

- Integridad de las señales.

- Integridad de Procesamiento.

- Velocidad de respuesta.

Para los últimos tres factores el paralelismo masivo es un elemento determinante.

(43)

d de M p r n o a

La capacidad de memoria se refiere al tamaño de una Red Neuronal lo cual involucra dos categorías.

"

1.- El número de elementos de procesamiento. 2.- El número de interconexiones.

El número de interconexiones en una Red Neuronal es directamente proporcional a la complejidad del modelo que

puede ser implementado. Si es posible implementar n elementos de procesamiento y cada uno tiene c conexiones, entonces el número de posibles interconexiones será (n

*

c). Una red de conexión completa o completamente conectada tendrá un requerimiento mínimo de memoria de (nZ + n) unidades de memoria; esto quiere decir que al menos n2 unidades se necesitarán para contener la información de

interconexión, porque cada nodo está conectado a todos l o s demás nodos; y al menos n unidades se necesitarán para que el nodo por si mismo contenga su propia información. Nótese que nunca definimos el tamaño de una "unidad" ya que esa

dimensión depende de cuanta información se necesita

almacenar para cada uno de los elementos de procesamiento. Aunque todavía no hay estandares, algunos nuevos

términos han sido sugeridos en la literatura, para

representar l o s tipos de categorías que podrían volverse estandar.

(44)

Así tenemos a los AIS, acronimo para Activities and Interconnections Stored (Almacenamiento de Actividades e

Interconexiones). La otra unidad para el tamaño tiene que ver con el número de redes que pueden trabajar juntas

simultáneamente.

~1 paralelismo masivo y las reglas de aprendizaje se

encuentran intimamente ligadas a la integridad de las

señales y a la integridad del procesamiento. De este modo el paralelismo masivo provee a la Red Neuronal de un alto grado de:

Tolerancia al error.

Esto es la redundancia implícita o la habilidad de

soportar una falla de alguno de sus componentes sin detener

a todo el sistema.

Recuerdo Asociativo. Es la habilidad de recuperar la información

instantáneamente basados en el contenido y de hacer una aproximación o dar una sugerencia si la información

solicitada no se localiza.

RecuDeraclon de error.

Es la habilidad de recuperarse de una falla del

I.

procesador.

Las r e g l a s de a p r e n d i z a j e , para las neuronas, describen como cada neurona deberá interpretar la información que le

(45)

llega de las demás neuronas conectadas a ella, de esta forma tomará como base tal interpretación y la distribuirá hacia

el resto de la red. Existen diferentes reglas de

aprendizaje basadas en factores numéricos, tales como la dependencia del estado previo de la neurona, limitantes

variables o estables y las funciones particulares utilizadas para sumar las señales de entrada.

V e l o c i d a d d e ReSgue,qta

Muchos procesos cognitivos toman a l o s humanos no más de unos cuantos mili segundos, mientras que las neuronas

individuales en el cerebro humano realizan operaciones, en promedio, de forma tan lenta como una computadora digital procesa una sola instrucción. El cerebro realiza su proeza de procesamiento a través del paralelismo masivo, usando

diez millones de neuronas y más de mil veces varias interconexiones.

De manera que lo que importa de este asunto para una Red Neuronal es el número de interconexiones que pueden s e r

procesadas por segundo.

El modo de aprendizaje es siempre más lento que el modo operacional, ya que el trabajo agregado para ajustar l o s

pesos es una parte necesaria de cada ciclo de aprendizaje.

Consecuentemente, algunas implementaciones listarán dos velocidades.

1.- Velocidad del modo aprendizaje.

(46)

2.- Velocidad del modo operacional.

La terminología sugerida para la categoría de velocidad

incluye :

- CUPS (Connections Updates Per Second) Unidades que miden la Actualización de Conexiones por Segundo.

- I P S (Interconnections Per Second) Unidades en las que

se reportan las Interconexiones Por Segundo. Cabe hacer notar que el paralelismo masivo es el responsable de la velocidad.

Adawtabilidad

Esta propiedad de las Redes Neuronales se define como la habilidad que tiene la Red Neuronal, en su conjunto, de

poder ajustarse a las diferentes circunstancias que se le presenten.

Existen cuatro aspectos del proceso de adaptabilidad.

1.- Aprendizaje a nivel neurona.

Este ocurre cuando l o s pesos de las conexiones son

ajustados.

2.- Auto Organización o Adaptación.

Este aspecto se refiere a la modificación de varias neuronas simultáneamente. En las sesiones de entrenamiento las reglas de aprendizaje trabajan como modificaciones que toman lugar a través de toda la red. Esto es como si la red siguiera su propia heurística conforme las iteraciones se realizan. La red converge o cae en una respuesta estable.

(47)

3 . - Generalización.

Esta es la habilidad que tiene la red de responder a patrones desconocidos o nuevos.

4 . - Entrenamiento.

-

Es la manera en que la Red Neuronal aprende.

Después de haber analizado las propiedades de las Redes Neuronales podemos afirmar, que todas las Redes Neuronales

poseen las siguientes características generales:

A . - Cada elemento que compone las capas de una Red

Neuronal actúa independientemente de l o s otros elementos. B. - Los elementos sólo procesan la información que les llega de las neuronas con las que tienen conexiones.

C.- Un gran número de conexiones provee una gran

cantidad de redundancia y facilita una representación distribuida.

Las dos primeras características permiten a la Red Neuronal funcionar en paralelo eficientemente. La tercer característica provee a las Redes Neuronales con las

inherentes cualidades de tolerancia al error y generalización.

En resumen, dado un número límite de conexiones(tamaño)

entre un conjunto de neuronas, una forma de auto

organización toma lugar (Integridad de señales) y de esta organización colectiva emergen propiedades (Integridad de procesamiento y velocidad) tales como la asociación,

(48)

generalización, diferenciación, optimización y tolerancia al

error. El uso de estas propiedades alberga la promesa de

desarrollar soluciones para problemas que poseen algoritmos

intratables, desconocidos o en su defecto requieren un tiempo extremadamente largo para otorgar una solución

satisfactoria.

(49)

CAPÍTULO 4

COMPONENTES BÁSICOS DE UNA RED NEURONAL

Esencialmente los modelos de Redes Neuronales consisten de elementos de procesamiento, topologías de interconexión y esquemas de aprendizaje y evoca miento.

En esta sección se analizará básicamente la

Neurodinámica de la Red Neuronal que comprende las funciones y componentes de un elemento de procesamiento y su relación con los conceptos de topología, esquemas de aprendizaje y

esquemas de evoca miento.

En general los elementos de procesamiento contienen

combinaciones de pesos excitatorios (positivos) o inhibitorios (negativos) que actúan sobre las entradas en

una función sumatoria de una función de activación (umbral) basada en las entradas que reciben l o s elementos de

procesamiento y en una función de salida que es sigmoidea

(50)

Entsadas

1

Figura 8. Modelo conceptual de neurona artificial

Una neurona recibe muchas señales de entrada (niveles de estimulación) simultáneamente. La neurona se activará y

enviará un impulso como respuesta o no hará ninguna de estas cosas dependiendo de si sobrepasa un cierto umbral crítico o no. Figura 8.

Cuando a una entrada se le refuerza la conexión con algún valor predeterminado a este valor se le conoce como

peso. De esta forma la cantidad que reciba la neurona como

entrada tendrá la forma: i-esima entrada = i-esimo impulso

recibido X peso.

(51)

Figura 9. Neurona artificial con Pesos

Se suman los valores de las entradas y si la suma sobrepasa el umbral critico (Función de Transferencia) se activará en caso contrario no lo hará. Figura 9 y 10.

Fntradae

1

,

-- Salidas - S u m a do entradas peso.

n Nivales d o Eetknulacibn

-

Etrtrdae

Pwrza Sitlaption

-

Poeoe

<m.morialocal almacena c a l c u l o e prmvioe. modiflca pesoe)

Impuleoe Neuronalee -Salidas

< F u n c i h Traruferida dotsnaina lam malidam)

Figura 10. Funcionamiento de una Neurona artificial Las funciones de transferencia o de umbral critico son, generalmente, funciones no lineales

y

pueden ser

escalonadas, de rampa o sigmoideas. Figura 11.

(52)

El

x+ y' 1/(1 + e-X>

Yf

m

x>o,y= X<O*y"l+l/(l-x) 1-11(1+1)

Figura 11. Funciones de Transferencia

Las funciones de transferencia se utilizan como criterio

para establecer el umbral critico. Cuando el resultado de

la suma de las entradas es cero y se requiere que la salida de la neurona sea binaria (0,1) o polar (-1,l)

,

se utilizan las funciones escalonadas. Si queremos que la salida se de en algdn rango utilizamos la función de rampa. Las

funciones sigmoideas son aquellas que se aproximan a sus

valores máximos y mínimos donde estos son asintotas de la

misma función. La característica que hace que estas

funciones sean las más utilizadas es que estas son continuas

así como también lo son sus derivadas.

(53)

Supongamos ahora que juntamos varios elementos de

procesamiento y formamos una capa (Ver figura 12)

.

De este modo ahora las entradas serian reforzadas con diferentes

pesos dependiendo del nodo al que se dirigiesen y originarían una serie de respuestas; una por cada nodo. Las

conexiones corresponden a los axones y sinapsis de su contraparte biológica y proveen un camino entre los nodos para que se transmitan señales.

I

Salida 1

Salida

.Salida,

I

W

Las eniradas pueden ser conectadas a v a r i o s nodos con distintos pesos

Figura 12. Capa de una Red Neuronal

Ahora pensaremos en interconectar varias capas, y de ., !, '-; ..,

este modo la capa que recibe las señales de entrada se

. . - ,

s. , conocerá como capa de e n t r a d a . La capa que genera los $:!, valores de salida de la red se le denomina capa de s a l i d a o

capa f i n a l . Por último a las capas que quedan en medio y .'. que no tienen contacto con el exterior se les denomina capas

' . iiL , .' + , I

(54)

intermedias o escondidas. Al tipo de Redes Neuronales organizadas de esta manera se les conoce como redes

jerárquicas(ver figura 13). Al agregar más capas se permite que el sistema forme una representación interna del

Ca ade Capas Intermedias Capa de Salida Engada

Figura 13. Red Jerárquica

Hoy en día, las redes jerárquicas multicapas son más poderosas, porque pueden generar sus propias

representaciones internas en las llamadas capas intermedias. Si el número de elementos de procesamiento en la capa

media es muy grande, replicara los elementos de la capa de entrada causando problemas similares a aquellos encontrados en las redes de una sola capa.

Si el número de nodos en la capa media es muy pequeño, la red necesitará más iteraciones para entrenar y disminuirá

la capacidad de recordar.

(55)

Así, la forma en que se organiza una Red Neuronal en capas y al como esas capas están conectadas se

le

conoce como T o p o l o g i a .

-~

A las reglas que especifican un conjunto inicial de

pesos e indican como se adaptarán los pesos en el transcurso de su uso para mejorar

el

desempeño de la red se les conoce como esquemas d e a p r e n d i z a j e o r e g l a s d e a p r e n d i z a j e . En resumen podemos decir que los esquemas de aprendizaje son los que establecen la interacción y la interrelación de las neuronas y sus conexiones para almacenar información o

extraerla de la red.

(56)

CAPÍTULJO 5

TOPOLOGÍA DE UNA RED NEURONAL

Al arreglo de los elementos de procesamiento, conexiones y patrones en una Red Neuronal se le conoce como Topología.

De esta forma, una topología como parte de la

inicialización de la Red Neuronal, comprende una variedad de criterios que son usados para definir interconexiones

específicas y determinar su arquitectura característica. Es

decir una topología maneja dos aspectos fundamentales de las Redes Neuronales como son su arquitectura y la neurodinámica

utilizada.

Para comprender mejor los parámetros que se analizan

en

una topología se procederá a explicación de aspectos de terminología que se emplea.

-

Las Redes Neuronales están organizadas en capas de

elementos de procesamiento. Dentro de cada capa los elementos de procesamiento son similares en dos aspectos:

a.- Las conexiones que llegan a los elementos de

procesamiento, de una capa provienen de la misma fuente. b.- Los elementos de procesamiento en cada capa utilizan el mismo tipo de dinámica de actualización.

(57)

a. - Conexiones entre elementos de la capa (Intralayer)

.

En donde elementos de procesamiento de la misma capa tienen conexiones entre si.

b.- Conexiones entre capas (Interlayer). Son conexiones entre nodos de capas diferentes.

Es posible que las Redes Neuronales uno o ambos tipos de conexión.

-

Una Red Neuronal Feedforward es aquella que posee

conexiones que llevan información en una dirección solamente, sin que exista la posibilidad de

retroalimentarse.

-

Una Red Neuronal Feedback es aquella que tiene forma

de retroalimentarse. En donde retroalimentación se define como cualquier camino (o conexión) a través de la red que pudiera permitir que un nodo fuera estimulado (visitado) mds de una vez en el mismo ciclo.

Para determinar el paralelismo de una red verificamos el tipo de conexión y el grado de interconexión es decir si se encuentran total o parcialmente conectados.

Para determinar la entrenabilidad de una red verificamos si esta es Feedback o Feedforward, ya que la naturaleza de

su ciclo de retroalimentación determina la entrenabilidad.

(58)

CAP Í TULO 6

FUNCIONAMIENTO DE UNA RED NEURONAL

Esta sección tratará aspectos del funcionamiento de las Redes Neuronales, tales como, su modo de operación y las tareas características que se tratan de imitar utilizando

las propiedades .que adquieren mediante su forma de operar. Para construir o simular una Red Neuronal artificial se

necesitan procesadores, conexiones y un método de aprendizaje. El procesador es un sumador de señales de

entrada más un elemento no lineal que produce, con base en esa entrada, una señal de salida. Las conexiones de una

neurona a otra u otras, son transmisiones variables con un valor asignado, a la manera de un resistor que tiene una

(59)

8

t t Calculados vs. Salidas Correctas

Capa de salida

Capa Oculta

&

\

una conexion

O

Capa intermedia

Capa de Entrada

a

+ una neurona

t

El flujode

sinaptica

t t t datos e s de

Los datos del conjunto de valores de prueba se abajo hacia

proporclonan uno a uno. anib a.

f f C E m H f l W T 0 DE UABP NE%#W## DE #PlQW L T f f

t

L a s a l i d a se d i r i g e a cada una de las neuronas

- m u l t i p l i c a c a d a e n t r a d a p o r e l peso de la c o n e x i o n . - R e a l i z a l a suma de t o d o s esos p r o d u c t o s .

-Pasa. l a suma a l a f u n c i o n P.

-Enuxa e l r e s u s l t a d o d e P a cada neurona de la c a p a de la capa de s a l i d a .

s u p e r i o r i n m e d i a t a .

Figura 14. Funcionamiento de una Red Neuronal

No importa cual sea su diseño una Red.Neurona1 tiene que ser entrenada. El objetivo del entrenamiento es

proporcionarle a la red un conjunto de pesos que le permitan clasificar nuevos patrones adecuadamente.

Una Red Neuronal puede visualizarse como un grafo

dirigido, constituido por un número de nodos o elementos de

procesamiento donde cada uno de estos nodos tiene solamente una señal de salida, la cual transmite para conectarse con

otros nodos. Cada nodo procesa la señal que le llega

basándose en los valores de las constantes almacenadas en ellos. Este proceso se efectúa cuando el elemento de

Figure

Figura  3 .   Sinapsis

Figura 3 .

Sinapsis p.29
Figura  4.  Proceso  Sináptico

Figura 4.

Proceso Sináptico p.29
Figura  5.  Conexión

Figura 5.

Conexión p.30
Figura  6 .   Sinapsis  Excitatoria

Figura 6 .

Sinapsis Excitatoria p.31
Figura  7.  implementación  de  Neurona  artificial  en  hardware

Figura 7.

implementación de Neurona artificial en hardware p.37
Figura  8.  Modelo  conceptual  de  neurona  artificial

Figura 8.

Modelo conceptual de neurona artificial p.50
Figura  9.  Neurona  artificial  con  Pesos

Figura 9.

Neurona artificial con Pesos p.51
Figura  11.  Funciones  de  Transferencia

Figura 11.

Funciones de Transferencia p.52
Figura  12.  Capa  de  una  Red  Neuronal

Figura 12.

Capa de una Red Neuronal p.53
Figura  13.  Red  Jerárquica

Figura 13.

Red Jerárquica p.54
Figura  14.  Funcionamiento  de  una  Red  Neuronal

Figura 14.

Funcionamiento de una Red Neuronal p.59
Figura  15.  Modelo  Matemático  operacional  de  una  Red  Neuronal

Figura 15.

Modelo Matemático operacional de una Red Neuronal p.82
Figura  16.  Sinapsis  Aferente  Modificable

Figura 16.

Sinapsis Aferente Modificable p.99
Figura  17.  Sinapsis  de  Brindley

Figura 17.

Sinapsis de Brindley p.100
Figura  18.  Sinapsis  Hebbianas

Figura 18.

Sinapsis Hebbianas p.102
Figura  19.  Hipótesis  Básica  de  COGNITRON

Figura 19.

Hipótesis Básica de COGNITRON p.103
Figura  20.  Áreas  Conectables

Figura 20.

Áreas Conectables p.110
Figura  21.  Arquitectura  de COGNITRON

Figura 21.

Arquitectura de COGNITRON p.112
figura  muestra  la  arquitectura  general  de  Transputer.

figura muestra

la arquitectura general de Transputer. p.131

Referencias

Actualización...