7. Solución propuesta
7.4. Evaluación del proceso evolutivo
7.4.1. El set de datos
Para probar la forma de encontrar una topología óptima de red neuronal se requerirá un set de entrenamiento para llevar a cabo la experimentación. Este set de entrenamiento deberá contar con un buen número de ejemplos, ya que la idea es entrenar a una red neu- ronal sobre estos ejemplos, y entonces ver si esa red neuronal es capaz de clasificar cual- quier otro ejemplo presentado.
7.4.2. Evaluación de la performance del algoritmo híbrido AG/RN
Los resultados de la experimentación se pueden dividir en tres partes: (1) Evolucionar las topologías usando el algoritmo híbrido. Para determinar si estas nuevas topologías son realmente buenas en el dominio específico empleado se requerirá: (2) Ver cómo estas redes neuronales se entrenan sobre datos adicionales y (3) Ver cómo pueden clasificar un tercer set de datos una vez que fueron entrenadas sobre los datos anteriores (del punto 2).
Abel Fiszelew Solución propuesta 85
7.4.3. Evaluación de la performance del AG
En la mayoría de los problemas de optimización que usan AG’s, el objetivo es disminuir el costo de las soluciones, creando cada vez mejores soluciones tras cada generación su- cesiva. Como cada solución en este AG es una red neuronal, la función de costo represen- ta la habilidad de entrenamiento de cada red neuronal sobre un cierto set de datos. La función de costo es el error, o diferencia, entre las salidas deseadas y la salida de activa- ción real de la red neuronal, también conocida como aptitud estándar, promediado sobre todos los ejemplos de entrenamiento en el set de datos. La performance del AG se puede determinar mirando el costo de la red neuronal que mejor se desempeña en cada genera- ción y ver si el costo disminuye a medida que el AG progresa. Esto se visualiza mejor al graficar, para cada generación, el costo de la red neuronal con la mayor performance de su generación. Este método mostrará si el AG está o no produciendo topologías de red neuronal que pueden aprender mejor el set de entrenamiento. Sin embargo, el propósito de este trabajo es crear topologías de redes neuronales que sean específicas del dominio, es decir, topologías que trabajen bien para entrenar y clasificar un cierto tipo de datos. Para evaluar si una topología trabaja bien o no sobre un cierto tipo de datos, las redes neuronales que resulten del AG pueden ser testeadas individualmente en sus habilidades de aprender y clasificar datos que no fueron usados en el proceso AG/RN. Para lograr ésto, el set de datos completo se particiona en tres partes iguales, cada una con igual nú- mero de ejemplos. Una partición se puede usar en el proceso recién descripto, y los otros dos se dejan como datos nuevos con el propósito de demostrar la habilidad de una topo- logía de red neuronal para manipular datos del mismo dominio. La partición del set de entrenamiento (SE) utilizada en el proceso AG/RN será referenciada como SEAG/RN.
7.4.4. Evaluación de la performance de una red neuronal resultante
Las preguntas importantes que se deben responder para evaluar la performance de una topología de red neuronal resultante son:
• ¿Qué capacidad tiene una topología de red neuronal para aprender nuevos datos de entrenamiento?
• ¿Qué tan bien puede generalizar una red neuronal una vez que fue entrenada con los nuevos datos de entrenamiento?
Para verificar que una red neuronal, de hecho, tiene una buena topología específica al dominio, se testea su habilidad de aprendizaje de nuevos datos. Para hacerlo, la red neu- ronal se entrena con uno de los sets de datos distintos a SEAG/RN, que será llamado SEEntre- namiento. El entrenamiento de la red neuronal con SEEntrenamiento brinda un valor de cuán bien
se entrena la red. Adicionalmente, una tercer partición de datos, SETest, puede determinar
cuán bien puede generalizar la red entrenada una vez que aprendió el SEEntrenamiento.
Es una práctica común separar al set de datos de validación de una red neuronal en dos partes con el propósito de evaluar la habilidad de generalización [Russel y Norvig, 1995]. Para lograrlo, una red neuronal primero se entrena con un “set de entrenamiento”, y luego
trata de clasificar el “ set de testeo”. En este caso, el set de entrenamiento es el SEEntrena- miento, y el set de testeo será el tercer set de datos denominado SETest. La figura 7.5 lo
muestra gráficamente.
Para obtener mejores resultados, se utilizará en la experimentación una validación cru- zada. La validación cruzada significa que SEEntrenamiento y SETest se intercambian y cada
uno es utilizado para el propósito opuesto. Esto asegura que cualquier tendencia en los resultados son, de hecho, tendencias, y no sólo ciertas “casualidades” en los datos. Afor- tunadamente, si una red neuronal puede aprender un set de entrenamiento, puede también aprender otro set de la misma clase de datos. Los resultados de la habilidad de entrena- miento y la habilidad de generalización se darán entonces promediados para ambas orien- taciones de SEEntrenamiento y SETest.
Nota: La validación cruzada que se acaba de presentar no debe ser confundida con la va- lidación cruzada empleada por el método de entrenamiento con detención temprana del algoritmo back-propagation. En aquel caso la técnica se aplica a cada individuo de la po- blación para detener su entrenamiento durante el proceso AG/RN, mientras que aquí se aplica a las topologías resultantes de dicho proceso durante su evaluación.
SEAG/RN
Proceso AG/RN: Evolucionar redes neuronales que
aprenden bien
SEEntrenamiento
SETest
Evaluar cómo las redes neuronales aprenden nuevos
datos
Ver cómo las redes neuronales generalizan una vez que ya
han sido entrenadas
Figura 7.5 El set de datos se particiona en tres partes de igual tamaño de manera que las redes neuronales resultantes del AG puedan analizarse en sus habilidades para tratar con nuevos da- tos. Primero, se usa SEAG/RN en el paso del AG. Entonces, las redes neuronales resultantes del
AG se entrenan usando SEEntrenamiento. Finalmente, estas redes entrenadas clasifican a SETest
Abel Fiszelew Solución propuesta 87
7.4.5. Extensión de la validación cruzada
Para una evaluación más exhaustiva del algoritmo AG/RN, cada una de las tres particio- nes del set de datos completo tomará su turno como la partición inicial SEAG/RN, dejando
las otras dos para el proceso descripto previamente. Ya que ahora ninguna partición del set de datos tiene un propósito específico, será útil referirse a cada una como partición A,
Abel Fiszelew Experimentación 89