Diseño de redes neuronales con programación entera y metaheurísticas

Abstract

En el campo del aprendizaje automático se encuentran las denominadas redes neuronales artificiales, las cuales se emplean en el aprendizaje profundo para realizar tareas de clasificación o regresión, generando predicciones a partir de una entrada dada. Para su implementación se definen sus hiperparámetros que incluye, entre otros aspectos, el número de neuronas, el número de capas y las conexiones entre ellas. Posteriormente, se optimizan los pesos que modelan la importancia de cada conexión entre neuronas, así como los umbrales asociados a cada una, los cuales determinan la facilidad con la que una neurona se activa. El objetivo de este proceso es minimizar el error entre la predicción obtenida y la salida deseada sobre un conjunto de datos. A este procedimiento se le denomina entrenamiento, y las redes ya entrenadas se emplean posteriormente para realizar predicciones sobre datos que no forman parte del conjunto de entrenamiento. En este trabajo se presentan dos metaheurísticas que reducen el número de hiperparámetros de una red neuronal artificial manteniendo un buen rendimiento. Una metaheurística consiste en un algoritmo genético, su objetivo es reducir el número de conexiones entre capas. La otra metaheurística consiste en un algoritmo glotón, y su objetivo es quitar neuronas o capas con sus respectivas conexiones distribuyendo sus pesos en las neuronas restantes. Además de las metaheurísticas, en este trabajo se aborda el problema del entrenamiento de una red neuronal utilizando técnicas de programación lineal entera. Para probar estas técnicas se entrenaron dos redes neuronales una de clasificación de cáncer de mama y otra de predicción de avance académico de alumnos de la UAM Azcapotzalco.