Metodología para la comparación de algoritmos de aprendizaje automático. Caso de estudio: clasificación de eventos académicos

Abstract

En este trabajo de investigación se presenta una metodología para la comparación de algoritmos de aprendizaje automático que consta de cuatro etapas: Recopilación e integración del conjunto de datos de entrada; Procesamiento y transformación de los datos al modelo espacio vectorial; Selección e implementación de los algoritmos de aprendizaje automático; Evaluación y comparación de los resultados obtenidos; Se comparan cuatro algoritmos de aprendizaje supervisado: Narve Bayes, k-vecinos más cercanos, C4.5 y Máquinas de soporte vectorial. La metodología que se propone en este trabajo de investigación considera como caso de estudio a la clasificación de eventos académicos. Se tienen cuatro categorías distintas: eventos de difusión, cursos académicos y de actualización, asesorías académicas a alumnos y eventos ambientales. Los eventos se obtienen a partir de la lectura de sensores que mantienen el registro de los eventos en bitácoras. Estos eventos se caracterizan y se procesan para ser utilizados por los clasificadores. Se tienen tres tipos de características de un evento, que son: características nominales, textuales y numéricas. Dada la naturaleza de los algoritmos empleados en este trabajo de investigación, se requiere de una etapa de entrenamiento, que, a partir de un conjunto de 362 eventos académicos, se eligen aleatoriamente un 70% de ellos para el entrenamiento de los algoritmos y un 30% restante para las pruebas. Se consideraron 24 experimentos durante la etapa de pruebas en las que se analizan y se comparan los resultados obtenidos por los clasificadores. Las medidas de evaluación que se utilizan para elegir al mejor algoritmo de aprendizaje automático son la precisión y cobertura y la medida F1, sin embargo, el criterio de selección es la medida F1 ya que es un promedio de la precisión y la cobertura. De los resultados obtenidos en la experimentación, se puede observar que C4.5 es el algoritmo con mejores resultados de clasificación de eventos; gracias a que es un algoritmo basado en árboles de decisión y las bondades que ofrece al trabajar con características combinadas.

This research paper presents a methodology for comparing machine learning algorithms that consists o/ 'four stages: a) Collection and integration of the input data seto; b) Processing and transformation o/ data to the vector space model; e) Selection and implementation o/ machine learning algorithms; d) Evaluation and comparison o/ the results obtained. Four supervised learning algorithms are compared: Natve Bayes, nearest k-neighbors, C4.5 and Vector Support Machines (VSM). The methodology proposed in this research paper considers the classification o/ academic events as a case study. There are four different categories: dissemination events, academic and refresher courses, academic advice to students and environmental events. The events are obtained from the reading o/ sensors that keep the log o/ the events in logbooks. These events are characterized and processed to be used by the classifiers. There are three types o/ characteristics o/ an event, which are: nominal, textual and numericalcharacteristics. Given the nature o/ the algorithms used in this research work, a training stage is required, which, from a set 0/362 academic events, 70% o/ them are randomly chosen for the training of the algorithms and 30 % remaining for tests. 24 experiments were considered during the test stage in which the results obtained by the classifiers are analyzed and compared. The evaluation measures that are used to choose the best machine learning algorithm are precision and coverage and the F 1 measurement, however, the selection criterion is the F 1measurement since it is an average o/ the accuracyand coverage. From the results obtained in the experimentaiion, it can be seen that C4.5 is the algorithm with the best event classification results; because it is an algorithm based on decision tres and the benefits it offers when working with combined characteristics.