The sensitivity of machine learning techniques to variations in sample size : a comparative analysis

Abstract

A comparative analysis of the performance of some well-known classification techniques (Discriminant Analysis, Quinlan’s See5, and Neural Networks) and certain machine learning systems of recent development (ARNI, FAN and SVM) is conducted. The chosen classification task is the forecasting of the level of efficiency of Spanish commercial and industrial companies. Assignment of the firms is made upon the basis of a set of financial ratios, which make a high dimension feature space with low separability degree. In the present research the effects on the accuracy of variations of each technique in the estimation sample size are measured. The main results suggest that ARNI and See5 yield the best results, even with small sample sizes.

Se realiza un análisis comparativo de la ejecución de algunas técnicas conocidas de clasificación (Análisis discriminatorio, el See5 de Quinlan, y Redes Neuronales) y ciertos programas de aprendizaje mecánicos que se desarrollaron hace poco (ARNI, FAN, SVM). La tarea de clasificación elegida es el análisis del nivel de eficacia de las compañías comerciales e industriales españolas. La asignación de estas firmas está basada en una serie de ratios financieros, que crean una herramienta de altas dimensiones con un grado de separación mínimo. En el siguiente análisis se miden los efectos de la precisión de las variaciones con cada técnica, usando como estimación el mismo tamaño de muestra. Los resultados principales sugieren que ARNI y See5 proporcionan los mejores resultados, incluso con muestras pequeñas.