Comparativa métodos de selección de variables

Abstract

La correcta selección de variables es esencial en la construcción de modelos estadísticos, especialmente en contextos de alta dimensionalidad. Este trabajo analiza y compara el rendimiento de seis métodos de selección de variables: regresiones a pasos (en sus variantes), Bootstrap aplicado a la regresión a pasos, Lasso, Elastic Net, Random Forest y Boruta. Para ello, se han diseñado distintitos escenarios (simétricos y asimétricos) y en cada uno de estos, dos escenarios donde en uno no había variables relevantes y en el otro el 50% eran relevantes, generando datos sintéticos artificiales donde se conoce de antemano la relevancia de las variables. Se realizaron un total de 100 simulaciones por escenario, aplicando los métodos y evaluando su eficacia mediante métricas como sensibilidad, especificidad, valor predictivo positivo, valor predictivo negativo y accuracy. Entre los principales resultados, destaca que métodos como Elastic Net y Bootstrap presentan un buen equilibro entre sensibilidad y especificidad cuando la respuesta es simétrica, llegando a valores de 1 y 0.89 en el caso de Elastic Net y de 0.97 y 1 en el caso de Bootstrap. Otras, mientras que técnicas como Boruta, sobresalen por su baja tasa de falsos positivos, no llegando a superar el 3.5% en ninguna de las alternativas usadas de este algoritmo, independientemente de si la respuesta es simétrica o asimétrica. Se concluye que no existe un método universalmente superior, ya que el rendimiento varía según la distribución de la variable respuesta y la magnitud de los efectos.