🧠 Estrategias de Preprocesamiento y Selección de Características para Ensambles

Odisea Algorítmica · De la Regresión al Aprendizaje Profundo

En los modelos de ensamble (Bagging, Boosting, Stacking, Random Forest, XGBoost, etc.), la calidad del preprocesamiento y la selección de características no solo afecta el rendimiento, sino que determina la capacidad de generalización y la robustez del conjunto. A continuación se presentan las técnicas fundamentales para preparar datos que alimentarán a estos meta-algoritmos, con énfasis en cómo cada decisión impacta en los resultados sobre los casos de estudio.

1. Manejo de Datos Faltantes en Ensambles

# Imputación básica con mediana para Random Forest
from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='median')
X_train_imp = imputer.fit_transform(X_train)

2. Normalización y Estandarización: ¿Cuándo es necesaria?

A diferencia de los árboles de decisión (que son invariantes a escala), los ensambles que utilizan componentes lineales (como Stacking con regresores logísticos, o redes en capas de Deep Learning) sí requieren normalización. Incluso en modelos tree-based, la estandarización puede mejorar la convergencia si se usan técnicas de optimización basadas en gradiente (como en XGBoost/LightGBM con histogramas).

3. Codificación de Variables Categóricas

Los modelos de ensamble basados en árboles pueden trabajar con variables categóricas sin codificación (CatBoost lo hace nativamente). Sin embargo, la codificación adecuada reduce la dimensionalidad y evita falsas ordinalidades.

4. Selección de Características basada en Importancia de Árboles

Una de las ventajas más potentes de los ensambles tree-based es que proporcionan la importancia de características de forma nativa (Gini importance, permutation importance, gain). Esto permite realizar selección de features directamente desde el modelo.

• Importancia por impurity (Gini): Rápida, pero sesgada hacia variables numéricas con alta cardinalidad. Aun así, útil para filtrar ruido.
• Permutation Importance: Robusta y basada en rendimiento. Mide la caída en score al permutar cada feature. Recomendada para ensambles finales.
• SHAP values: Explicabilidad granular. Aunque costoso computacionalmente, permite seleccionar características con impacto consistente en múltiples particiones del ensamble.

Estrategia práctica: Entrenar un Random Forest con todos los features, extraer feature_importances_, y quedarse con las que sumen el 90% de la importancia acumulada. Luego validar con validación cruzada.

from sklearn.ensemble import RandomForestClassifier
rf = RandomForestClassifier()
rf.fit(X_train, y_train)
importancias = rf.feature_importances_
# Seleccionar features con importancia > percentil 25
umbral = np.percentile(importancias, 25)
features_seleccionadas = X_train.columns[importancias > umbral]

5. Selección basada en Correlación y Redundancia

Los ensambles pueden sufrir por multicolinealidad si se incluyen features altamente correlacionados. Aunque los árboles no colapsan, la redundancia puede dividir la importancia y generar ruido en las predicciones.

6. Impacto del Preprocesamiento en Casos de Estudio

A continuación se resumen los efectos medidos en los tres escenarios principales del curso:

7. Buena Práctica: Pipeline de Preprocesamiento Unificado

Para garantizar reproducibilidad y evitar fuga de datos, se recomienda construir un pipeline que integre todas las transformaciones antes de alimentar al ensamble:

from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.ensemble import RandomForestRegressor

preprocessor = ColumnTransformer(
    transformers=[
        ('num', StandardScaler(), numeric_features),
        ('cat', OneHotEncoder(drop='first'), categorical_features)
    ])

pipeline = Pipeline(steps=[
    ('preprocessor', preprocessor),
    ('regressor', RandomForestRegressor())
])
pipeline.fit(X_train, y_train)

Nota: Este enfoque se utilizó en el caso de estudio de regresión, logrando un modelo mantenible y con mejor capacidad de generalización que la versión sin preprocesamiento.

Conclusión

Las estrategias de preprocesamiento y selección de características constituyen la base sobre la cual los ensambles despliegan su poder predictivo. El manejo cuidadoso de datos faltantes, la codificación adecuada de categóricas y la eliminación de redundancias permiten que algoritmos como Random Forest, XGBoost o Stacking alcancen su máximo rendimiento. En la práctica, la combinación de importancia de árboles con filtros de correlación ofrece el mejor balance entre precisión e interpretabilidad.

Próximo paso: Aplicar estas técnicas en el laboratorio práctico con el dataset de crédito bancario, midiendo cómo cambian las métricas de un ensamble baseline frente a uno optimizado con preprocesamiento.