Evaluación de interpretabilidad en clasificadores: Métodos y herramientas

En la Odisea Algorítmica, los modelos de clasificación avanzados como Random Forest, SVM o redes neuronales profundas son cajas negras que toman decisiones con alta precisión. Sin embargo, en contextos regulatorios (aprobación de créditos, diagnósticos médicos, procesos legales) la transparencia es un requisito crítico. Esta lección profundiza en técnicas de interpretabilidad que permiten extraer explicaciones comprensibles de cualquier clasificador, balanceando la potencia predictiva con la simplicidad interpretativa.

Importancia de características: Permutación vs. Gini

La importancia de características mide cuánto contribuye cada variable de entrada a las predicciones del modelo. Dos enfoques dominan en la práctica:

• Importancia por permutación: Evalúa el incremento en el error del modelo cuando se permuta aleatoriamente una característica. Es independiente del modelo y funciona con cualquier clasificador (Random Forest, SVM, XGBoost).
• Importancia Gini (disminución de impureza): Propia de modelos basados en árboles (Random Forest). Mide cuánto reduce cada característica la impureza de nodos (Gini index). Es más rápida de calcular pero está sesgada hacia variables con muchos valores.

Ejemplo comparativo: En un clasificador de riesgo crediticio usando Random Forest, la característica "ingresos mensuales" podría tener alta importancia en ambos métodos, mientras que "número de dependientes" solo destaca en permutación si realmente afecta al error.

Árboles de decisión como modelo sustituto (Surrogate Model)

Un modelo sustituto (surrogate model) es un modelo interpretable (generalmente un árbol de decisión pequeño) entrenado para aproximar las predicciones de un modelo de caja negra. La idea es reemplazar la complejidad por simplicidad: en lugar de analizar las miles de reglas de un Random Forest, se entrena un árbol de profundidad 3 que imite sus salidas.

Proceso paso a paso:

1. Generar un conjunto de datos sintético (o usar el original) y obtener predicciones del modelo complejo.
2. Entrenar un árbol de decisión poco profundo (max_depth=3) usando esas predicciones como variable objetivo.
3. Interpretar las reglas del árbol (ejemplo: "si ingreso > $5000 y deuda < 30%, entonces aprobado").
4. Medir la fidelidad (R² o accuracy) del sustituto respecto al modelo original.

Ejemplo aplicado (en Python con scikit-learn):

from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import make_classification

X, y = make_classification(n_features=5, random_state=42)
rf = RandomForestClassifier().fit(X, y)
y_pred_rf = rf.predict(X)

surrogate = DecisionTreeClassifier(max_depth=3).fit(X, y_pred_rf)
# Ahora puede visualizar las reglas del árbol sustituto con tree.export_text()

Análisis de dependencia parcial (PDP)

Los gráficos de dependencia parcial (Partial Dependence Plots, PDP) muestran cómo cambia la predicción promedio del modelo al variar una o dos características, manteniendo constantes las demás. Son útiles para identificar relaciones no lineales y umbrales de decisión.

• PDP univariado: Evalúa el efecto marginal de una variable (ej: "temperatura" en predicción de falla mecánica).
• PDP bivariado: Muestra interacciones entre dos variables (ej: interacción edad-índice de masa corporal en diagnóstico de diabetes).
• Limitación: Asume independencia entre características; puede ser engañoso si hay correlaciones fuertes.

Herramientas: La librería sklearn.inspection ofrece partial_dependence() y PartialDependenceDisplay. También se puede usar PDPbox para gráficos más pulidos.

Aplicación a modelos de caja negra: Random Forest y SVM

Para extraer explicaciones de modelos complejos se combinan las técnicas anteriores:

Balance entre precisión del modelo y simplicidad interpretativa en flujos regulatorios

En aplicaciones regulatorias (ej: flujos de aprobación bancaria, diagnósticos clínicos), existe una tensión intrínseca: los modelos más precisos (redes profundas, ensembles) son opacos, mientras que los modelos simples (regresión logística, árboles pequeños) son fáciles de explicar pero menos exactos.

Estrategias para gestionar este trade-off:

• Selección del modelo con restricción: Elegir el modelo más interpretable que cumpla un umbral mínimo de precisión (AUC > 0.85) exigido por el regulador.
• Post-hoc explicability: Usar modelos complejos (Random Forest con 100 árboles) y luego aplicar sustitutos y PDP para generar reportes auditables.
• Jerarquía de explicaciones: Para un flujo de aprobación: el regulador revisa un árbol sustituto (simplicidad), mientras que el científico de datos usa el modelo completo (precisión) para validación interna.
• Documentación obligatoria: Registrar la fidelidad del sustituto y las métricas de interpretabilidad (ej: "El árbol sustituto replica el 93% de las decisiones del RF original").

En la práctica regulatoria (como la directiva GDPR en Europa o las normas de la FICO en EE.UU.), el derecho a una explicación exige que se pueda responder "¿por qué se denegó este crédito?". La combinación de importancia de características, modelos sustitutos y PDP proporciona un marco robusto para cumplir con esos requisitos sin sacrificar la potencia analítica.

Lección completa de Odisea Algorítmica. Para una comprensión más profunda, se recomienda experimentar con las herramientas en un notebook interactivo (sklearn, interpretml, shap) sobre un dataset clasificatorio real.