Árboles de Decisión: Fundamentos y construcción para flujos de aprobación

Los árboles de decisión son pilares del aprendizaje supervisado: interpretables, flexibles y capaces de modelar relaciones no lineales. En esta lección diseccionamos sus fundamentos —desde el criterio de división hasta la poda— y los aplicamos a un flujo de aprobación de créditos, donde la transparencia es tan importante como la precisión.

🌳 1. Arquitectura de un árbol de decisión

Un árbol está compuesto por nodos de decisión (prueba sobre un atributo), ramas (resultados de la prueba) y hojas (etiqueta de clase o valor numérico). El objetivo es particionar el espacio de características en regiones homogéneas.

• Nodo raíz: mejor atributo según una métrica de impureza.
• Nodos internos: sub-particiones hasta alcanzar criterio de parada.
• Hojas: predicción final (mayoría de clase o media).

Algoritmos clásicos: ID3, C4.5, CART

En la práctica, CART es el más usado por su eficiencia y soporte para regresión. No obstante, C4.5 ofrece reglas más compactas.

📐 2. Criterios de división: entropía, Gini y error de clasificación

La calidad de un split se mide por la reducción de impureza. Estas son las tres métricas fundamentales para clasificación binaria:

El cálculo de ganancia (ID3): Ganancia = Impureza(padre) – Σ (│hijo│/│total│ × Impureza(hijo)). C4.5 normaliza dividiendo por la entropía del split.

✂️ 3. Poda: pre-poda, post-poda y el dilema sesgo-varianza

Árboles profundos sobreajustan (bajo sesgo, alta varianza). Árboles poco profundos subajustan (alto sesgo, baja varianza). La poda busca el punto óptimo.

🧩 4. Manejo de datos categóricos y numéricos

Atributos numéricos: ordenar valores, probar thresholds entre datos consecutivos. C4.5 y CART eligen el punto de corte que minimiza la impureza.

Atributos categóricos: en scikit-learn (CART) se requiere codificación (OneHot, Ordinal). C4.5 maneja directamente splits multi-ramas. Recomendación: para categorías con muchos niveles, considerar target encoding o agrupar categorías raras.

Ejemplo de búsqueda de threshold numérico

# Datos ordenados: edad (22, 25, 30, 35, 45, 50)
# puntos de corte: 23.5, 27.5, 32.5, 40, 47.5
# se evalúa Gini para cada candidato
mejor_corte = minimizar(impureza_hijos)
  

🏦 5. Aplicación práctica: árbol de decisión para aprobación de créditos

Imaginemos un banco que quiere autorizar préstamos con criterios claros. El árbol generado se traduce en reglas if-then auditables.

Reglas extraíbles (ejemplo):
SI ingresos ≥ 2500 Y score ≥ 680 → Aprobado (confianza 93%)
SI ingresos

Interpretabilidad: a diferencia de una red neuronal, cada decisión puede ser explicada al cliente o regulador. El árbol puede visualizarse con sklearn.tree.plot_tree o exportarse a texto.

⚖️ 6. Sesgo y varianza: árbol profundo vs. superficial

La profundidad controla el equilibrio. A continuación se muestra un análisis conceptual medido sobre un dataset de crédito simulado:

La poda (post-poda con α=0.02) en el árbol profundo reduce el error de prueba de 24% a 16%, acercándose al equilibrio.

🎯 7. Conclusión: claves para dominar árboles de decisión

• Elige el criterio de división: Gini por defecto, entropía si quieres más sensibilidad (casi siempre similar).
• Controla la complejidad: pre-poda con profundidad máxima y mín samples leaf; post-poda con cost-complexity y validación cruzada.
• Preprocesa con cuidado: escalado no es necesario, pero codifica categorías correctamente.
• Interpreta con reglas: extrae if-then para explicar decisiones a stakeholders.
• Visualiza siempre: un árbol bien diseñado se puede dibujar; si es demasiado grande, poda primero.

Siguiente paso: implementa un árbol con sklearn en tu dataset de crédito, evalúa la profundidad con cross-validation y extrae las reglas. La práctica consolidará estos fundamentos.