El elástico de bota del que agrega (empaquetamiento ) es un Meta-algoritmo para mejorar modelos de la clasificación y de regresión en términos de exactitud de la estabilidad y de la clasificación. El empaquetamiento también reduce la variación y ayuda a evitar el Overfitting . Aunque este método se aplique generalmente a los modelos del árbol de decisión, puede ser utilizado con cualquier tipo de modelo. El empaquetamiento es un caso especial del acercamiento que hace un promedio modelo .

Dado un entrenamiento estándar el determinado D de del N del tamaño, generamos el L nuevos sistemas $D\_i$ del entrenamiento de también del del tamaño N (N < N) por ejemplos de muestreo uniformemente del D, y con el reemplazo. Por el muestreo con el reemplazo es probable que algunos ejemplos sean repetidos adentro cada $D\_i$. Si el $N\text{'}=\; N$, entonces para $N$ grande el sistema $D\_i$ esperaba tener 63.2% de los ejemplos del D, el resto que es duplica. Esta clase de muestra se conoce como muestra del elástico de bota. El L modelos de se cabe usar el antedicho L muestras del elástico de bota de y es combinado haciendo un promedio de la salida (en caso de la regresión) o votando (en caso de la clasificación). Un punto interesante particular sobre el empaquetamiento es que, desde el método hace un promedio de varios calculadores, él no es útil para mejorar modelos lineares.

Ejemplo: Datos del ozono

Rousseeuw y Leroy (1986) describen un conjunto de datos referente a niveles del ozono. Los datos están disponibles vía la página clásica de los conjuntos de datos . Todos los cómputos fueron realizados en el R .

Un diagrama de la dispersión revela una relación al parecer no linear entre la temperatura y el ozono. Una forma para modelar la relación es utilizar un pulidor del loess . Tal pulidor requiere que un parámetro del palmo esté elegido. En este ejemplo, un palmo de 0.

Cientos muestras del elástico de bota de los datos fueron recogidas, y el pulidor del LOESS fue cabido a cada muestra. Las predicciones de estos 100 pulidores entonces fueron hechas a través de la gama de los datos. Los primeros 10 predijeron que los ajustes lisos aparecen como líneas grises en la figura abajo. Las líneas son claramente mismo el contoneante y ellas overfit los datos - un resultado del palmo que es demasiado bajo.

La línea roja en el diagrama abajo representa el medio de los 100 pulidores. Claramente, el medio es más estable y hay menos overfit . Éste es el calculador empaquetado.

Historia

El empaquetamiento (ing regat del agg del ootstrap del B ) fue propuesto por el Leo Breiman en 1994 para mejorar la clasificación combinando clasificaciones de los sistemas aleatoriamente generados del entrenamiento.