Los métodos de ensamble de modelos o métodos combinados intentan ayudar a mejorar el rendimiento de los modelos de Machine Learning al mejorar su precisión. Este es un proceso mediante el cual se construyen estratégicamente varios modelos de Machine Learning para resolver un problema particular.
Pero veamos esto con un ejemplo:
Supongamos que quieres invertir en una empresa, pero no estas seguro de su rendimiento por lo que buscas a varios expertos para te aconsejen si el precio de la acción aumentará en más de 6% anual. Estas fueron las respuestas de cada una de las personas consultada:
Empleado de la empresa: esta persona conoce la funcionalidad interna de la empresa y tiene información sobre la funcionalidad de la misma, pero carece de una perspectiva más amplia sobre cómo están innovando los competidores y cómo está evolucionando la tecnología. En el pasado, ha tenido razón 70% de veces.
Asesor financiero de la empresa: esta persona tiene una perspectiva más amplia sobre cómo la estrategia de las empresas será justa en este entorno competitivo, sin embargo, carece de una visión sobre cómo las políticas internas de la empresa se están ajustando. En el paso ha tenido razón un 75% de las veces.
Operador del mercado de valores: esta persona ha observado el precio de las acciones de la empresa en los últimos años y conoce las tendencias de estacionalidad y el rendimiento del mercado en general, pero también conoce que las acciones pueden variar con el tiempo. En el pasado ha tenido razón 70% de veces.
Empleado de un competidor: esta persona conoce la funcionalidad interna de las firmas competidoras y está consciente de ciertos cambios que aún no se han implementado, pero por otra parte carece de conocimiento sobre la empresa enfocada y de los factores externos que pueden relacionar el crecimiento del competidor. En el pasado, ha tenido razón el 60% de las veces.
Dado el amplio espectro de acceso que tiene, probablemente pueda combinar toda la información y tomar una decisión informada.
En una situación en la que todos los expertos verifican que es una buena decisión, obtendrá una tasa de precisión combinada de 99.92%.
El supuesto utilizado aquí de que todas las predicciones son completamente independientes es ligeramente extremo, ya que se espera que estén correlacionados. Sin embargo, puedes ver cómo podemos estar seguros combinando varios pronósticos juntos.
Bueno el aprendizaje de ensamblado de modelos no es diferente.
El ensamblado es el arte de combinar un conjunto de diversos de modelos para improvisar sobre la estabilidad y el poder predictivo del modelo. Los modelos pueden ser diferentes entre sí por una variedad de razones:
- Puede haber diferencia en la población de datos
- Puede haber una técnica de modelado diferente utilizada
- Puede haber una hipótesis diferente
Esta es la idea básica de un conjunto: combinar predicciones de varios modelos, promedia errores idiosincráticos y produce mejores predicciones generales. La siguiente imagen muestra un ejemplo de los esquemas de un conjunto:
Aquí, los datos se suministran a un conjunto de modelos, y luego se combinan las predicciones de los modelos.
Tipos de métodos de ensamble de modelos
Si bien existe varios tipos de métodos de ensamble de modelos, los tres siguientes son los más utilizados en la industria.
Agregación Bootstrap (Bootstrap AGGgragation) o BAGGing
El Bagging es una de las técnicas de construcción de conjuntos que también se conoce como Agregación Bootstrap. Dada una muestra de datos, se extraen varias muestras, bootstrapped. Esta selección se realiza de manera aleatoria, es decir, cada variable se puede elegir de la población original, de modo que cada variable es igualmente probable que se seleccione en cada iteración del proceso de arranque.
Una vez que forman las muestras boostrapped, se entrenan los modelos de manera separada. Toma en cuenta que las muestras booststrapped se extraen del conjunto de entrenamiento y los submodelos se prueba utilizando el conjunto de prueba. La predicción de salida final se combina en las proyecciones de todos los submodelos.
En la siguiente figura se explica mejor este método:
Boosting
Boosting es una forma de técnica de aprendizaje secuencial. El algoritmo funciona entrenando un modelo con todo el conjunto de entrenamiento, y los modelos posteriores se construyen ajustando los valores de error residual del modleo incial. De esta manera, Boosting intenta dar mayor peso a aquellas observaciones que el modelo anterior estimó pobremente. Una vez que se crea la secuencia de los modelos, las predicciones hechas por los modelos son ponderadas por sus puntuaciones de precisión y los resultados se combinan para crear una estimación final. Algunos de los modelos que normalmente se utilizan en la técnica de refuerzo son XGBoost y ADABoost.
¿Cuál es mejor, Bagging o Boosting?
No hay un ganador absoluto, depende de los datos, la simulación y las circunstancias. Ambos disminuyen la varianza de su estimación única, ya que combinan varias estimaciones de diferentes modelos, así que el resultado puede ser un modelo con mayor estabilidad.
Si el problema es que el modelo único obtiene un rendimiento muy bajo, Bagging rara vez obtendrá un mejor sesgo. Sin embargo, Boosting podría generar un modelo combinado con errores más bajos, ya que optimiza las ventajas y reduce las dificultades del modelo único.
Por el contrario, si la dificultad del modelo único se adapta en exceso, entonces la mejor opción es Bagging. Boosting por su parte no ayuda a evitar el exceso de ajuste, de hecho, esta técnica se enfrenta a este problema en sí, por esta razón, Bagging es efectivo más a menudo que Boosting.
En resumen, el objetivo de cualquier problema de Machine Learning es encontrar un modelo único que pueda predecir mejor nuestro resultado deseado. En lugar de hacer un modelo y esperar que este sea el mejor predictor que podamos hacer, los métodos de conjunto tienen en cuenta una gran cantidad de modelos y promedian esos modelos para producir un modelo final.
