Introducci贸n a Bias y Varianza

En el mundo de Machine Learning, la precisi贸n lo es todo, cuando desarrollamos un modelo nos esforzamos para hacer que sea lo m谩s preciso, ajustando y ajustando los par谩metros, pero la realidad es que no se puede construir un modelos 100% preciso ya que nunca pueden estar libres de errores.

Comprender c贸mo las diferentes fuentes de error generan bias y varianza nos ayudara a mejorar el proceso de ajuste de datos, lo que resulta en modelos m谩s precisos, adicionalmente tambi茅n evitar谩 el error de sobreajuste y falta de ajuste.

Nota: en ocasiones encontraras la palabra bias como sesgo, as铆 es como se le llama en espa帽ol a este tipo de error.

El error de predicci贸n para cualquier algoritmo de Machine Learning se puede dividir en tres partes:

Bias y Varianza 1

  • Error de bias
  • Error de varianza
  • Error irreducible

El error irreducible no se puede reducir, independientemente de qu茅 algoritmo se usa. Tambi茅n se le conoce como ruido y, por lo general, proviene por factores como variables desconocidas que influyen en el mapeo de las variables de entrada a la variable de salida, un conjunto de caracter铆sticas incompleto o un problema mal enmarcado. Ac谩 es importante comprender que no importa cu谩n bueno hagamos nuestro modelo, nuestros datos tendr谩n cierta cantidad de ruido o un error irreductible que no se puede eliminar.

Sin embargo, los otros dos tipos de errores se pueden reducir porque se derivan de la elecci贸n del algoritmo, raz贸n por la cual en esta entrada nos enfocaremos en ambos.

Error de bias

Es la diferencia entre la predicci贸n esperada de nuestro modelo y los valores verdaderos. Aunque al final nuestro objetivo es siempre construir modelos que puedan predecir datos muy cercanos a los valores verdaderos, no siempre es tan f谩cil porque algunos algoritmos son simplemente demasiado r铆gidos para aprender se帽ales complejas del conjunto de datos.

Imagina ajustar una regresi贸n lineal a un conjunto de datos que tiene un patr贸n no lineal, no importa cu谩ntas observaciones m谩s recopiles, una regresi贸n lineal no podr谩 modelar las curvas en esos datos. Esto se conoce como ajuste insuficiente.

En general, los algoritmos param茅tricos como la regresi贸n lineal, tienen un alto bias que los hace r谩pidos de aprender y m谩s f谩cil de entender, pero generalmente menos flexibles. A su vez, tienen un menor rendimiento predictivo en problemas complejos.

Bias y Varianza 2

  • Bajo bias: sugiere menos suposiciones sobre la forma de la funci贸n objetivo.
  • Alto bias: sugiere m谩s suposiciones sobre la forma de la funci贸n objetivo.

Los algoritmos de Machine Learning con baja bias incluyen: 谩rboles de decisi贸n, k-vecinos m谩s cercanos y m谩quinas de vectores de soporte.

Por su parte, los algoritmos con alto bias se incluyen: regresi贸n lineal, an谩lisis discriminante lineal y regresi贸n log铆stica.

Error de varianza

Se refiere a la cantidad que la estimaci贸n de la funci贸n objetivo cambiar谩 si se utiliza diferentes datos de entrenamiento. La funci贸n objetivo se estima a partir de los datos de entrenamiento mediante un algoritmo de Machine Learning, por lo que deber铆amos esperar que el algoritmo tenga alguna variaci贸n. Idealmente no deber铆a cambiar demasiado de un conjunto de datos de entrenamiento a otro, lo que significa que el algoritmo es bueno para elegir el mapeo subyacente oculto entre las variables de entrada y de salida.

Los algoritmos de Machine Learning que tienen una gran varianza est谩n fuertemente influenciados por los detalles de los datos de entrenamiento, esto significa que los detalles de la capacitaci贸n influyen en el n煤mero y los tipos de par谩metros utilizados para caracterizar la funci贸n de mapeo.

Generalmente, los algoritmos de Machine Learning no param茅trico que tienen mucha flexibilidad tienen una gran variaci贸n.

Bias y Varianza 3

  • Varianza baja: sugiere peque帽os cambios en la estimaci贸n de la funci贸n objetivo con cambios en el conjunto de datos de capacitaci贸n.
  • Alta varianza: sugiere grandes cambios en la estimaci贸n de la funci贸n objetivo con cambios en el conjunto de datos de capacitaci贸n.

Los algoritmos de Machine Learning con baja varianza incluyen: regresi贸n lineal, an谩lisis discriminante lineal y regresi贸n log铆stica.

Por su parte, los algoritmos con alta varianza son: 谩rboles de decisi贸n, k-vecinos m谩s cercanos y m谩quinas de vectores de soporte.

La compensaci贸n Bias-Varianza o Trade-off

El objetivo de cualquier algoritmo supervisado de Machine Learning es lograr un bias bajo y una baja varianza, a su vez, el algoritmo debe lograr un buen rendimiento de predicci贸n.

Bias y Varianza 4

El bias frente a la varianza se refiere a la precisi贸n frente a la consistencia de los modelos entrenados por su algoritmo. Podemos diagnosticarlos de la siguiente manera:

Bias y Varianza 5

  • Los algoritmos de baja varianza (alto bias) tienden a ser menos complejos, con una estructura subyacente simple o r铆gida.

Entrenan modelos que son consistentes, pero inexactos en promedio. Estos incluyen algoritmos param茅tricos o lineales, como la regresi贸n lineal y el ingenuo Bayes.

Bias y Varianza 6

  • Los algoritmos de bajo bias (alta varianza) tienden a ser m谩s complejos, con una estructura subyacente flexible.

Entrenan modelos que son precisos en promedio pero inconsistentes. Estos incluyen algoritmos no lineales o no param茅tricos, como 谩rboles de decisi贸n y k-vecinos m谩s cercanos.

No hay escapatoria a la relaci贸n entre el bias y la varianza en Machine Learning, aumentar el bias disminuir谩 la varianza, aumentar la varianza disminuir谩 el bias.

Error total

Comprender el bias y la varianza es fundamental para comprender el comportamiento de los modelos de predicci贸n, pero en general lo que realmente importa es el error general, no la descomposici贸n espec铆fica. El punto ideal para cualquier modelo es el nivel de complejidad en el que el aumento en el bias es equivalente a la reducci贸n en la varianza.

Introduccio虂n-a-bias-y-varianza-1234567png

Para construir un buen modelo, necesitamos encontrar un buen equilibrio entre el bias y la varianza de manera que minimice el error total.

Un equilibrio 贸ptimo de bias y varianza nunca sobreequipar铆a o no ser铆a adecuado para el modelo. Por lo tanto comprender el bias y la varianza es fundamental para comprender el comportamiento de los modelos de predicci贸n.

Deja un comentario

Tu direcci贸n de correo electr贸nico no ser谩 publicada. Los campos obligatorios est谩n marcados con *