El modelo de聽Regresi贸n Lineal聽es tan simple que muchos argumentan que no es digno de ser clasificado como聽Machine Learning. Este algoritmo es un m茅todo聽estad铆stico聽que te permite resumir y estudiar las relaciones entre dos variables continuas cuantitativas.

聽Aunque puede parecer algo aburrido en comparaci贸n con algunos de los algoritmos m谩s modernos, este algoritmo sigue siendo un m茅todo de聽aprendizaje estad铆stico聽煤til y ampliamente utilizado.聽Expliquemos un poco mejor este algoritmo.

aprende f谩cilmente inteligencia artificial - newsletter

estad铆sticas en machine learning

Definici贸n

La聽Regresi贸n Lineal聽o linear regression es una t茅cnica param茅trica utilizada para predecir聽variables continuas, dependientes, dado un conjunto de variables independientes.

Explicado de manera m谩s sencilla, la Regresi贸n Lineal es un m茅todo para predecir la variable dependiente (y) en funci贸n de los valores de las variables independientes (X).

Se puede usar para los casos donde quieras predecir alguna cantidad continua, por ejemplo, predecir el tr谩fico en una tienda minorista, predecir el tiempo de permanencia de un usuario o el n煤mero de p谩ginas visitas en un blog, etc.

Es de naturaleza param茅trica porque hace ciertas suposiciones basadas en el conjunto de datos. Si el conjunto de datos sigue esas suposiciones, la regresi贸n arroja resultados incre铆bles, de lo contrario, tiene dificultades para proporcionar una precisi贸n convincente.

Probabilidad en Machine learning

Variables independientes y dependientes

Como pudiste ver en el concepto de la Regresi贸n Lineal se menciona que se utilizan variables dependientes e independientes dentro de este algoritmo, por lo que antes de continuar con la explicaci贸n de este algoritmo es bueno que tengas claro de qu茅 se trata este tipo de variables para que puedas entender las siguientes explicaciones.

Las variables independientes o caracter铆sticas, son variables que se manipulan para determinar el valor de una variable dependiente. Simplemente, son las caracter铆sticas que queremos usar para predecir alg煤n valor dado de y. Normalmente en Machine Learning vienen declarado como X.

Por otra parte la variable dependiente u objetivo, depende de los valores de la variable independiente. En pocas palabras, es la caracter铆stica que estamos tratando de predecir. Esto tambi茅n se puede conocer com煤nmente como una variable de respuesta. En Machine Learning esta variable esta definida como y.

variables independientes y dependientes - aprendeIA
aprender a programar para machine Learning

Representaci贸n matem谩tica de la regresi贸n

La Regresi贸n Lineal puede ser simple o m煤ltiple, la primera se refiere cuando solamente tenemos una sola variable independiente para realizar la predicci贸n, en cambio en la Regresi贸n Lineal M煤ltiple se manejan m煤ltiples variables independientes que contribuyen a la variable dependiente.

Matem谩ticamente, la Regresi贸n Lineal Simple usa una funci贸n lineal para aproximar o predecir la variable dependiente dada como:

algoritmo regresi贸n lineal machine learning

Donde:

y 鈥 es la variable dependiente o la variable a predecir.

x 鈥 es la variable independiente o la variable que usamos para hacer una predicci贸n.

a 鈥 es la pendiente o el valor que debe ser determinado, se le conoce como coeficiente y es una especie de magnitud de cambio que pasa por y cuando x cambia.

b 鈥 es la constante que debe ser determinada, se le conoce como intercepto porque cuando x es igual a 0, entonces y = b.

Como puedes observar en la f贸rmula, solo hay una variable independiente involucrada, que vendr铆a siendo 鈥渪鈥.

Por su parte, la ecuaci贸n de la Regresi贸n Lineal M煤ltiple es la siguiente:

algoritmo regresi贸n lineal m煤ltiple machine learning

Como puedes observar est谩 ecuaci贸n es muy parecida a la de Regresi贸n Lineal simple solamente que ac谩 incluimos las n variables independientes con su respectivo coeficiente. Por lo tanto, ac谩 se manejan m煤ltiples coeficientes y, a su vez, es computacionalmente m谩s compleja debido a las variables a帽adidas.

Aunque se cuenta con dos tipos de Regresi贸n Lineal, en la vida real normalmente se utiliza la Regresi贸n Lineal M煤ltiple debido a que normalmente se cuenta con m煤ltiples variables independiente para realizar el an谩lisis.

estad铆sticas en machine learning

Objetivo de la Regresi贸n Lineal

El objetivo con Regresi贸n Lineal Simple es minimizar la distancia vertical entre todos los datos y nuestra l铆nea, por lo tanto, para determinar la mejor l铆nea, debemos minimizar la distancia entre todos los puntos y la distancia de nuestra l铆nea.  Existen muchos m茅todos para cumplir con este objetivo, pero todos estos m茅todos tienen un solo objetivo que es el de minimizar la distancia.

algoritmo regresi贸n lineal simple machine learning

Una forma en que el modelo de regresi贸n encuentre la mejor l铆nea de ajustes es utilizando el criterio de m铆nimos cuadrados para reducir el error.

El error es una parte inevitable del proceso de predicci贸n, no importa cu谩n poderoso sea el algoritmo que elijamos, siempre habr谩 un error irreductible, por lo que es imposible que un modelo nos arroje una precisi贸n de 100%, ya que si es as铆 tenemos un error.

Sabemos que no podemos eliminar por completo el error, pero a煤n podemos intentar reducirlo al nivel m谩s bajo. Justamente es en este momento en que se usa la t茅cnica conocida como m铆nimos cuadrados.

La t茅cnica de m铆nimos cuadrado intenta reducir la suma de los errores al cuadrado, buscando el mejor valor posible de los coeficientes de regresi贸n.

Los m铆nimos cuadrados no es la 煤nica t茅cnica para usar en Regresi贸n Lineal pero se selecciona debido:

  • Utiliza un error cuadrado que tiene buenas propiedades matem谩ticas, por lo que es m谩s f谩cil diferenciar y calcular el descenso del gradiente.
  • Es f谩cil de analizar y computacionalmente m谩s r谩pido, es decir, puede aplicarse r谩pidamente a conjuntos de datos que tienen miles de caracter铆sticas.
  • La interpretaci贸n es mucho m谩s f谩cil que otras t茅cnicas de regresi贸n.

Comprendamos en detalle c贸mo usar estas f贸rmulas con un ejemplo:

Se nos da un conjunto de datos con 100 observaciones y 2 variables, altura y peso. Necesitamos predecir el peso dada la altura.  La ecuaci贸n ser铆a el de Regresi贸n Lineal simple ya que solamente cuenta con una variable independiente y se puede escribir de la siguiente forma:

y = ax + b

Donde:

y 鈥 es el peso

x 鈥 es la altura

a, b son los coeficientes a ser calculados

Al usar Python o cualquier lenguaje de programaci贸n no necesitas saber c贸mo se calculan estos coeficientes e inclusive el error, raz贸n por la cual a la mayor铆a de las personas no les importa el c贸mo calcularla, pero es mi consejo que debes por lo menos tener un conocimiento al respecto para de esta forma te acerques a ser un maestro en estos temas.

La formula para calcular estos coeficientes es f谩cil inclusive si solamente tienes los datos y no tienes acceso a ninguna herramienta estad铆stica para el c谩lculo podr谩s hacer la predicci贸n.

La f贸rmula para calcular coeficientes es la siguiente:

algoritmo regresi贸n lineal simple machine learning

donde:

i = al n煤mero de datos

algoritmo regresi贸n lineal simple machine learning
historia de machine learning

Suposiciones sobre la Regresi贸n Lineal

Para ajustar una l铆nea de regresi贸n lineal, los datos deben satisfacer algunas suposiciones b谩sicas pero importantes, si tus datos no siguen los suposiciones, sus resultados pueden ser incorrectos y enga帽osos.

Veamos algunas de estas suposiciones:

  • Linealidad y aditivo.聽Debe existir una relaci贸n lineal, los datos deben satisfacer algunas suposiciones b谩sicas pero importantes. Por lineal, significa que un cambio en la variable dependiente por 1 cambio de unidad en la variable independiente es constante. Por aditivo, se refiere al efecto de 鈥渪鈥 y 鈥測鈥 son independientes de otras variables. Si los datos no siguen las suposiciones, los resultados pueden ser incorrectos y enga帽osos.
  • Suposici贸n lineal.聽La聽regresi贸n lineal聽supone que la relaci贸n entre la entrada y salida es lineal. No es compatible con nada m谩s. Esto puede ser obvio, pero es bueno recordar cuando tenemos muchos atributos.
  • Eliminar el ruido.聽La聽regresi贸n lineal聽asume que sus variables de entrada y salida no son ruidosas. Considera usar operaciones de limpieza de datos que permitan exponer mejor y aclarar la se帽al en los datos. La presencia de correlaci贸n en t茅rminos de error se conoce como autocorrelaci贸n y afecta de manera dr谩stica los coeficientes de regresi贸n y los valores de error est谩ndar, ya que se basan en la suposici贸n de los t茅rminos de error no correlacionados.
  • Eliminar la colinealidad.聽La聽regresi贸n lineal聽se ajustar谩 demasiado a los datos cuando tenga variables de entrada altamente correlacionadas. Considera calcular correlaciones por pares para sus datos de entrada y eliminar los m谩s correlacionados. La presencia de correlaci贸n en t茅rminos de error se conoce como autocorrelaci贸n y afecta de manera dr谩stica los coeficientes de regresi贸n y los valores de error est谩ndar, ya que se basan en la suposici贸n de los t茅rminos de error no correlacionados.
  • Distribuciones gaussianas.聽La regresi贸n lineal har谩 predicciones m谩s confiables si sus variables de entrada y salida tienen una distribuci贸n normal. Podemos obtener alg煤n beneficio utilizando transformaciones en sus variables para hacer que su distribuci贸n tenga un aspecto m谩s gaussiano.

La presencia de estos supuestos hace que la regresi贸n sea bastante restrictiva, es decir el rendimiento de un modelo de regresi贸n est谩 condicionado al cumplimiento de estas suposiciones.

Una vez que se violan estas suposiciones, la regresi贸n hace predicciones tendenciosas y err谩ticas por lo que se debe tener en cuenta cuando se est茅 trabajando con este algoritmo.

algebra lineal en machine learning

Selecci贸n de las variables independientes

Un punto importante a destacar es que generalmente, cuando se trata de Regresi贸n Lineal m煤ltiple no incluimos todas las variables independientes a la vez y posteriormente comenzamos a minimizar la funci贸n de error. Lo primero que se debe hacer es enfocarse en seleccionar las mejores variables independientes que puedan contribuir a la variable dependiente. Para esto, debemos construir una matriz de correlaci贸n para todas las variables independiente e incluimos la variable dependiente.

El valor de correlaci贸n nos da una idea de qu茅 variable es significativa y por qu茅 factor. A partir de esta matriz, elegimos las variables independientes en orden decreciente de valor de correlaci贸n y ejecutamos el modelo de regresi贸n para estimar los coeficientes minimizando la funci贸n de error. Nos detenemos cuando no hay mejora destacada en la funci贸n de estimaci贸n mediante la inclusi贸n de la siguiente caracter铆stica independiente. Este m茅todo a煤n puede complicarse cuando hay un gran n煤mero de caracter铆sticas independientes que tienen una contribuci贸n significativa al decidir nuestra variable dependiente. Este m茅todo es explicado mucho mejor en otra publicaci贸n.

Lo importante que tienes que tomar en cuenta con este m茅todo es que agregar m谩s variables independientes no significa que la regresi贸n sea mejor u ofrece mejores predicciones.

La Regresi贸n Lineal m煤ltiple y simple tiene diferentes casos de uso, uno no es superior. En algunos casos, agregar m谩s variables independientes puede empeorar las cosas, esto se conoce como ajuste excesivo.

Por otra parte, cuando se agrega m谩s variables independientes se crean relaciones entre ellas. Entonces, no solo las variables independientes est谩n potencialmente relacionadas con la variable dependiente, sino que tambi茅n est谩n potencialmente relacionadas entre s铆, esto se conoce como multicolinealidad. El escenario 贸ptimo es que todas las variables independientes de correlacionen con la variable dependiente, pero no entre s铆.

pregunta aprendeia

Respuesta a la pregunta del video

Opci贸n 1:聽Predecir el precio de una acci贸n de la bolsa de valores, utilizando los valores hist贸ricos. Respuesta Correcta.聽Con este algoritmo se puede calcular el precio tomando la data antigua de la acci贸n, aunque no ser谩 el mejor algoritmo para predecir este valor, la raz贸n es que en ocasiones la data no ser谩 completamente lineal, ya el precio tendr谩 subidas y bajadas, por lo que es preferible seleccionar otro algoritmo.

Opci贸n 2:聽Predecir si una persona esta enferma tomando en cuenta su altura, peso y temperatura. Respuesta Incorrecta.聽Con este algoritmo no se puede predecir esto, ya que este es un algoritmo de regresi贸n por lo que la predicci贸n es un n煤mero, en cambio en este problema se debe predecir si la persona est谩 enferma o no por lo que es un problema de clasificaci贸n.

Opci贸n 3:聽Predecir si una persona puede vivir o morir en el hundimiento del Titanic tomando en cuenta la edad, sexo y ubicaci贸n de su cabina. Respuesta Incorrecta. Con este algoritmo no se puede predecir esto, ya que este es un algoritmo de regresi贸n por lo que la predicci贸n es un n煤mero, en cambio en este problema se debe predecir si la persona vive o muere en el hundimiento del Titanic por lo que es un problema de clasificaci贸n.

Si te llamo la atenci贸n todo este contenido y te animaste a empezar a estudiar Inteligencia Artificial, he desarrollado un curso que te ayudar谩, de igual forma a iniciar tu camino dentro de est谩 tecnolog铆a. Este curso te sentar谩 las bases y te dar谩 m谩s claridad para poder seleccionar el enfoque o 谩rea que m谩s te interese sobre la Inteligencia Artificial, de igual forma te ayudar谩 tener m谩s claridad en muchos conceptos que seguramente en estos momentos te parece confusos. Este curso es ideal si apenas est谩s empezando. Si quieres m谩s informaci贸n puedes ingresar a este enlace.

8 comentarios en “Regresi贸n Lineal – Teor铆a”

  1. Hola que tal. Mi nombre es Demian Riz, Sigo tu canal y tu blog. Sabes la info que compartes es sumamente valiosa poderosa y est谩 en espa帽ol, lo que la hace incre铆blemente 煤til. Creo que para un mejor aprovechamiento y transferencia, a t铆, que gustas de la docencia, te sugiero poner un poquito m谩s de atenci贸n en la redacci贸n y utilizar un lenguaje m谩s coloquial, recuerda que no todas las personas tiene el background matem谩tico, inform谩tico o sem谩ntico exclusivo del ML, por experiencia s茅 que algunos de los t茅rminos muy usados en matem谩ticas que son los mismos en el ML no se denominan igual, y eso, a mi parecer hace compleja la lectura de tu blog.

      1. Lo explicas genial, me parece que para estudiar ML se requiere cierta base, hay t茅rminos de probabilidad que si no se saben los concepto es dificil entender, pero basta pausar los videos y ponerle a leer para ir entendiendo, tengo conocimientos de programaci贸n, tambi茅n soy Venezolana y estudio ing de Datos en la UAB (Espa帽a), me est谩s ayudando un mont贸n y justo por lo simple que es la forma en como explicas todo.

      1. yo creo que Ligdi hace un esfuerzo muy grande por aterrizar muchos conceptos matem谩ticos en un resumen muy simple. Este m茅todo que es el m谩s sencillo se compone de mucha probabilidad, sistema de ecuaciones, varias sustituciones, etc. Es mi opini贸n. 隆Saludos!.

  2. Hola un gusto saludarte, sigo tu canal y dejame felicitarte, excelente trabajo.

    Tengo una duda con respecto a este punto:

    * 芦Existe una relaci贸n lineal y aditiva, entre las variables dependientes e independientes. Por lineal, significa que un cambio en la variable dependiente por 1 cambio de unidad en la variable independiente es constante. Por aditivo, se refiere al efecto de 鈥渪鈥 y 鈥測鈥 son independientes de otras variables.禄

    tengo entendido que una relaci贸n lineal sea positiva o negativa tiene como caracteristica que un cambio en la variable independiente produce un cambio en la variable dependiente, es decir si 芦x禄 aumenta una unidad, 芦y禄 cambia esa unidad por el coeficiente de 芦x禄 (a).

    Lo de aditiva tampoco lo entendi.

Deja un comentario

Tu direcci贸n de correo electr贸nico no ser谩 publicada.