Qué es Elastic Net?
La regresión lineal de red elástica utiliza las penalizaciones de las técnicas de lazo y cresta para regularizar los modelos de regresión. La técnica combina tanto el lassoLASSOLASSO, abreviatura de Least Absolute Shrinkage and Selection Operator, es una fórmula estadística cuyo objetivo principal es la selección de características y los métodos de regresión ridge aprendiendo de sus deficiencias para mejorar la regularización de los modelos estadísticos.
El método de la red elástica mejora el lazo’s limitaciones, i.e., donde lasso toma algunas muestras para datos de alta dimensión. El procedimiento de red elástica proporciona la inclusión de “n” número de variables hasta la saturación. Si las variables son grupos altamente correlacionados, el lazo tiende a elegir una variable de dichos grupos e ignorar el resto por completo.
Para eliminar las limitaciones encontradas en el lazo, la red elástica incluye una expresión cuadrática (||)β||2) en la penalización, que, cuando se utiliza de forma aislada, se convierte en una regresión de cresta. La expresión cuadrática de la penalización hace que la función de pérdida sea convexa. La red elástica aprovecha lo mejor de ambos mundos – i.e., l lazo y la regresión de cresta.
En el procedimiento de búsqueda del método de la red elástica’En el estimador de la red elástica, en dos etapas intervienen las técnicas del lazo y de la regresión. En primer lugar, encuentra los coeficientes de la regresión de cresta y, a continuación, lleva a cabo el segundo paso utilizando un tipo de contracción de los coeficientes mediante el lazo.
Este método, por tanto, somete los coeficientes a dos tipos de contracciones. La doble contracción de la muestra naïa versión de la red elástica provoca una baja eficiencia en la predictibilidad y un alto sesgo. Para corregir estos efectos, los coeficientes se reescalan multiplicándolos por (1+λ2).
Resumen
Geometría de la red elástica
Cuando se representa en un plano cartesiano, la red elástica se sitúa entre los gráficos de regresión de cresta y de lazo, ya que es la combinación de estos dos métodos de regresión. El gráfico de la red elástica también presenta singularidades en los vértices, que son importantes para la dispersión. También presenta bordes convexos estrictos en los que la convexidad depende del valor de α.
La convexidad también depende del efecto de agrupación que depende de la correlaciónCorrelaciónUna correlación es una medida estadística de la relación entre dos variables. Se utiliza mejor en variables que demuestran una relación lineal entre sí. de las variables seleccionadas. Cuanto mayor sea la correlación de las variables, mayor será el efecto de agrupación y, por tanto, mayor será el número de variables incluidas en la muestra.
Selección de variables
La construcción del modelo requiere la selección de variables para formar un subconjunto de predictores. La red elástica utiliza el p>>n enfoque del problema, lo que significa que el número de predictores’ es mayor que el número de muestras utilizadas en el modelo. La red elástica es apropiada cuando las variables forman grupos que contienen variables independientes altamente correlacionadasVariable independienteUna variable independiente es un insumo, suposición o conductor que se cambia para evaluar su impacto en una variable dependiente (el resultado)..
La selección de variables se incorpora al procedimiento de construcción del modelo para ayudar a aumentar la precisión. Si un grupo de variables está altamente correlacionado, y una de las variables se selecciona en la muestra, todo el grupo se incluye automáticamente en la muestra.
Incorporación de CATREG
CATREG es un algoritmo que facilita la transformación de variables, tanto lineales como no lineales. El algoritmo utiliza funciones escalonadas y splines en la transformación de las variables de forma no monótona o monótona en transformaciones no lineales. CATREG puede transformar y regularizar simultáneamente las variables de forma no monótona sin necesidad de expandir primero las variables en funciones básicas o variables ficticias.
Las funciones de pérdida de la red elástica también pueden denominarse el tipo restringido de la función de pérdida de regresión por mínimos cuadrados ordinarios. El algoritmo CATREG se incorpora a la red elástica, lo que mejora la eficiencia y la simplicidad del algoritmo resultante. En comparación, la red elástica supera al lazo, que supera a la regresión de cresta en términos de eficiencia y simplicidad.
Regularización de red elástica
Durante el procedimiento de regularización, la l1 de la penalización forma un modelo disperso. Por otro lado, la sección cuadrática de la penalización hace que el l1 parte más estable en el camino hacia la regularización, elimina el límite de cantidad de variables a seleccionar y favorece el efecto de agrupación.
El efecto de agrupación ayuda a identificar fácilmente las variables mediante la correlación, mejorando el procedimiento de muestreo. También aumenta el número de variables seleccionadas. Cuando se muestrea una variable en un grupo altamente correlacionado, todas las demás variables de ese grupo se añaden automáticamente a la muestra.
Grados de libertad efectivos
Los grados de libertad efectivos miden la complejidad de un modelo. Los grados de libertad son importantes durante la estimación o la predicción precisa del ajuste de un modelo. Los grados de libertad también se incorporan al aprendizaje de los suavizadores lineales. En cualquier método relacionado con la l1 La naturaleza no lineal de los modelos plantea un reto en el análisis.
La red elástica también puede utilizarse en otras aplicaciones, como en el ACP disperso, donde obtiene componentes principales modificados por cargas dispersas. La otra aplicación es en la red elástica del núcleo, donde la generación de máquinas del núcleo de clase tiene lugar con vectores de apoyo.
Recursos adicionales
Para seguir aprendiendo y desarrollando su base de conocimientos, explore los recursos adicionales relevantes de nuestro sitio web que aparecen a continuación: