Os modelos de regressão são uma das técnincas estatísticas mais populares usadas em modelagem preditiva e mineração de dados, contudo, em geral os profissionais que trabalham com análise de dados só conhecem cerca de 2 ou 3 tipos desse conjunto de técnicas, que são a regressão linear e a regressão logística. O fato é que existem várias técnicas de regressão, cada uma com suas peculiaridades e que deveriam ser mais utilizadas, pois o uso da técnica correta/mais apropriada melhora e muito nossas estimativas.

Oque é um modelo de regressão?

Suponha que seu gerente pediu para você prever as vendas anuais de determinado produto da empresa. Para isso ele lhe deu acesso ao banco de dados da empresa, que contém várias variáveis que podem explicar o desempenho da venda desse determinado produto. Neste caso a variável que você quer modelar é o nº de vendas desse produto, sendo assim, essa é sua variável dependente e as demais variáveis serão suas variáveis independentes ou explicativas. Resumindo, a análise de regressão é usada para modelar a relação entre uma variável dependente e uma/ou mais variáveis explicativas.

Isso nos ajuda é responder várias perguntas, tais como:

  1. Qual das variáveis tem um impacto significativo nas vendas?
  2. Qual a variável que tem o maior impacto nas vendas?
  3. Como as variáveis explicativas interagem umas com as outras?
  4. Quais seriam as vendas anuais no próximo ano?

Jargões relacionados à análise de regressão

Outliers(Pontos discrepantes)

Suponha que exista uma ou mais observações que fogem muito do padrão, ou seja, que possui valores muito altos ou muito baixos se comparados as demais observações. Quando estamos diante de um ponto desta forma o chamamos de outlier. Em análise de regressão muitas vezes esses pontos nos trazem certo incomodo, pois as vezes nos levam a estimativas erroneas ou quebra de suposições dos modelos.

Multicolinearidade

A teoria matemática dos modelos de regressão é feita à partir de álgebra linear, sendo assim, todos os algoritmos são feitos em linguagem matricial, oque nos obriga em geral a considerar algumas suposições. Por conta disto, quando variáveis independentes são bem correlacionadas umas com as outras, elas podem tornar a matriz X(matriz com os dados) em uma matriz que possui colunas linerarmente dependentes, daí o nome multicolinearidade. Já na parte prática, esse problema acarreta em dificuldades na escolha das variáveis explicativas, fazendo com que escolhamos a equação inadequada para nosso modelo.

When the independent variables are highly correlated to each other then the variables are said to be multicollinear. Many types of regression techniques assumes multicollinearity should not be present in the dataset.

Heterocedásticidade

Em modelos de regressão, existe muitas vezes a suposição de que a variabilidade dos erros deve ser constante. Contudo, os erros podem ser expressados como função de nossa variável dependente, ou seja, se nossa variável dependente não possuir variância constante, quer dizer que os erros também não irão possuir, quebrando então a suposição de homocedasticidade da variância, que por sua vez causa o problema de heterocedásticidade. Em termos práticos, um exemplo bastante trivial é dado quando estudamos o gasto com comida de determindada população. Nas parcela da população que é mais pobre, uma pessoa comsome sempre produtos mais baratos, já para as parcelas mais ricas, isso pode variar bastante pois ela pode facilmente alternar entre comer coisas mais baratas e mais caras, ou seja, quando a renda aumenta, a variabilidade com o gasto em comida aumenta.

Underfitting e Overfitting

Quando utilizamos preditores inadequados para nossa equação, podemos nos deparar com o problema de overfitting. Overfitting consiste em um modelo que para uma amostra especifica da população funciona muito bem, contudo, para outras amostras ou sub-amostras da amostra utilizada, o modelo não funciona de forma adequada. Também é conhecido como problema de alta variância, ou seja, ele não se ajusta bem a novas amostras.

Já quando temos problemas de underfitting, também temos problemas quanto a utilização de preditores inadequados, porém, agora estamos diante de um problema de falta de ajuste, ou seja, o modelo não se “encaixa” corretamente na nuvem de pontos.

No diagrama a seguir, podemos ver que ajustar uma reta(figura 1) nos levaria a grandes erros. Já usar um ajuste a partir de um polinômio(figura 2) parece não ser uma má ideia, ele se ajusta muito bem a nuvem de pontos e é quase certo que funcionará bem também para outras amostras. Na última figura, vemos que a curva se ajusta de forma muito especifica a nuvem de pontos, ou seja, os erros são muito baixos,porém, para outras amostras há grandes chances de ocorrer overfitting.

Exemplos de overfitting e underfitting

Exemplos de overfitting e underfitting

Cada modelo de regressão possui suposições a serem cumpridas. Tais técnicas diferem entre tipos de variáveis(independentes e dependentes), distribuição de probabilidade e etc. Ou seja, cada uma possui suas peculiaridades

Regressão linear

É a técnica mais conhecida e utilizada, nesta técnica a variável dependente é contínua e as variáveis independentes podem ser contínuas ou discretas. O nome linear vem da idéia de que a relação entre as variáveis é linear. Podemos notar que o gráfico a seguir mostra uma relação linear entre X e Y. Os pontos verdes são as observações e a reta preta é a reta de regressão.

Exemplo regressão linear

Exemplo regressão linear

Quando temos uma única variável explicativa, estamos diante de uma regressão linear simples. \[Y =\beta_0 +\beta_1X + \epsilon\]

Quando temnos p variáveis explicativas, temos uma regressão linear múltipla \[ Y = \beta_0 +\beta_1X_1 +\beta_2X_2 + ... +\beta_pX_p + \epsilon\]

  1. Y é a variável dependente ou resposta.

  2. X’s são as variáveis independentes ou explicativas.

3.\(\epsilon\) é o erro.

4.\(\beta_i\) são os parâmetros ou coeficientes de regressão.

Suposições do modelo de regressão linear

  1. A equação deve ser linear nos parâmatros, ou seja, não podemos ter \(Y = \beta_0 + \beta_1^{2}X + \epsilon\).

  2. \(\epsilon \sim N(0,\sigma^2)\)

2.1. \(\sigma^2\) deve ser constante (Variância constante). 2.2. \(Cov(\epsilon_i,\epsilon_j) = 0,\forall i\neq j\) (Erros não correlacionados).

  1. $Cov(X_p,X_k) = 0,pk $ (Variáveis explicativas independentes)

Estimando os parâmetros

Para obtermos as estimativas dos coeficientes de regressão utilizamos a técninca de mínimos quadrados ordinários, que consiste em minimizar a soma dos erros ao quadrado.

\[\min \sum{\epsilon^2} = \min \sum{(Y - \hat Y)^2} = \min \sum{(Y - (\beta_0 +\beta_1X_1 +\beta_2X_2 + ... +\beta_pX_p))^2}\]

Ao resolver o problema de otimização acima temos o seguinte estimador para os parâmetros: \[\hat \beta = (X'X)^{-1}X'y\]

Interpretando as estimativas dos parâmetros

Vamos considerar um exemplo em que a variável dependente são as notas obtidas por um estudante(Y) e as variáveis explicativas são o número de horas estudadas(\(X_1\)) e número de aulas frequentadas(\(X_2\)). Suponha que, ao ajustar a regressão linear, tenhamos a seguinte equação:

\[Y = 5 + 2X_1 + 0.5X_2\]

Através do cálculo podemos fazer \(\frac{\partial Y}{\partial X_k}\) para encontrar a influência individual de cada variável explicativa na variável resposta. Sendo assim, teremos:

\(\frac{\partial Y}{\partial X_1} = 2\), isto é, a cada hora estudada a nota do aluno terá um acréscimo de 2.

\(\frac{\partial Y}{\partial X_2} = 0.5\), isto é, a cada aula frequentada a nota do aluno terá um acréscimo de 0.5.

Caso \(X_1\) e \(X_2\) sejam zero a nota do aluno será 5.

Neste caso, se ele fosse escolher entre ir as aulas ou estudar sozinho, compensaria mais ele estudar sozinho.

Regressão linear no R

Considere o conjunto de dados swiss para este exemplo. Para estimar um modelo de regressão linear em R utilizamos a função lm()do pacote base do R. Vamos tentar estimar a taxa de fertilidade atraves de outras variáveis.

modelo <- lm(Fertility ~ .,data = datasets::swiss)
summary(modelo)
## 
## Call:
## lm(formula = Fertility ~ ., data = datasets::swiss)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -15.2743  -5.2617   0.5032   4.1198  15.3213 
## 
## Coefficients:
##                  Estimate Std. Error t value Pr(>|t|)    
## (Intercept)      66.91518   10.70604   6.250 1.91e-07 ***
## Agriculture      -0.17211    0.07030  -2.448  0.01873 *  
## Examination      -0.25801    0.25388  -1.016  0.31546    
## Education        -0.87094    0.18303  -4.758 2.43e-05 ***
## Catholic          0.10412    0.03526   2.953  0.00519 ** 
## Infant.Mortality  1.07705    0.38172   2.822  0.00734 ** 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 7.165 on 41 degrees of freedom
## Multiple R-squared:  0.7067, Adjusted R-squared:  0.671 
## F-statistic: 19.76 on 5 and 41 DF,  p-value: 5.594e-10

Podemos constatar que 70% da variabilidade da taxa de fertilidade pode ser explicada por esse modelo.

Regressão polinômial

É uma técnica para ajustar uma equação onde as variáveis independentes assumem uma relação polinômial com a variável resposta. A regressão polinomial é nada mais do que uma extensão da regressão linear onde a curva estimada agora não será mais uma reta, e sim um polinômio.

No gráfico abaixo podemos ver que a curva vermelha se ajusta melhor aos dados do que a curva verde. Sendo assim, nas situações que a relação entre a variável dependente e independente possuir uma forma não-linear, podemos utilizar modelos de regressão polinômial.

Assim, um polinômio de grau k pode ser escrito como: \[ Y = \beta_0 +\beta_1X_1 +\beta_2X_2^2 + ... +\beta_kX_p^k + \epsilon\]

E criando novas variáveis podemos utilizar regressão linear como antes. \[ X = X_1, X^2 = X_2, ... ,X^k = X_k\]

No caso de múltiplas variáveis explicativas podemos criar outras variáveis fazendo \(Z = X_1X_2\) por exemplo.

Nota: Ao fazer isso tenha bastante cuidado pois o acréscimo de variáveis extras desnecessárias pode levar ao problema de overfitting.

Regressão polinômial em R

Vamos utilizar o dataset poly.csv.

poly <- read.csv("poly.csv")
# Modelo sem termos polinomiais
mod1 <- lm(Price~Area, data = poly)

# Modelo polinomial de grau 2
mod2 <- lm(Price~Area+I(Area^2), data = poly)

poly %>% ggplot(aes(Area,Price)) +
  geom_point() + 
  geom_line(aes(Area, mod1$fitted.values), col = "#de2d26") +
  geom_line(aes(Area, mod2$fitted.values), col = "#9ecae1")

Regressão Logística

Na regressão logística a variável dependente é binária(1 ou 0) e as variáveis independentes podem ser contínuas ou categoricas. na regressão logística multinomial podemos ter mais de duas categorias em nossa variável resposta. Nosso modelo tem a seguinte forma:

\[P = \frac{1}{1 + e^{-(\beta_0 +\beta_1X_1 +\beta_2X_2 + ... +\beta_pX_p)}}\]

Mas e porque não usar a regressão linear? 1. A suposição de homocedásticidade é violada. 2. Y não é mais normal. \(Y \sim Binomial\). 3. Os erros não são normais.

Exemplos

Análise de RH: As empresas de T.I. abrem seleção para um grande número de pessoas, mas um dos problemas que encontram é que muitos candidatos que se pronunciaram não participam da selação. Isso resulta em excesso de custos porque eles precisam repetir todo o processo novamente. Agora, se a empresa utilizar um software para captar os dados do candidato, ela poderá estimar se o candidato provavelmente participará da selação.(Resultado Binário - Participar/ Não Participar).

Eleições: Suponha que estamos interessados em encontrar os fatores que influenciam na vitória de um candidato a eleição. A variável resposta é binária(ganhar ou perder) e os preditores são a quantidade de dinheiro gasto na campanha e o tempo gasto fazendo campanha negativa contra o adversário.

Prevendo a categoria da variável dependente para um determinado vetor X de variáveis independentes

Da equação da regressão logística temos: \[P(Y = 1) = \frac{e^{\beta_0 +\beta_1X_1 +\beta_2X_2 + ... +\beta_pX_p}}{1 + e^{\beta_0 +\beta_1X_1 +\beta_2X_2 + ... +\beta_pX_p}}\]

Dessa forma podemos criar uma classificação para a variável resposta dado um ponto de corte, digamos p. Se P(Y=1)>p, Y pertence a categoria 1, caso contrário, 0.

Interpretando os coeficientes da regressão logística(conceito de odds ratio)

Tomando \(e^{\beta_i}\) temos o odds ratio do sucesso em relação ao fracasso, isto é, o quanto a probabilidade de sucesso é maior/menor que a probabilidade do fracasso. Para entender melhor suponha que o odds ratio de um coeficiente foi igual a 2, então, a chance de sucesso é 2 vezes maior que a chance de obter fracasso.

Regressão logística em R

Para estimar um modelo logístico no R use:

modelo <- glm(Y~X, data = conjunto de dados, family = binomial(link = “logit”))

As probabilidade de sucesso são dadas por

fitted(modelo) ou modelo$fitted.values

Para tentar classificar as observações de acordo com um corte de 0.5 primeiro definimos a variável que vai receber a categorização

classificacao <- integer()

Depois de criada, podemos inserir valores de acordo com as probabilidades estimadas

classificacao[fitted(modelo)>0.5] <- 1

classificacao[fitted(modelo)<=0.5] <- 0

Regressão quantílica

A regressão quantílica é a extensão da regressão linear e geralmente a usamos quando outliers, alta assimétria e/ou heterocedásticidade estão presentes no modelo.

Na regressão linear, predizemos a média da variável dependente para determinadas variáveis independentes. Como a média não descreve toda a distribuição, a modelagem da média não é uma descrição completa de uma relação entre variáveis dependentes e independentes. Assim, podemos usar a regressão quantílica, que prevê um quantil (ou percentil) para determinadas variáveis independentes.

O termo quantil é o mesmo que percentil.

Idéia básica do modelo de regressão quantílica:

Na regressão quantílica, tentamos estimar o quantil da variável dependente dados os valores observados das variáveis independentes. Observe que a variável dependente deve ser contínua.

O modelo de regressão quantílica:

Para o quantil q, temos o seguinte modelo de regressão:

\[ Y_i = X_{p_i} '\beta_p + \epsilon_i\]

Esse modelo parece bastante com o modelo de regressão linear, mas aqui a função objetiva que consideramos minimizar é:

\[q\sum |\epsilon_i| + (1-q)\sum |\epsilon_i|\]

onde q é o q-ésimo quantil.

Se q = 0,5 ou seja, se estamos interessados na mediana, então, torna-se a regressão mediana (ou menor regressão desvio absoluto) e substituindo o valor de q = 0,5 na equação acima obtemos a função objetivo como:

\[ \sum |\epsilon_i|\]

Interpretando os coeficientes em regressão quantílica:

Suponha que a equação de regressão para o 25º quantil de regressão seja:

\[ \hat Y = 5.2333 + 700.823X\]

Isso significa que, para um aumento unitário em x, o aumento estimado no 25º quantil de \(\hat Y\) é de 700.823 unidades.

Vantagens do Quantile sobre Regressão Linear:

1.Bastante benéfico quando a heteroscedasticidade está presente nos dados.

2.Robusto para outliers

3.A distribuição da variável dependente pode ser descrita através de vários quantis.

4.É mais útil do que a regressão linear quando os dados são distorcidos.

Porquê de usar a regressão quantilica:

Deve-se ter em mente que os coeficientes que obtemos na regressão quantílica para um quantil particular devem diferir significativamente daqueles que obtemos da regressão linear. Se isso não ocorrer, então nosso uso da regressão quantílica não é justificável. Isso pode ser feito observando-se os intervalos de confiança dos coeficientes de regressão das estimativas obtidas a partir de ambas as regressões.

Regressão Quantílica em R

Precisamos instalar o pacote quantreg para realizar a regressão quantílica.

install.packages(“quantreg”)

library(quantreg)

Usando a função rq , tentamos prever a estimativa do 25º quantil da Taxa de Fertilidade em dados suíços. Para isso, definimos tau = 0,25.

## Loading required package: SparseM
## 
## Attaching package: 'SparseM'
## The following object is masked from 'package:base':
## 
##     backsolve

model1 <- rq(Fertility~., data = swiss, tau = .25) summary(model1)

## 
## Call: rq(formula = Fertility ~ ., tau = 0.25, data = swiss)
## 
## tau: [1] 0.25
## 
## Coefficients:
##                  coefficients lower bd upper bd
## (Intercept)      76.63132      2.12518 93.99111
## Agriculture      -0.18242     -0.44407  0.10603
## Examination      -0.53411     -0.91580  0.63449
## Education        -0.82689     -1.25865 -0.50734
## Catholic          0.06116      0.00420  0.22848
## Infant.Mortality  0.69341     -0.10562  2.36095

Definindo tau = 0.5, faremos a regressão mediana.

model2 <- rq(Fertility~., data = swiss, tau = .5) summary(model2)

## 
## Call: rq(formula = Fertility ~ ., tau = 0.5, data = swiss)
## 
## tau: [1] 0.5
## 
## Coefficients:
##                  coefficients lower bd upper bd
## (Intercept)      63.49087     38.04597 87.66320
## Agriculture      -0.20222     -0.32091 -0.05780
## Examination      -0.45678     -1.04305  0.34613
## Education        -0.79138     -1.25182 -0.06436
## Catholic          0.10385      0.01947  0.15534
## Infant.Mortality  1.45550      0.87146  2.21101

Podemos executar a regressão quantílica para vários quantis em um único gráfico.

model3 = rq (Fertility ~., data = swiss, tau = seq (0,05,0.95, by = 0,05)) quantplot = summary(model3) quantplot

Podemos verificar se nossos resultados de regressão quantílica diferem dos resultados do MQO usando gráficos.

plot(quantplot)

Daí teremos:

Vários quantis são representados pelo eixo X. A linha central vermelha indica as estimativas dos coeficientes de MQO e as linhas vermelhas pontilhadas são os intervalos de confiança em torno desses coeficientes de MQO para vários quantis. A linha pontilhada preta são as estimativas de regressão quantílica e a área cinza é o intervalo de confiança para elas para vários quantis. Podemos ver que, para todas as variáveis, a regressão estimada coincide para a maioria dos quantis. Portanto, nosso uso de regressão quantílica não é justificável para tais quantis. Em outras palavras, queremos que as linhas vermelhas e cinzas se sobreponham o menos possível para justificar nosso uso da regressão quantílica.

Regressão de Ridge

É importante entender o conceito de regularização antes de ir para a regressão de rebordo.

1.Regularização

A regularização ajuda a resolver problemas de ajuste excessivo, o que implica que o modelo tenha um bom desempenho nos dados de treinamento, mas tenha um desempenho ruim nos dados de validação (teste). A regularização resolve esse problema adicionando um termo de penalidade à função objetivo e controla a complexidade do modelo usando esse termo de penalidade.

A regularização geralmente é útil nas seguintes situações: 1.Grande número de variáveis 2.Relação baixa de observações numéricas para número de variáveis 3.Alta Multi-Colinearidade

  1. Função L1 Loss ou Regularização L1

Na regularização de L1, tentamos minimizar a função objetivo adicionando um termo de penalidade à soma dos valores absolutos dos coeficientes. Isso também é conhecido como o método de menor desvio absoluto. Lasso Regression faz uso da regularização L1.

  1. L2 Loss function ou L2 Regularization

Na regularização de L2, tentamos minimizar a função objetivo adicionando um termo de penalidade à soma dos quadrados dos coeficientes. Regressão de Ridge ou regressão de encolhimento faz uso da regularização de L2.

Em geral, L2 tem melhor desempenho que a regularização L1. L2 é eficiente em termos de computação. Existe uma área onde L1 é considerada como uma opção preferida sobre L2. L1 possui seleção de recursos incorporados para espaços de recursos esparsos. Por exemplo, você está prevendo se uma pessoa está tendo um tumor cerebral usando mais de 20.000 marcadores genéticos (características). Sabe-se que a grande maioria dos genes tem pouco ou nenhum efeito sobre a presença ou gravidade da maioria das doenças.

Na função objetivo de regressão linear, tentamos minimizar a soma dos quadrados dos erros. Na regressão de rebordo (também conhecida como regressão de contração) adicionamos uma restrição na soma dos quadrados dos coeficientes de regressão. Assim, na regressão das cristas, nossa função objetiva é:

\[ min \sum \epsilon^2 + \lambda \sum \beta^2 = min \sum (y - (\beta_0 + \beta_1X_1 + \beta_2X_2 + ... + \beta_pX_p ))^2 + \lambda \sum \beta^2\]

\(\lambda\) é o parâmetro de regularização que é um número não negativo. Aqui não assumimos normalidade dos termos de erro.

Nota muito importante

Nós não regularizamos o termo de interceptação. A restrição é apenas a soma dos quadrados dos coeficientes de regressão dos X’s.

Podemos ver que a regressão de cumeeira faz uso da regularização de L2.

Ao resolver a função objetivo acima, podemos obter as estimativas de β como:

\[ \hat \beta = (X'X + \lambda I)^{-1}X'y \space \textrm{, em que I é a matriz identidade}\]

Como escolher o parâmetro de regularização \(\lambda\)?

Se escolhermos lambda = 0, retornamos às estimativas usuais de OLS. Se lambda é escolhido para ser muito grande, isso levará ao underfitting. Assim, é altamente importante determinar um valor desejável de lambda. Para resolver esse problema, plotamos as estimativas dos parâmetros em relação a diferentes valores de lambda e selecionamos o valor mínimo de λ após o qual os parâmetros tendem a se estabilizar.

Código R para regressão de Ridge

Considerando o conjunto de dados da Swiss, criamos dois conjuntos de dados diferentes, um contendo variável dependente e outro contendo variáveis independentes.

X = swiss[,-1]; Y = swiss[,1]

Precisamos carregar a biblioteca glmnet para realizar a regressão de Ridge.

library(glmnet)

Usando a função cv.glmnet () , podemos fazer validação cruzada. Por padrão alfa = 0, o que significa que estamos realizando regressão de MQO. lambda é uma sequência de vários valores de lambda que será usada para validação cruzada.

set.seed(123) model = cv.glmnet(as.matrix(X),y,alpha = 0,lambda = 10^seq(4,-1,-0.1))`

Usamos o melhor lambda usando lambda.min e, portanto, obtemos os coeficientes de regressão usando a função predict .

best_lambda = model$lambda.min

Os coeficientes obtidos utilizando a regressão de Ridge são:

## Loading required package: Matrix
## Loading required package: foreach
## Loaded glmnet 2.0-16
## 6 x 1 sparse Matrix of class "dgCMatrix"
##                            1
## (Intercept)      64.92994664
## Agriculture      -0.13619967
## Examination      -0.31024840
## Education        -0.75679979
## Catholic          0.08978917
## Infant.Mortality  1.09527837

Regressão Lasso

Lasso significa Least Absolute Shrinkage and Selection Operator (Mínimos absolutos reduzidos e operador de seleção). Faz uso da técnica de regularização L1 na função objetivo. Assim, a função objetivo na regressão LASSO torna-se:

\[ min \sum \epsilon^2 + \lambda \sum |\beta| = min \sum (y - (\beta_0 + \beta_1X_1 + \beta_2X_2 + ... + \beta_pX_p ))^2 + \lambda \sum |\beta| \]

\(\lambda\) é o parâmetro de regularização e o termo de interceptação não é regularizado. Não assumimos que os termos de erro sejam normalmente distribuídos. Para as estimativas, não temos nenhuma fórmula matemática específica, mas podemos obter as estimativas usando algum software estatístico.

Observe que a regressão lasso também precisa de padronização.

Vantagens da regressão Lasso em relação a regressão Ridge

A regressão de laço pode executar a seleção de variáveis incorporadas, bem como o encolhimento de parâmetros. Ao usar a regressão de Ridge, pode-se acabar obtendo todas as variáveis, mas com os Parâmetros encolhidos.

Código R para a regressão de Lasso

Considerando o conjunto de dados swiss, temos:

X = wiss[, - 1]
y = swiss[, 1]

Usando cv.glmnet no pacote glmnet nós fazemos validação cruzada. Para a regressão lasso, definimos alfa = 1. Por padrão, standardize = TRUE, portanto, não precisamos padronizar as variáveis separadamente.

set.seed(123)
model = cv.glmnet(as.matrix(X),y,alpha = 1,lambda = 10^seq(4,-1,-0.1))

Consideramos o melhor valor de lambda, filtrando lamba.min do modelo e, portanto, obtendo os coeficientes usando a função predict .

best_lambda = model$lambda.min
lasso_coeff = predict(model, s = best_lambda, type = “coefficients”)
lasso_coeff

Os coeficientes de laço que obtivemos são:

## 6 x 1 sparse Matrix of class "dgCMatrix"
##                            1
## (Intercept)      65.46374579
## Agriculture      -0.14994107
## Examination      -0.24310141
## Education        -0.83632674
## Catholic          0.09913931
## Infant.Mortality  1.07238898

Qual é melhor? Regressão Ridge ou Lasso?

Tanto a regressão da ridge como a regressão do lasso são utilizadas para lidar com a multicolinearidade. A regressão de Ridge é computacionalmente mais eficiente em relação à regressão de laço. Qualquer um deles pode ter um melhor desempenho. Portanto, a melhor abordagem é selecionar esse modelo de regressão que se ajusta bem aos dados do conjunto de testes.