Definição
Nomenclaturas
Tipos de Regressão
Regressão Linear
Regressão Polinomial
Regressão Logística
Regressão Quantílica
Regressão Ridge
Regressão Lasso
Regressão ElasticNet
Regressão de Componentes Principais
Regressão por Mínimos Quadrados Parciais
Regressão Vetorial de Suporte
Regressão Ordinal
Regressão de Poisson
Regressão Binomial Negativa
Regressão Quasi-Poisson
Regressão de Cox
Qual o modelo de regressão correto?
Análise de regressão é um dos métodos estatísticos mais usados para investigar a relação entre variáveis. Em média, os profissionais da área sabem apenas 2-3 tipos de regressão que são comumente usados no mundo real. A regressão estuda a relação entre duas ou mais variáveis e é uma ferramenta bastante utilizada em diversas áreas do conhecimento, tais como medicina, engenharia etc.
Em estatística, outlier, valor aberrante ou valor atípico, é uma observação que apresenta um grande afastamento das demais da série (que está “fora” dela), ou que é inconsistente. A existência de outliers implica, tipicamente, em prejuízos a interpretação dos resultados dos testes estatísticos aplicados às amostras, devido ao seu impacto na construção do modelo.
Multicolinearidade em regressão é uma condição que ocorre quando algumas variáveis preditoras no modelo estão correlacionadas a outras variáveis preditoras. A multicolinearidade forte é problemática porque pode aumentar a variância dos coeficientes de regressão, tornando-os instáveis.
apresenta-se como uma forte dispersão dos dados em torno de uma reta; uma dispersão dos dados perante um modelo econométrico regredido.
A utilização de variáveis explicativas desnecessárias pode levar ao overfitting. Overfitting significa o bom funcionamento do algoritmo em relação ao conjunto de treinamento, mas não consegue ter um melhor desempenho nos conjuntos de teste. Conhecido como problema de alta variãncia.
Quando o algoritmo não tem um bom funcionamento, dizemos que ele não serve para os dados. Conhecido como problema de alto viés
Regressão linear é o processo de traçar uma reta através dos dados em um diagrama de dispersão. A reta resume esses dados, o que é útil quando fazemos previsões. A regressão linear se subdivide em simples e multipla. Regressão linear simples é responsável por avaliar a relação linear entre duas variáveis, sendo uma resposta e um preditor. Quando é realizada a comparação das duas variáveis, é possível prever um valor de resposta com uma precisão maior que o simples acaso. Na regressão linear simples, a relação entre duas variáveis pode ser representada por uma linha reta, criando uma relação direta de causa e efeito. Assim, será possível prever os valores de uma variável dependente com base nos resultados da variável independente, como ocorre num gráfico de uma equação de primeiro grau. Muitas vezes uma única variável preditora não será capaz de explicar tudo a respeito da variável resposta. Por exemplo, a renda de uma determinada pessoa (variável resposta) é influenciada por diversas variáveis, tais como sexo, idade, escolaridade entre outras. Assim, precisamos realizar uma regressão linear múltipla.
\[ Y = \alpha + \beta_X + \varepsilon \]
\[ Y = \beta_0 + \beta_1X_1 + \beta_2X_2 + \beta_3X_3 + ... + \beta_kX_k + \varepsilon \]
Deve haver relação linear entre variáveis independentes e dependentes.
Não deve haver outliers presente.
Homocedasticidade
As observações amostrais devem ser independentes.
Os erros devem ser normalmente distribuídos com média ‘zero’ e variancia constante.
Ausencia de multicolinearidade e autocorrelação.
Consideramos o conjunto de dados suíço para realizar a regressão linear em R. Usamos a função lm () no pacote base. Tentamos estimar a fertilidade com a ajuda de outras variáveis.
biblioteca (dataset)
model = lm (Fertilidade ~., data = swiss)
lm_coeff = model $ coefficients
lm_coeff
summary (model)
Assim, podemos ver que 70% da variação na taxa de fertilidade pode ser explicada via regressão linear.
É uma técnica utilizada para ajustar uma equação não linear tomando funções polinomiais de variável independente. Assim, nas situações em que a relação entre a variável dependente e independente parece ser não-linear, podemos implantar modelos de regressão polinomial.
Assim, um polinômio de grau k em uma variável pode ser escrito como:
\[ Y= \beta_0 + \beta_1X_1 + \beta_2X^2 + ... + \beta_kX^k + \varepsilon \]
Aqui pode-se criar novos recursos como
\[ X_1 = x, X_2=x^2, ... , X_k = x^k \]
e pode caber regressão linear da mesma maneira.
No caso de multiplas variáveis dizer X_1 e X_2, podemos criar um terceiro novo recurso (digamos X3) que é o produto de X1 e X2, ou seja,
\[X_3 = X_1 * X_2\]
Deve-se ter em mente que a criação de recursos extras desnecessários ou a adaptação de polinômios de grau mais alto podem levar ao overfitting.
Primeiro, lemos os dados usando read.csv () e os dividimos na variável dependente e independente
data = read.csv (“poly.csv”)
x = dados $ Area
y = data $ Price
Para comparar os resultados da regressão linear e polinomial, primeiramente ajustamos a regressão linear:
model1 = lm (y ~ x)
model1 $ ajuste
model1 $ coeff
Os coeficientes e valores previstos obtidos são:
> model1 $ fit
1 2 3 4 5 6 7 8 9 10
169.0995 178.9081 188.7167 218.1424 223.0467 266.6949 291.7068 296.6111 316.2282 335.8454
> model1 $ coeff
(Intercept) x
120.05663769 0.09808581Criamos um dataframe onde a nova variável é x e x square.
new_x = cbind (x, x ^ 2)
new_x
x
[1,] 500 250000
[2] 600 360000
[3] 700 490000
[4,] 1000 1000000
[5,] 1050 1102500
[6,] 1495 2235025
[7,] 1750 3062500
[8,] 1800 3240000
[ 9,] 2000 4000000
[10] 2200 4840000Agora nós ajustamos o OLS usual aos novos dados:
model2 = lm (y ~ new_x)
model2 $ ajuste
model2 $ coeff
Os valores ajustados e os coeficientes de regressão da regressão polinomial são:
> model2 $ fit
1 2 3 4 5 6 7 8 9 10
122.5388 153.9997 182.6550 251.7872 260.8543 310.6514 314.1467 312.6928 299.8631 275.8110
> model2 $ coeff
(Intercept) new_xx new_x
-7.684980e + 01 4.689175e-01 -1.402805e-04Usando o pacote ggplot2, tentamos criar um gráfico para comparar as curvas por regressão linear e polinomial.
biblioteca (ggplot2)
ggplot (dados = dados) + pontos geométricos (aes (x = Área, y = Preço)) +
geom_line (aes (x = Área, y = model1 $ fit), color = “red”) +
geom_line (aes (x = Área, y = model2 $ fit), color = “blue”) +
tema (panel.background = element_blank ())
Na regressão logística, a variável dependente é de natureza binária (tendo duas categorias). Variáveis independentes podem ser contínuas ou binárias. Na regressão logística multinomial, pode-se ter mais de duas categorias em sua variável dependente.
O modelo é do tipo:
\[ p=\frac{1}{1+e^{-(b_0+b_1X_1+b_2X_2+ --- + b_kX_k)}} \]
A suposição de homocedasticidade é violada.
Erros não são normalmente distribuídos
y segue a distribuição binomial e, portanto, não é normal.
Análise de RH: As empresas de TI recrutam um grande número de pessoas, mas um dos problemas que encontram é depois de aceitar a oferta de emprego na qual muitos candidatos não participam. Então, isso resulta em excesso de custos porque eles precisam repetir todo o processo novamente. Agora, quando voce recebe um aplicativo, é possível prever se o candidato provavelmente ingressará na organização (Resultado Binário - Ingressar / Não Participar).
Eleições: Suponha que estamos interessados nos fatores que influenciam se um candidato político vence uma eleição. A variável de resultado (resposta) é binária (0/1); ganhar ou perder. As variáveis de previsão de interesse são a quantidade de dinheiro gasto na campanha e a quantidade de tempo gasto fazendo campanha negativamente.
Através de regressão logística temos -
P (Y = 1) = exp (a + Bâ‚™X) / (1+ exp (a + Bâ‚™X))
Assim, escolhemos um corte de probabilidade, digamos ‘p’ e se P (Yi = 1)> p, então podemos dizer que Yi pertence é classe 1, caso contrário, 0.
Se tomarmos exponenciais de coeficientes, então obteremos odds ratio com a variável explicativa. Suponha que odds ratio seja igual a dois, então as chances de sucesso são 2 vezes maiores que as chances de fracasso. Suponha que a variável dependente seja o desgaste do cliente (se o cliente fechará relação com a empresa) e a variável independente é o status de cidadania (nacional / expatriado). A probabilidade de expatriação é 3 vezes maior do que as chances de um atributo nacional.
Neste caso, estamos tentando estimar se uma pessoa terá cancer dependendo se ele fuma ou não.
Ajustamos a regressão logística com a função glm () e estabelecemos family = “binomial”
modelo <- glm (Lung.Cancer..Y. ~ Smoking..X., data = dados, family = “binomial”)
As probabilidades previstas são dadas por:
Probabilidades de #Predicted
modelo $ fitted.values
1 2 3 4 5 6 7 8 9
0,4545455 0,4545455 0,6428571 0,6428571 0,4545455 0,4545455 0,4545455 0,4545455 0,6428571
10 11 12 13 14 15 16 17 18
0,6428571 0,4545455 0,4545455 0,6428571 0,6428571 0,6428571 0,4545455 0,6428571 0,6428571
19 20 21 22 23 24 25
0,6428571 0,4545455 0,6428571 0,6428571 0,4545455 0,6428571 0,6428571Prever se a pessoa terá cancer ou não quando escolhermos a probabilidade de corte ser 0.5
data $ prediction <- model $ fitted.values> 0.5
data $ prediction
[1] FALSE FALSE VERDADEIRO VERDADE FALSO FALSE FALSE FALSE VERDADEIRO VERDADE FALSO FALSE VERDADEIRO VERDADEIRO VERDADEIRO
[16] FALSO VERDADEIRO VERDADEIRO FALSO VERDADEIRO VERDADEIRO FALSO VERDADEIRO VERDADEIROA regressão quantílica é a extensão da regressão linear e geralmente a usamos quando outliers, alta skeweness e heterocedasticidade existem nos dados.
Na regressão linear, predizemos a média da variável dependente para determinadas variáveis independentes. Como a média não descreve toda a distribuição, a modelagem da média não é uma descrição completa de uma relação entre variáveis dependentes e independentes. Assim, podemos usar a regressão quantílica, que prevê um quantil (ou percentil) para determinadas variáveis independentes.
O termo “quantile” é o mesmo que “percentile”
Na regressão quantílica, tentamos estimar o quantil da variável dependente dados os valores de X’s. Observe que a variável dependente deve ser contínua.
Para o qth quantile, temos o seguinte modelo de regressão:
\[ Y_i=X_i'\beta + \varepsilon_i \]
Isso parece semelhante ao modelo de regressão linear, mas aqui a função objetiva que consideramos minimizar é:
\[ q\sum |\varepsilon_i| + (1-q)\sum |\varepsilon_i| \]
onde q é o qquimo quantil.
Se q = 0,5 ou seja, se estamos interessados na mediana, então, torna-se a regressão mediana (ou menor regressão desvio absoluto) e substituindo o valor de q = 0,5 na equação acima obtemos a função objetivo como:
\[\sum |\varepsilon_i|\]
Suponha que a equação de regressão para o 25° quantil de regressão seja:
y = 5,2333 + 700,823 x
Isso significa que, para um aumento unitário em x, o aumento estimado no 25° quantil de y em 700.823 unidades.
Deve-se ter em mente que os coeficientes que obtemos na regressão quantílica para um quantil particular devem diferir significativamente daqueles obtidos a partir da regressão linear. Se não é assim, então o nosso uso da regressão quantílica não é justificável. Isso pode ser feito observando-se os intervalos de confiança dos coeficientes de regressão das estimativas obtidas a partir de ambas as regressões.
Precisamos instalar o pacote quantreg para realizar a regressão quantílica.
biblioteca install.packages (“quantreg”) (quantreg)
Usando a função rq , tentamos prever a estimativa do 25° quantil da Taxa de Fertilidade em dados suíços. Para isso, definimos tau = 0,25.
model1 = rq (Fertilidade ~., dados = suíço, tau = 0,25)
resumo (modelo1)
tau: [1] 0,25
Coeficientes:
coeficientes mais baixos bd superior bd
(Intercepção) 76,63132 2,12518 93,99111
Agricultura -0,18242 -0,44407 0,10603
Exame -0,53411 -0,91580 0,63449
Educação -0,82689 -1,25865 -0,50734
Católica 0,06116
0,00420 0,22848 InfantilMortalidade 0,69341 -0,10562 2,36095Definindo tau = 0,5, executamos a regressão mediana.
model2 = rq (Fertilidade ~., dados = su�ço, tau = 0,5)
resumo (modelo2)
tau: [1] 0.5
Coeficientes:
coeficientes mais baixos bd superior bd
(Intercepção) 63.49087 38.04597 87.66320
Agricultura -0.20222 -0.32091 -0.05780
Exame -0.45678 -1.04305 0.34613
Educação -0.79138 -1.25182 -0.06436
Católicos 0.10385 0.01947 0.15534
Infância.Mortalidade 1.45550 0.87146 2.21101É importante entender o conceito de regularização antes de pular para a regressão da crista.
A regularização ajuda a resolver problemas de ajuste excessivo, o que implica que o modelo tenha um bom desempenho nos dados de treinamento, mas tenha um desempenho ruim nos dados de validação (teste). A regularização resolve esse problema adicionando um termo de penalidade à função objetivo e controla a complexidade do modelo usando esse termo de penalidade.
A regularização geralmente é util nas seguintes situações:
Na regularização de L1, tentamos minimizar a função objetivo adicionando um termo de penalidade à soma dos valores absolutos dos coeficientes. Isso também é conhecido como o método de menor desvio absoluto. Lasso Regression faz uso da regularização L1.
Na regularização de L2, tentamos minimizar a função objetivo adicionando um termo de penalidade à soma dos quadrados dos coeficientes. Regressão de Ridge ou regressão de encolhimento faz uso da regularização de L2.
Em geral, L2 tem melhor desempenho que a regularização L1. L2 é eficiente em termos de computação. Existe uma àrea onde L1 é considerada como uma opção preferida sobre L2. L1 possui seleção de recursos incorporados para espaços de recursos esparsos. Por exemplo, voce está prevendo se uma pessoa está tendo um tumor cerebral usando mais de 20.000 marcadores genéticos (características). Sabe-se que a grande maioria dos genes tem pouco ou nenhum efeito sobre a presença ou gravidade da maioria das doenças.
Na função objetivo de regressão linear, tentamos minimizar a soma dos quadrados dos erros. Na regressão ridge (também conhecida como regressão de contração) adicionamos uma restrição na soma dos quadrados dos coeficientes de regressão. Assim, na regressão das cristas, nossa função objetiva é:
\[ Min (\sum\varepsilon^2 + \lambda\beta^2) = Min \sum(Y-(\beta_1 + \beta_2X_2+ \beta_3 + ... + \beta_kX_k))^2 + \lambda\sum\beta^2 \]
Aqui λ é o parâmetro de regularização que é um numero não negativo. Aqui não assumimos normalidade nos termos de erro.
Nós não regularizamos o termo de interceptação. A restrição é apenas a soma dos quadrados dos coeficientes de regressão dos X’s.
Podemos ver que a regressão de cumeeira faz uso da regularização de L2.
Ao resolver a função objetivo acima, podemos obter as estimativas de β como:
\[ \hat\beta = (X'X + \lambda I)^{-1}X'Y \] Onde I é uma matriz identidade.
Se escolhermos lambda = 0, retornamos as estimativas usuais de OLS. Se lambda for escolhido para ser muito grande, isso levará ao underfitting. Assim, é altamente importante determinar um valor desejável de lambda. Para resolver esse problema, plotamos as estimativas dos parâmetros em relação a diferentes valores de lambda e selecionamos o valor mínimo de λ após o qual os parâmetros tendem a se estabilizar.
Considerando o conjunto de dados da Swiss, criamos dois conjuntos de dados diferentes, um contendo variável dependente e outro contendo variáveis independentes.
X = swiss [, - 1]
y = swiss [, 1]
Precisamos carregar a biblioteca glmnet para realizar a regressão das margens .
biblioteca (glmnet)
Usando a função cv.glmnet () , podemos fazer validação cruzada. Por padrão alfa = 0, o que significa que estamos realizando regressão de crista. lambda é uma sequência de vários valores de lambda que será usada para validação cruzada.
set.seed (123) #Setting a semente para obter resultados semelhantes.
model = cv.glmnet (como.matriz (X), y, alfa = 0, lambda = 10 ^ seq (4, -1, -0,1))
Usamos o melhor lambda usando lambda.min e, portanto, obtemos os coeficientes de regressão usando a função predict .
best_lambda = modelo $ lambda.min
ridge_coeff = predict (modelo, s = best_lambda, type = “coefficients”)
ridge_coeff Os coeficientes obtidos usando a regressão da crista são:
6 x 1 Matriz esparsa da classe "dgCMatrix"
1
(Interceptar) 64.92994664
Agricultura -0.13619967
Exame -0.31024840
Educação -0.75679979
Católico 0.08978917
Infantil.Mortalidade 1.09527837Lasso significa Least Absolute Shrinkage and Selection Operator . Faz uso da técnica de regularização L1 na função objetivo. Assim, a função objetivo na regressão LASSO torna-se:
\[ Min (\sum\varepsilon^2 + \lambda\sum|\beta|) = Min \sum(Y-(\beta_1 + \beta_2X_2+ \beta_3 + ... + \beta_kX_k))^2 + \lambda\sum|\beta| \]
λ é o parâmetro de regularização e o termo de interceptação não é regularizado.
Não assumimos que os termos de erro sejam normalmente distribuídos.
Para as estimativas, não temos nenhuma fórmula matemática específica, mas podemos obter as estimativas usando algum software estatístico.
Observe que a regressão lasso também precisa de padronização.
Considerando o swiss dataset do pacote “datasets”, temos:
#Criando variáveis dependentes e independentes.
X = swiss [, - 1]
y = swiss [, 1]
Usando cv.glmnet no pacote glmnet nós fazemos validação cruzada. Para a regressão do lasso, definimos alfa = 1. Por padrão, padronizar = TRUE, portanto, não precisamos padronizar as variáveis separadamente.
#Setting the seed for reproducibility
set.seed (123)
model = cv.glmnet (como.matriz (X), y, alfa = 1, lambda = 10 ^ seq (4, -1, -0.1))
# Por padrão, padronize = TRUE
Consideramos o melhor valor de lambda, filtrando lamba.min do modelo e, portanto, obtendo os coeficientes usando a função predict .
# Obtendo o melhor lambda
best_lambda = model $ lambda.min
lasso_coeff = predizer (model, s = best_lambda, type = “coeficientes”)
lasso_coeff Os coeficientes de laço que obtivemos são:
6 x 1 Matriz esparsa da classe "dgCMatrix"
1
(Intercepção) 65.46374579
Agricultura -0.14994107
Exame -0.24310141
Educação -0.83632674
Católica 0.09913931
Infância.Mortalidade 1.07238898Tanto a regressão da crista como a regressão do lasso são indicadas para lidar com a multicolinearidade.
A regressão de Ridge é computacionalmente mais eficiente em relação à regressão de lasso. Qualquer um deles pode ter um melhor desempenho. Portanto, a melhor abordagem é selecionar esse modelo de regressão que se ajusta bem aos dados do conjunto de testes.
A regressão Elastic Net é preferida tanto na regressão ridge quanto no lasso quando se está lidando com variáveis independentes altamente correlacionadas.
É uma combinação de regularização L1 e L2.
A função objetivo no caso da Regressão Elastic Net é:
\[ Min (\sum\varepsilon^2 + \lambda_1\sum\beta^2 + \lambda_2\sum|\beta|) = Min \sum(Y-(\beta_1 + \beta_2X_2+ \beta_3 + ... + \beta_kX_k))^2 \ \lambda_1\sum\beta^2 + \lambda_2\sum|\beta| \]
Como Ridge e a regressão Lasso, esta não assume normalidade.
Definindo algum valor diferente de alfa entre 0 e 1, podemos realizar uma regressão elastic net.
set.seed(123)
model = cv.glmnet(as.matrix(X),y,alpha = 0.5,lambda = 10^seq(4,-1,-0.1))
#Taking the best lambda
best_lambda = model$lambda.min
en_coeff = predict(model,s = best_lambda,type = “coefficients”)
en_coeff
Os coeficientes que obtivemos são:
6 x 1 sparse Matrix of class "dgCMatrix"
1
(Intercept) 65.9826227
Agriculture -0.1570948
Examination -0.2581747
Education -0.8400929
Catholic 0.0998702
Infant.Mortality 1.0775714PCR é uma técnica de regressão que é amplamente utilizada quando voce tem muitas variáveis independentes ou a multicolinearidade existe em seus dados. Ela está dividida em 2 etapas:
1.Obtendo os componentes principais
2.Executar análise de regressão nos componentes principais
As características mais comuns da PCR são:
Redução de dimensionalidade
Remoção de multicolinearidade
A análise de componentes principais é um método estatístico para extrair novos recursos quando os recursos originais são altamente correlacionados. Criamos novos recursos com a ajuda dos originais, de modo que os novos não sejam correlacionados.
\[ U_1 = \beta_1X_1 + \beta_2X_2 + ... + \beta_pX_p \ \ => \sum\beta^2=1 \]
O primeiro PC (componente principal) estão tendo a variação maxima.
Da mesma forma, podemos encontrar o segundo compoente principal U2 de tal modo que ele não seja correlacionado com U1 e tenha a segunda maior variancia.
Deve ser mencionado que o PCR não é uma técnica de seleção de recursos, mas sim uma técnica de extração de características. Cada componente principal que obtemos é uma função de todos os recursos. Portanto, ao se usar componentes principais, seria impossível explicar qual fator está afetando a variável dependente em qual extensão.
Usamos o conjunto de dados longley disponÃ?vel em R, que é usado para alta multicolinearidade. Nós criamos a coluna Ano (Year).
data1 = longley[,colnames(longley) != “Year”]
Usamos o pacote pls para executar o PCR.
install.packages(“pls”)
library(pls)
Na PCR estamos tentando estimar o número de pessoas empregadas; scale = T denota que estamos padronizando as variáveis; validação = “CV” denota a aplicabilidade da validação cruzada.
pcr_model <- pcr(Employed~., data = data1, scale = TRUE, validation = “CV”)
summary(pcr_model)
Obtemos o resumo como:
Data: X dimension: 16 5
Y dimension: 16 1
Fit method: svdpc
Number of components considered: 5
VALIDATION: RMSEP
Cross-validated using 10 random segments.
(Intercept) 1 comps 2 comps 3 comps 4 comps 5 comps
CV 3.627 1.194 1.118 0.5555 0.6514 0.5954
adjCV 3.627 1.186 1.111 0.5489 0.6381 0.5819
TRAINING: % variance explained
1 comps 2 comps 3 comps 4 comps 5 comps
X 72.19 95.70 99.68 99.98 100.00
Employed 90.42 91.89 98.32 98.33 98.74Aqui no RMSEP, os erros de raiz quadrada média estão sendo denotados. Enquanto em ‘Treinamento:% de variancia explicada’ o% cumulativo de variancia explicado pelos componentes principais está sendo representado. Podemos ver que, com 3 PCs, mais de 99% da variação pode ser atribuída. Também podemos criar um gráfico representando o erro de quadrados médios para o número de vários PCs.
Se quisermos ajustar o pcr para 3 componentes principais e, portanto, obter os valores previstos, podemos escrever:
pred = predict (pcr_model, data1, ncomp = 3)
É uma técnica alternativa de regressão de componentes principais quando voce tem variáveis independentes altamente correlacionadas. Também é util quando há um grande numero de variáveis independentes.
Ambas as técnicas criam novas variáveis independentes chamadas componentes que são combinações lineares das variáveis preditoras originais, mas a PCR cria componentes para explicar a variabilidade observada nas variáveis preditoras, sem considerar a variável resposta. Enquanto o PLS considera a variável dependente e, portanto, muitas vezes leva a modelos que são capazes de ajustar a variável dependente com menos componentes.
Dados da biblioteca (plsdepot) (veÃ?culos)
pls.model = plsreg1 (ve�culos [, c (1: 12,14: 16)], ve�culos [, 13], composições = 3)
# R-Square
pls.model $ R2
A regressão vetorial de suporte pode resolver modelos lineares e não lineares. O SVM usa funções de kernel não lineares (como polinômios) para encontrar a solução ideal para modelos não lineares.
A ideia principal do SVR é minimizar o erro, individualizando o hiperplano que maximiza a margem.
library (e1071)
svr.model <- svm (Y ~ X, data)
pred <- predizer (svr.model, data)
pontos (dados $ X, pred, col = “red”, pch = 4)
Regressão Ordinal é usada para prever valores ordenados. Em palavras simples, esse tipo de regressão é adequado quando a variável dependente é ordinal por natureza. Exemplo de variáveis ordinais - Respostas da pesquisa (escala de 1 a 6), reação do paciente á dose de medicamento (nenhuma, leve, grave).
A regressão de Poisson é usada quando a variável dependente possui dados de contagem .
1.Prever o numero de chamadas no atendimento ao cliente relacionadas a um produto específico
A variável dependente deve atender às seguintes condições
A variável dependente possui uma distribuição de Poisson.
Contagens não podem ser negativas.
Este método não é adequado em numeros nao inteiros.
No código abaixo, estamos usando conjuntos de dados chamados warpbreaks, que mostram o numero de quebras no Yarn durante a tecelagem. Neste caso, o modelo inclui termos para o tipo de lã, a tensão da lã e a interação entre os dois.
pos.model <-glm (quebra ~ lã * tensão, dados = warpbreaks, fam�lia = poisson)
resumo (pos.model)
Como a Regressão de Poisson, também lida com dados de contagem. A questão surge “como é diferente da regressão de poisson”. A resposta é negativa. Regressão binomial não assume distribuição de contagem tendo variancia igual a sua média. Enquanto a regressão de poisson assume a variancia igual a sua média.
Quando a variancia dos dados de contagem é maior que a contagem média, é um caso de superdispersão. O oposto da afirmação anterior é um caso de sub-dispersão.
biblioteca (MASS)
nb.model <- glm.nb (Dias ~ Sexo / (Idade + Eth * Lrn), dados = quine)
resumo (nb.model)
É uma alternativa à regressão binomial negativa. Também pode ser usado para dados de contagem superdispersos. Ambos os algoritmos dão resultados semelhantes, existem diferenças na estimativa dos efeitos das covariáveis. A variancia de um modelo quase-Poisson é uma função linear da média, enquanto a variancia de um modelo binomial negativo é uma função quadrática da média.
qs.pos.model <- glm (Dias ~ Sexo / (Idade + Eth * Lrn), dados = quine, familia = “quasipoisson”)
A regressão Quasi-Poisson pode lidar com superdispersão e sub-dispersão.
A regressão Cox é adequada para dados de tempo até o evento. Veja os exemplos abaixo -
O tempo do cliente abriu a conta até o atrito.
Tempo após o tratamento do cancer até a morte.
Tempo do primeiro ataque cardíaco ao segundo.
A regressão logística usa uma variável dependente binária, mas ignora o tempo dos eventos.
Além de estimar o tempo necessário para alcançar um determinado evento, a anáise de sobrevivencia também pode ser usada para comparar o tempo até o evento para vários grupos.
Alvos duplos são definidos para o modelo de sobrevivencia
Uma variável contínua representando o tempo para o evento.
Uma variável binária que representa o status se um evento ocorreu ou não.
library(survival)
# Lung Cancer Data
# status: 2=death
lung$SurvObj <- with(lung, Surv(time, status == 2))
cox.reg <- coxph(SurvObj ~ age + sex + ph.karno + wt.loss, data = lung)
cox.reg
Se a variável dependente é contínua e o modelo sofre de colinearidade ou existem muitas variáveis independentes, voce pode tentar regressões de PCR, PLS, cume, lasso e rede elástica. Voce pode selecionar o modelo final com base em R-quadrado ajustado, RMSE, AIC e BIC.
Se voce está trabalhando em dados de contagem, voce deve tentar poisson, quase-poisson e regressão binomial negativa.
Para evitar overfitting, podemos usar o método de validação cruzada para avaliar os modelos usados para previsão. Também podemos usar técnicas de regressão de rede elástica, lasso e elástico para corrigir o problema de ajuste excessivo.
Tente a regressão vetorial de suporte quando voce tiver um modelo não linear.