Regressão linear múltipla

Em estatística , a regressão linear múltipla é um método de regressão matemática que estende a regressão linear simples para descrever as variações de uma variável endógena associada às variações de várias variáveis exógenas .

Por exemplo, a análise de regressão múltipla pode revelar uma relação positiva entre a demanda por óculos de sol e diferentes dados demográficos (idade, salário) dos compradores desse produto. A demanda aumenta e diminui com as mudanças nessas características.

Modelo teórico

Dada uma amostra $( Y i , X i 1 , ..., X ip ) i \in {1, n }$ , tentamos explicar, com a maior precisão possível, os valores tomados por $Y i$ , denominada variável endógena , de uma série de variáveis explicativas $X i 1 , ..., X ip$ . O modelo teórico, formulado em termos de variáveis aleatórias, assume a forma

{\ displaystyle Y_ {i} = a_ {0} + a_ {1} X_ {i1} + a_ {2} X_ {i2} + \ ldots + a_ {p} X_ {ip} + \ varepsilon _ {i}, \ qquad i = 1, \ ldots, n}

onde $ε i$ é o erro do modelo que expressa, ou resume, a informação que falta na explicação linear dos valores de $Y i$ de $X i 1 , ..., X ip$ (problema de especificação, variáveis não levadas em consideração , etc.). Os coeficientes $a 0 , a 1 , ..., a p$ são os parâmetros a serem estimados.

Estimativa

Quando temos n observações $( y i , x i 1 , ..., x ip ), i \in {1, n }$ , que são realizações das variáveis aleatórias $( Y i , X i 1 , ..., X ip )$ , a equação de regressão é escrita

{\ displaystyle y_ {i} = a_ {0} + a_ {1} x_ {i1} + \ ldots + a_ {p} x_ {ip} + \ varepsilon _ {i} \ qquad i = 1, \ ldots, n \,}

O problema permanece o mesmo da regressão simples:

estime os parâmetros $a 0 , a 1 , ..., a p$ explorando as observações;
avaliar a precisão desses estimadores;
medir o poder explicativo do modelo;
avaliar a influência das variáveis no modelo:
- globalmente (as variáveis p no bloco) e,
- individualmente (cada variável);
avaliar a qualidade do modelo durante a predição (intervalo de predição);
detectar observações que podem ter uma influência excessiva nos resultados (pontos atípicos).

Notação de matriz

Pode-se adotar uma escrita condensada que facilita a leitura e a manipulação do todo. As seguintes equações

{\ displaystyle {\ begin {cases} y_ {1} = a_ {0} + a_ {1} x_ {1,1} + \ ldots + a_ {p} x_ {1, p} + \ varepsilon _ {1} \\ y_ {2} = a_ {0} + a_ {1} x_ {2,1} + \ ldots + a_ {p} x_ {2, p} + \ varepsilon _ {2} \\\ cdots \\ y_ {n} = a_ {0} + a_ {1} x_ {n, 1} + \ ldots + a_ {p} x_ {n, p} + \ varejpsilon _ {n} \ end {casos}}}

pode ser resumido com notação de matriz

{\ displaystyle {\ begin {pmatrix} y_ {1} \\\ vdots \\ y_ {n} \ end {pmatrix}} = {\ begin {pmatrix} 1 & x_ {1,1} & \ cdots & x_ { 1, p} \\\ vdots & \ vdots & \ ddots & \ vdots \\ 1 & x_ {n, 1} & \ cdots & x_ {n, p} \ end {pmatrix}} {\ begin {pmatrix} a_ {0} \\ a_ {1} \\\ vdots \\ a_ {p} \\\ end {pmatriz}} + {\ begin {pmatriz} \ varepsilon _ {1} \\\ vdots \\\psilon _ { n} \\\ end {pmatrix}}}

De forma compacta:

{\ displaystyle y = Xa + \ varepsilon \,}

com

y é de dimensão ( n , 1)
X tem dimensão ( n , p +1)
a é de dimensão ( p +1, 1)
$ε$ é de dimensão ( n , 1)

A primeira coluna da matriz $X é$ usada para indicar que a regressão é realizada com constante (aqui ). ${\ displaystyle a_ {0}}$

Hipóteses

Como na regressão simples, os pressupostos permitem determinar: as propriedades dos estimadores (enviesamento, convergência); e suas leis de distribuição (para estimativas de intervalo e teste de hipóteses).

Existem basicamente duas categorias de premissas:

Suposições estocásticas

H 1 : Os X j são determinados sem erros, j = 1,…, p ;
H 2 : O modelo é bem especificado em média; ${\ displaystyle \ mathbb {E} (\ varepsilon _ {i}) = 0 \,}$
H 3 : Homocedasticidade de erros (variância constante) ${\ displaystyle {\ text {Var}} (\ varepsilon _ {i}) = \ sigma ^ {2} \ \ forall {i} \,}$
H 4 : Sem autocorrelação de erros. ${\ displaystyle \ mathrm {cov} (\ varepsilon _ {i}, \ varepsilon _ {j}) = 0 \ \ forall {i \ neq j} \,}$
H 5 : Os erros são linearmente independentes das variáveis exógenas. ${\ displaystyle \ mathrm {cov} (X_ {i}, \ varepsilon _ {j}) = 0 \ \ forall {i \ neq j} \,}$
H 6 : Os erros seguem uma lei normal multidimensional (H 6 implica as hipóteses H 2 , H 3 e H 4 , sendo o inverso falso porque as três hipóteses combinadas não implicam que $ε$ seja um vetor Gaussiano). ${\ displaystyle \ varepsilon \ sim {\ mathcal {N}} _ {n} (0, \ sigma ^ {2} I_ {n}) \,}$

Suposições estruturais

H 7 : ausência de colinearidade entre as variáveis explicativas, ou seja, X T X é regular, det ( X T X ) ≠ 0 e ( X T X ) −1 existe (nota: é equivalente a posto ( X ) = posto ( X T X ) = p + 1);
H 8 : tende a uma matriz finita não singular Q quando n → + ∞; ${\ displaystyle {\ frac {1} {n}} X ^ {T} X}$
H 9 : O número de observações é maior do que o número de variáveis + 1 (a constante). Se houvesse igualdade, o número de equações seria igual ao número de incógnitas a j , a linha de regressão passaria por todos os pontos, estaríamos enfrentando um problema de interpolação linear (ver Interpolação numérica ). ${\ displaystyle n> p + 1 \,}$

Escrita da matriz da hipótese H 6

${\ displaystyle \ mathrm {H_ varej {2}:} \ mathbb {E} (\ varejpsilon) = \ mathbb {E} {\ begin {pmatrix} \ varejpsilon _ {1} \\\ vdots \\\psilon _ {n } \ end {pmatrix}} = {\ begin {pmatrix} 0 \\\ vdots \\ 0 \ end {pmatrix}}}$

Sob a suposição de homocedasticidade e ausência de autocorrelação, a matriz de variância-covariância do vetor de erro pode ser escrita:

${\ displaystyle \ mathrm {H_ {3} \ {\ mbox {et}} \ H_ {4}:} \ \ mathrm {cov} (\ varepsilon) = \ sigma ^ {2} I_ {n} = \ sigma ^ {2} {\ begin {pmatrix} 1 & 0 & \ cdots & 0 \\ 0 & 1 & \ cdots & 0 \\\ vdots && \ ddots & \ vdots \\ 0 & \ cdots & \ cdots & 1 \ end {pmatrix}} = {\ begin {pmatrix} \ sigma ^ {2} & 0 & \ cdots & 0 \\ 0 & \ sigma ^ {2} & \ cdots & 0 \\\ vdots && \ ddots & \ vdots \ \ 0 & \ cdots & \ cdots & \ sigma ^ {2} \ end {pmatrix}}}$

Em alguns casos, a hipótese (H 1 ) é insustentável: os regressores X são considerados aleatórios. Mas, neste caso, assumimos que X é aleatório, mas é independente do $ε$ aleatório . Em seguida, substituímos a hipótese (H 2 ) por uma hipótese sobre a expectativa condicional :

{\ displaystyle \ mathrm {H_ {2}:} \ mathbb {E} (\ varepsilon _ {i} \ mid X) = 0 \,}

Da mesma forma, as premissas (H 3 ), (H 4 ) e também (H 5 ) devem ser alteradas de acordo .

O método dos mínimos quadrados ordinários

Estimador de mínimos quadrados ordinários

Do modelo completo:

{\ displaystyle y_ {i} = a_ {0} + a_ {1} x_ {i, 1} + \ cdots + a_ {p} x_ {i, p} + \ epsilon _ {i} \,}

Vamos estimar os parâmetros e obter:

{\ displaystyle {\ hat {y_ {i}}} = {\ hat {a}} _ {0} + {\ hat {a}} _ {1} x_ {i, 1} + \ cdots + {\ hat {a}} _ {p} {x} _ {i, p} \,}

Os resíduos estimados são a diferença entre o valor observado e o valor estimado de y . É :

Definição - ${\ displaystyle {\ hat {\ epsilon}} _ {i} \ equiv y_ {i} - {\ hat {y}} _ {i} \,}$

O princípio dos mínimos quadrados consiste em encontrar os valores dos parâmetros que minimizam a soma dos quadrados dos resíduos.

{\ displaystyle \ min \ sum _ {i = 1} ^ {n} {\ hat {\ epsilon}} _ {i} ^ {2} = \ min _ {{\ hat {a}} _ {0}, ., {\ hat {a}} _ {p}} \ sum _ {i = 1} ^ {n} (y_ {i} - {\ hat {a}} _ {0} - {\ hat {a} } _ {1} x_ {i, 1} - \ cdots - {\ hat {a}} _ {p} x_ {i, p}) ^ {2}}

O que equivale a procurar soluções . Temos j = p + 1 equações, digamos equações normais , para resolver. ${\ displaystyle {\ frac {\ partial (\ sum {\ hat {\ epsilon}} _ {i} ^ {2})} {\ partial {\ hat {a}} _ {j}}} = 0 \, }$

A solução obtida é o estimador de mínimos quadrados ordinários, está escrito:

Teorema - é o estimador que minimiza a soma dos quadrados dos resíduos. ${\ displaystyle {\ hat {a}} = (X ^ {T} X) ^ {- 1} X ^ {T} Y \ qquad \,}$

com

X T

a transposta de X Demonstração

${\ displaystyle {\ frac {\ partial (\ sum {\ hat {\ epsilon}} _ {i} ^ {2})} {\ partial {\ hat {a}} _ {j}}} = 0}$
Ao passar o operador de derivação na soma, temos : ${\ displaystyle \ forall {j = 0, \ cdots, p}}$

${\ displaystyle \ sum _ {i = 1} ^ {n} x_ {i, j} (y_ {i} - {\ hat {a}} _ {0} - {\ hat {a}} _ {1} x_ {i, 1} - \ cdots - {\ hat {a}} _ {p} x_ {i, p}) = 0}$

Basta então escrever esta última relação em forma vetorial:

${\ displaystyle X ^ {T} (YX {\ hat {a}}) = 0 \ Longrightarrow {\ hat {a}} = (X ^ {T} X) ^ {- 1} X ^ {T} Y}$

Notas:

Por que minimizar a soma dos quadrados em vez da soma simples? Isso ocorre, em parte, porque a média desses resíduos será 0 e, portanto, teremos resíduos positivos e negativos. Uma simples soma iria cancelá-los, o que não é o caso dos quadrados.
se x j estão centrados, $1 / n ( X T X )$ corresponde à matriz de variância-covariância das variáveis exógenas; se estiverem centrados e reduzidos, $1 / n ( X T X )$ corresponde à matriz de correlação.

Interpretação geométrica, algébrica e estatística do estimador OLS (Ordinary Least Squares)

Os corresponde estimador MCO para uma projecção ortogonal do vector Y do espaço formado pelo vector X .
O estimador MCO corresponde a uma matriz inversa generalizada do sistema $Y = Xa$ para definir um destaque. Na verdade, se multiplicarmos à esquerda pelo inverso generalizado , temos: ${\ displaystyle (X ^ {T} X) ^ {- 1} X ^ {T}}$

{\ displaystyle (X ^ {T} X) ^ {- 1} X ^ {T} Y = (X ^ {T} X) ^ {- 1} X ^ {T} Xa = a}

O estimador OLS é idêntico ao estimador obtido pelo princípio da máxima verossimilhança .

Propriedades dos estimadores

Se as suposições iniciais forem respeitadas, o estimador OLS tem excelentes propriedades.

Propriedades em amostras acabadas

Propriedade - O estimador OLS é imparcial , ou seja, , sob as premissas H 1 , H 2 , H 5 . ${\ displaystyle \ mathbb {E} ({\ hat {a}}) = a}$

Prova

${\ displaystyle {\ begin {alinhados} \ mathbb {E} [{\ hat {a}}] & = \ operatorname {E} \ left [(X ^ {T} X) ^ {- 1} X ^ {T } Y \ right] \\ & = \ mathbb {E} \ left [a + (X ^ {T} X) ^ {- 1} X ^ {T} \ varejpsilon \ right] \\ & = a + (X ^ {T} X) ^ {- 1} X ^ {T} \ mathbb {E} [\ varepsilon] \ qquad {\ text {sob}} H_ {1} {\ text {and}} H_ {5} \ \ & = a + 0 \ qquad \ qquad \ qquad \ qquad {\ text {sob}} H_ {2} \\ & = a \ end {alinhado}}}$

Esta propriedade é baseada apenas nas premissas de expectativa zero dos resíduos. A presença de autocorrelação ou heteroscedasticidade não afeta esse resultado.

Propriedade - O estimador OLS é o melhor estimador linear não enviesado, nas hipóteses H 1 a H 5 .

Isso significa que não existe um estimador linear imparcial de a que possui uma variância menor. Esta propriedade em inglês é designada por AZUL, para o melhor estimador linear não enviesado . A prova é dada pelo teorema de Gauss-Markov .

Propriedade - O estimador OLS é distribuído de acordo com uma distribuição normal sob as premissas H 1 , H 2 e H 6 . ${\ displaystyle {\ hat {a}} \ sim {\ mathcal {N}} (a, \ sigma ^ {2} (X ^ {T} X) ^ {- 1})}$

Propriedades assintóticas

Propriedade - O estimador OLS é convergente em probabilidade , ou seja, , nas hipóteses H 6 e H 8 . ${\ displaystyle {\ hat {a}} {\ xrightarrow {p}} a}$

Prova

Vamos reescrever: ${\ displaystyle {\ hat {a}} = a + \ left ({\ frac {(X ^ {T} X)} {n}} \ right) ^ {- 1} {\ frac {X '\ varepsilon} {not}}}$

Considere o limite de probabilidade: ${\ displaystyle \ operatorname {plim} \, {\ hat {a}} = a + \ operatorname {plim} \ left (\ left ({\ frac {(X ^ {T} X)} {n}} \ right ) ^ {- 1} {\ frac {X ^ {T} \ varepsilon} {n}} \ right)}$
Como fizemos a hipótese H 8 que tende a uma matriz definida positiva $Q$ , o limite torna-se: ${\ displaystyle {\ frac {X ^ {T} X} {n}}}$

{\ displaystyle \ operatorname {plim} \, {\ hat {a}} = a + Q ^ {- 1} \ operatorname {plim} \ left ({\ frac {X ^ {T} \ varepsilon} {n}} \ direito)}

Resta então estudar o comportamento de . Sob a hipótese H 6 , (ou melhor, de forma mais restritiva ) podemos mostrar que sua expectativa é zero, e que sua variância tende assintoticamente para 0, o que implica que converge em média quadrática para 0, e portanto qu 'converge em probabilidade para 0. ${\ displaystyle {\ frac {X ^ {T} \ varepsilon} {n}}}$ ${\ displaystyle \ mathbb {E} [x_ {i} \ varepsilon _ {i}] = 0}$
Então, finalmente temos:

{\ displaystyle \ operatorname {plim} \, {\ hat {a}} = a + Q ^ {- 1} \ cdot 0 = a}

Propriedade - O estimador OLS assintoticamente segue uma distribuição normal sob as premissas H 1 a H 5 e H 8 . ${\ displaystyle {\ hat {a}} \ sim {\ mathcal {N}} (a, {\ frac {\ sigma ^ {2} Q ^ {- 1}} {n}})}$

Esse resultado é obtido sem a suposição de normalidade dos resíduos (H 6 ).

Avaliação

Para realizar estimativas de intervalo e testes de hipótese, a abordagem é quase sempre a mesma em estatísticas paramétricas:

definir o estimador ( â em nosso caso);
calcule sua expectativa matemática (aqui E ( â ) = a );
calcular sua variância (ou sua matriz de covariância de variância) e produzir sua estimativa;
e finalmente determinar sua lei de distribuição (em geral e sob a hipótese nula dos testes).

Matriz de variância-covariância dos coeficientes

A matriz de variância-covariância dos coeficientes é importante porque fornece informações sobre a variância de cada coeficiente estimado e permite a realização de testes de hipóteses , em particular para verificar se cada coeficiente é significativamente diferente de zero. É definido por:

{\ displaystyle \ operatorname {Var} ({\ hat {a}}) \ equiv \ Sigma = \ operatorname {E} [({\ hat {a}} - a) ({\ hat {a}} - a) ^ {T}]}

Sob as premissas de expectativa zero, ausência de autocorrelação e homocedasticidade dos resíduos (H 1 a H 5 ), temos:

{\ displaystyle \ operatorname {Var} ({\ hat {a}}) = \ sigma ^ {2} (X'X) ^ {- 1}}

Prova

reescrevendo : , obtemos que: ${\ displaystyle {\ hat {a}} = a + (X ^ {T} X) ^ {- 1} X ^ {T} \ varepsilon}$

${\ displaystyle {\ begin {alinhado} \ operatorname {Var} [{\ hat {a}}] & = \ operatorname {Var} \ left [(X ^ {T} X) ^ {- 1} X ^ {T } \ varejpsilon \ right] \\ & = (X ^ {T} X) ^ {- 1} X ^ {T} \ operatorname {Var} [\ varejpsilon] X (X ^ {T} X) ^ {- 1 } \\ & = (X ^ {T} X) ^ {- 1} X ^ {T} \ sigma ^ {2} IX (X ^ {T} X) ^ {- 1} \ qquad {\ text {under }} H_ {3} {\ text {et}} H_ {4} \\ & = \ sigma ^ {2} (X ^ {T} X) ^ {- 1} X ^ {T} X (X ^ { T} X) ^ {- 1} \\ & = \ sigma ^ {2} (X ^ {T} X) ^ {- 1} \ end {alinhado}}}$

Esta fórmula se aplica, entretanto, apenas no caso em que os resíduos são homocedásticos e sem autocorrelação, o que torna possível escrever a matriz dos erros como:

{\ displaystyle {\ textrm {Cov}} [\ varepsilon] = \ sigma ^ {2} I_ {n} \,}

Se houver heterocedasticidade ou autocorrelação e, portanto , é possível corrigir a matriz de variância-covariância estimada por: ${\ displaystyle {\ textrm {Cov}} [\ varepsilon] \ neq \ sigma ^ {2} I_ {n}}$

Matriz de variância-covariância de White (ou Eicker-White (1967, 1980)), consistente no caso de heteroscedasticidade (em inglês HC for Heteroskedasticity Consistent ).
a matriz de variância-covariância de Newey-West (1987), consistente no caso de heterocedasticidade e autocorrelação (HAC para Heteroscedasticidade e Autocorrelação Consistente ).

Estimativa da variância do resíduo

Para a variância do resíduo , pode-se usar o estimador sem viés construído a partir da variância observada dos resíduos: ${\ displaystyle \ sigma ^ {2} \ equiv \ operatorname {Var} [\ varepsilon]}$

{\ displaystyle s ^ {2} \ equiv {\ hat {\ sigma}} ^ {2} = {\ frac {1} {np-1}} \ sum _ {i = 1} ^ {N} {\ hat {\ varepsilon}} _ {i} ^ {2}}

Os resíduos de fósforo observados: . ${\ displaystyle {\ hat {\ varepsilon}}}$ ${\ displaystyle {\ hat {\ varepsilon}} = Y - {\ hat {Y}}}$

Notamos duas coisas sobre o estimador de variância clássico :

{\ displaystyle s_ {n-1} ^ {2} \ equiv {\ hat {\ sigma}} ^ {2} = {\ frac {1} {n-1}} \ sum _ {i = 1} ^ { n} \ left (y_ {i} - {\ overline {y}} \ right) ^ {2}}

não incluímos a expectativa dos resíduos, porque é assumido como zero (dependendo de ). É importante ressaltar que os resíduos do modelo têm média exatamente zero quando uma constante é introduzida no modelo. ${\ displaystyle H_ {2}}$
A soma dos quadrados é dividida por n - p - 1 = n - ( p + 1) e não por n-1 . Na verdade, n - p -1 corresponde aos graus de liberdade do modelo (o número de observações menos o número de coeficientes a serem estimados). Na verdade, percebemos isso . ${\ displaystyle \ operatorname {E} ({\ hat {\ varepsilon}} '{\ hat {\ varepsilon}}) = \ sigma ^ {2} (np-1)}$

Existe também um outro estimador, obtido pelo método da máxima verossimilhança , porém enviesado:

{\ displaystyle s ^ {2} \ equiv {\ hat {\ sigma}} ^ {2} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {N} {\ hat {\ varejpsilon}} _ {i} ^ {2}}

Estimativa da matriz de variância-covariância dos coeficientes

Basta substituir a variância teórica dos resíduos, $σ 2$ por seu estimador sem usar mínimos quadrados: ${\ displaystyle s ^ {2} \ equiv {\ hat {\ sigma}} ^ {2} = {\ frac {1} {np-1}} \ sum _ {i = 1} ^ {N} {\ hat {\ varepsilon}} _ {i} ^ {2}}$

O estimador da matriz de variância-covariância dos resíduos torna-se:

{\ displaystyle {\ widehat {\ operatorname {Var}}} [{\ hat {a}}] \ equiv {\ hat {\ Sigma}} _ {\ hat {a}} = {\ hat {\ sigma}} ^ {2} (X ^ {T} X) ^ {- 1}}

A variância estimada da estimativa do parâmetro â j é lida na diagonal principal desta matriz. ${\ displaystyle {\ hat {\ sigma}} _ {{\ hat {a}} _ {j}} ^ {2}}$

Estudo de coeficientes

Depois de obter o estimador, sua expectativa e uma estimativa de sua variância, resta calcular sua lei de distribuição para produzir uma estimativa por intervalo e realizar testes de hipóteses.

Distribuição

Partindo da hipótese

{\ displaystyle \ epsilon _ {i} \ sim {\ mathcal {N}} (0, \ sigma ^ {2}) \,}

nós podemos mostrar

${\ displaystyle {\ frac {{\ hat {a}} _ {j} -a_ {j}} {\ sigma _ {{\ hat {a}} _ {j}}}} \ sim {\ mathcal {N }} (0,1)}$
${\ displaystyle (np-1) {\ frac {{\ hat {\ sigma}} _ {{\ hat {a}} _ {j}} ^ {2}} {\ sigma _ {{\ hat {a} } _ {j}} ^ {2}}} \ sim \ chi _ {np-1} ^ {2}}$

A proporção de uma lei normal e a raiz quadrada de uma lei do χ² normalizada por seus graus de liberdade leva a uma lei de estudante . Portanto, deduzimos a estatística:

{\ displaystyle t = {\ frac {{\ hat {a}} _ {j} -a_ {j}} {{\ hat {\ sigma}} _ {{\ hat {a}} _ {j}}} } \ sim \ mathrm {T} (np-1)}

segue uma lei estudantil com ( n - p - 1) graus de liberdade.

Intervalo de confiança e teste de hipótese

A partir dessas informações, é possível calcular os intervalos de confiança das estimativas dos coeficientes.

Também é possível realizar testes de hipóteses , em particular os testes de hipóteses de conformidade com uma norma. Entre os vários testes possíveis, o teste de nulidade do coeficiente (H 0 : a j = 0, contra H 1 : a j ≠ 0) desempenha um papel particular: permite determinar se a variável x j desempenha um papel significativo no modelo. No entanto, você deve ter cuidado com este teste. A aceitação da hipótese nula pode de fato indicar uma ausência de correlação entre a variável incriminada e a variável endógena; mas também pode resultar da forte correlação de x j com outra variável exógena, seu papel é mascarado neste caso, sugerindo uma ausência de explicação por parte da variável.

Avaliação de regressão geral - Tabela de análise de variância

Tabela de análise de variância e coeficiente de determinação

A avaliação geral da relevância do modelo de previsão é baseada na análise da equação de variância SCT = SCE + SCR , onde

SCT , soma dos quadrados totais, reflete a variabilidade total do endógeno;
SCE , soma dos quadrados explicada, reflete a variabilidade explicada pelo modelo;
SCR , soma dos quadrados residuais corresponde à variabilidade não explicada pelo modelo.

Todas essas informações estão resumidas em uma tabela, a Tabela de Análise de Variância .

Fonte de variação	Soma dos quadrados	Graus de liberdade	Quadrados médios
Explicado	${\ displaystyle SCE = \ sum _ {i} ({\ hat {y}} _ {i} - {\ bar {y}}) ^ {2}}$	$p$	${\ displaystyle CME = {\ frac {SCE} {p}}}$
Residual	${\ displaystyle SCR = \ sum _ {i} (y_ {i} - {\ hat {y}} _ {i}) ^ {2}}$	$n - p - 1$	${\ displaystyle CMR = {\ frac {SCR} {np-1}}}$
Total	${\ displaystyle SCT = \ sum _ {i} (y_ {i} - {\ bar {y}}) ^ {2}}$	$n - 1$

No melhor caso, SCR = 0, o modelo consegue prever exatamente todos os valores de y a partir dos valores de x j . No pior caso, SCE = 0, o melhor preditor de y é sua média y .

Um indicador específico permite traduzir a variância explicada pelo modelo, este é o coeficiente de determinação . Sua fórmula é a seguinte:

{\ displaystyle R ^ {2} = {\ frac {SCR} {SCT}} = 1 - {\ frac {SCE} {SCT}} \,}

${\ displaystyle R = {\ sqrt {R ^ {2}}} \,}$ é o coeficiente de correlação múltipla .

Em uma regressão com constante, temos necessariamente

{\ displaystyle 0 \ leqslant R ^ {2} \ leqslant 1}

Finalmente, se o $R 2$ é certamente um indicador relevante, ele apresenta um defeito às vezes incômodo, ele tende a aumentar mecanicamente à medida que se adicionam variáveis no modelo. Portanto, é inoperante se se deseja comparar modelos que compreendem um número diferente de variáveis. É aconselhável, neste caso, usar o coeficiente de determinação ajustado que é corrigido para os graus de liberdade. O $R 2$ ajustado é sempre menor do que o $R 2$ .

Importância global do modelo

O $R 2$ é um indicador simples, é fácil entender que quanto mais se aproxima do valor 1, mais interessante é o modelo. Por outro lado, não permite saber se o modelo é estatisticamente relevante para explicar os valores de y .

Precisamos recorrer ao teste de hipótese para verificar se o link mostrado com a regressão não é um artefato simples.

A formulação do teste de hipótese que permite avaliar o modelo globalmente é a seguinte:

H 0 : a 1 = a 2 =… = a p = 0;
H 1 : pelo menos um dos coeficientes é diferente de zero.

As estatísticas dedicadas a este teste são baseadas (entre as diferentes formulações possíveis) no $R 2$ , está escrito:

{\ displaystyle F_ {calc} = {\ frac {\ frac {R ^ {2}} {p}} {\ frac {1-R ^ {2}} {np-1}}}}

e segue a lei de Fisher com ( p , n - p - 1) graus de liberdade.

A região crítica do teste é, portanto: rejeição de H 0 se e somente se F calc > F 1 - α ( p , n - p - 1), onde α é o risco de primeiro tipo.

Outra forma de ler o teste é comparar o valor p (probabilidade crítica do teste) com α: se for menor, a hipótese nula é rejeitada.

Regressão de série temporal

A regressão de séries temporais , ou seja, de variáveis indexadas ao tempo, pode colocar problemas, nomeadamente pela presença de autocorrelação nas variáveis e, portanto, também nos resíduos. Em casos extremos (quando as variáveis não são estacionárias ), terminamos com o caso de regressão espúria : variáveis que não têm relação entre si, no entanto, parecem estar significativamente ligadas de acordo com os testes clássicos.

A regressão de série temporal requer, portanto, em alguns casos, a aplicação de outros modelos de regressão, como modelos vetoriais autorregressivos (VAR) ou modelos de correção de erros (VECM).

Veja também

Referências

Régis Bourbonnais, Econometrics , Dunod, 1998 ( ISBN 2100038605 )
Yadolah Dodge e Valentin Rousson, Applied Regression Analysis , Dunod, 2004 ( ISBN 2100486594 )
R. Giraud, N. Chaix, Econometrics , Puf, 1994
C. Labrousse, Introdução à econometria - Mestre em econometria , Dunod, 1983
J. Confais, M. Le Guen, Primeiros passos em regressão linear , La Revue Modulad, N ° 35, 2006, pp220-363,

Notas e referências

J. Confais, M. Le Guen, " Premiers pas en Régression Linéaire ", La Revue Modulad , n o 35,2006( leia online )

Programas

Free Statistics , um portal que lista vários softwares de estatística de código aberto, vários dos quais lidam com regressão linear múltipla.
( fr ) Álgebra Linear Regressões em execução no Matlab com a ajuda da álgebra linear.
R , um software abrangente de estatística e análise de dados, licenciado sob a licença GNU General Public.
Regress32 , um software dedicado à regressão linear múltipla.
RLM , um software gratuito para realizar regressões lineares múltiplas.
SIMUL 3.2 software livre para modelagem econométrica multidimensional (multissetorial, multirregional) [1] .
Tanagra , um software de análise estatística e de dados, incluindo um módulo de regressão.

Regressão linear múltipla

Modelo teórico

Estimativa

Notação de matriz

Hipóteses

O método dos mínimos quadrados ordinários

Estimador de mínimos quadrados ordinários

Propriedades dos estimadores

Avaliação

Matriz de variância-covariância dos coeficientes

Estudo de coeficientes

Avaliação de regressão geral - Tabela de análise de variância

Regressão de série temporal

Veja também

Referências

Notas e referências

Artigos relacionados

Programas