기본 사실
fact 1) 정의 : 행렬 \(~A~\) 가 양정치 행렬 \(~\Longleftrightarrow~\) 영벡터가 아닌 임의의 벡터 \(~\mathbf{x}~\)에 대하여, \(~\mathbf{x} 'A \mathbf{x}~> 0~\) 이다.
fact 2) 양정치행렬의 고유값들은 모두 양수이다
(증명) 만약 고유값 중에 양수가 아닌 경우가 있다고 하자,
즉 \(~A \mathbf{u}= \lambda \mathbf{u}~\) 이고 \(~\lambda \leq 0~\) 인 영벡터가 아닌 \(~\mathbf{u}~\) 가 존재 한다
그렇다면, \(~\mathbf{u} ' A \mathbf{u}= \lambda \mathbf{u}' \mathbf{u}~\) 이고, \(~\mathbf{u}' \mathbf{u} \geq 0~\) 이므로, \(~\mathbf{u} ' A \mathbf{u} \leq 0~\) 이다.
즉, \(~A~\) 는 양정치행렬이 아니다
fact 3) 행렬 \(~A~\) 의 고유값이 \(~\lambda~\) 이면, 역행렬 \(~A^{-1}~\) 는 \(~1/\lambda~\) 을 고유값으로 갖는다
fact 4) \(~\mathbf{x} ' A \mathbf{x} = \mathbf{x} ' A' \mathbf{x}~\) 이다
fact 5) by fact 4,
행렬 \(~A~\) 가 양정치행렬이다 \(~\Longleftrightarrow~\) \(~(A+A')/2~\) 가 양정치행렬
행렬 \(~A^{-1}~\) 가 양정치행렬이다 \(~\Longleftrightarrow~\) \(~(A^{-1}+(A^{-1})')/2~\) 가 양정치행렬
fact 6) 어떤 행렬 \(~B~\)에 대하여, \(\mathbf{y} = B^{-1} \mathbf{x}~\) 라면, \(~\mathbf{x} \neq \mathbf{0}~~\Longleftrightarrow~~ \mathbf{y} \neq \mathbf{0}~\) 이다
fact 7) 정의 : 행렬 A 의 rank 는, \(~A~\)에 의한 선형변환의 이미지 공간 \(~\{A \mathbf{x} \}~\)의 차원이다
fact 8) \(~rank(AB) \leq min(rank(A), rank(B))~\)이다.
(증명) 임의의 \(~\mathbf{y} \in \{AB \mathbf{x} \}~\) 에 대하여, \(~\mathbf{z}=B \mathbf{x}~\) 라 하면, \(~\mathbf{y} \in \{A \mathbf{z} \}~\) 이다.
즉, \(~Col(AB) \subset Col(A)~\), 따라서 \(~rank(AB) \leq rank(A)~\).
마찬가지 방법으로, \(~Raw(AB) \subset Raw(B)~\), 이고 \(~rank(AB) \leq rank(B)~\)
fact 9) 다음은 동일한 의미이다
\(A^{-1}~\) 이 유일하게 존재한다
임의의 \(~\mathbf{b}~\) 에 대하여, \(~A \mathbf{x} = \mathbf{b}~\) 인 근 \(~\mathbf{x}~\)가 유일하게 존재한다
\(A \mathbf{x} = \mathbf{0}~\) 이면, \(~ \mathbf{x} = \mathbf{0}~\) 이다
fact 10) 어떤 행렬 \(~A~\)의 역행렬 \(~A^{-1}~\)가 존재하면,
모든 일반화 역행렬 \(~A^{-}~\)는, \(~A^{-1}~\) 과 동일하다. 즉, \(~A^{-}=A^{-1}~\) 이다
(증명) \(AA^{-}A=A~\) 이므로, 양변의 좌우에 \(~A^{-1}~\) 을 곱하면, \(~A^{-}=A^{-1}~\)
fact 11) 두 행렬 \(~A_{n \times k}~\)와 \(~B_{m \times k}~\)에 대하여, 다음은 동일한 의미이다
\(rank(A) \leq rank(B)\)
\(B \mathbf{x} =\mathbf{0} ~\Rightarrow~ A \mathbf{x} =\mathbf{0}\)
참고 사항:
(참고1) 행렬 \(~X~\) 의 열공간의 차원 (column rank)와 행공간의 차원(raw rank)는 동일하다
행렬 \(~X_{n \times k}~\) 의 열공간의 차원이 \(~r~\) (\(~r\leq k~\)) 라고 하면,
행렬 \(~X~\) 의 행공간의 차원은 \(~r~\) 이하이다.
행렬 \(~X~\) 의 독립인 열들로 구성된 행렬 \(~C_{n \times r}~\)을 구성할 수 있다
행렬 \(~X~\) 의 나머지 열들은 행렬 \(~C~\) 의 선형결합으로 구해질 수 있으므로
\(X=CR~\) 이 되는 행렬 \(~R_{r \times k}~\) 가 존재한다.
행렬 \(~X~\) 의 \(~n~\) 개의 행들은 행렬 \(~R~\)의 \(~r~\) 개 행들의 선형결합으로 표현되므로
행공간의 차원은 \(~r~\) 이하다
전치행렬 \(~X'~\) 에 대하여 동일한 논리를 전개할 수 있으므로,
행렬 \(~X~\) 의 열공간의 차원과 행공간의 차원은 동일하다
(참고2) 행렬 \(~X~\) 가 full column rank 이면, 즉, \(~rank(X_{n \times k})=k~\) 이면,
\(P=X(X'X)^{-1} X'~\) 이고, \(~rank(P)=k~\) 이다
(증명) by fact 8, \(~rank(P) \leq k~\) 이고,
또한 \(~rank(P) \geq k~\) 이므로,
(증명) 행렬 \(~X~\)에 포함된 \(~k~\) 개의 열벡터들은 모두 독립이고,
행렬 \(~X~\)의 임의의 열벡터 \(~\mathbf{x}~\)에 대하여, \(P \mathbf{x} = \mathbf{x}\) 이므로,
행렬 \(~P~\)에 의하여 선형변환된 공간 \(~\{P\mathbf{x}\}~\) 에는 행렬 \(~X~\)의 모든 열벡터가 포함된다
\(P=X(X'X)^{-1} X'~\) 이고, \(~trace(P)=k~\) 이다
문제 1: 양정치 행렬의 역행렬은 양정치 행렬이다
해법 1) by fact 1 & fact 2
해법 2) byfact 4, & fact 5
\(B=(A+A')/2~\) 라 하면, 영벡터가 아닌 임의의 벡터 \(~\mathbf{x}~\)에 대하여,
\(\mathbf{x} ' A^{-1} \mathbf{x} = \mathbf{x}' B^{-1} \mathbf{x} = \mathbf{y} ' B \mathbf{y} >0~\) 이다
문제 2: 행렬 \(~A~\)의 열벡터가 모두 선형독립이면, \(~A'A~\) 는 양정치행렬이다
선형독립의 정의에 의하여, \(~A \mathbf{x}= \mathbf{0}~\) 이면, \(~\mathbf{x}= \mathbf{0}~\) 이므로,
\(\mathbf{y} = A \mathbf{x}\) 라 할 때, \(~\mathbf{x} \neq \mathbf{0}~\Longleftrightarrow~\mathbf{y} \neq \mathbf{0}~\) 이다
\(\mathbf{x} ' A'A \mathbf{x}= \mathbf{y} ' \mathbf{y} \geq 0~\) 이고, \(~\mathbf{y} \neq \mathbf{0}~\Longleftrightarrow~\mathbf{y} ' \mathbf{y} >0~\) 이므로,
영벡터가 아닌 벡터 \(~\mathbf{x}~\) 에 대하여, \(~\mathbf{x} ' A'A \mathbf{x} >0 ~\) 이다.
문제 4: \(~X(X'X)^{-} (X'X)= X~\) 이다
문제 5: 사영행렬 \(~P=X(X'X)^{-}X'~\) 에 대하여, \(~rank(P)=trace(P)~\) 이다
\(rank(X_{n \times k})=r~\) 이라 하자
full column rank 인 경우 (\(~r=k~\)) 는 위 참고사항에 정리되어 있다.
일반적인 경우로, \(~rank(X_{n \times k})=r \leq k~\) 인 경우에, \(~rank(P)=trace(P)~\)임을 살펴보자
\((X'X)^{-}~\)가 다양하더라도, \(~P=X(X'X)^{+} X'~\) 이므로,\(~X(X'X)^{+} X'~\) 인 경우를 살펴보자
먼저 \(~rank(P)=r~\) 이다.
\(r=k~\) 인 경우와 마찬가지로 \(~PX = X~\) 이므로,
행렬 \(~X~\)의 모든 열벡터 \(~\mathbf{x}~\)에 대하여, \(~P \mathbf{x}=\mathbf{x}~\) 이다
이로부터, \(~rank(P) \geq r~\) 이다
fact 8 로부터 \(~rank(P) \leq r~\) 이다
결국, \(~rank(P) = r~\) 이다
\(trace(P)=r~\)임을 살펴보자.
\(X'X\) 는 대칭행렬이므로, \(~X'X = (A')^{-1} \Lambda A^{-1}~\) 인 \(~k \times k~\) 행렬 \(~A~\)와 \(~\Lambda~\)가 존재한다
여기서 \(~\Lambda~\)는 앞부분에 단위행렬 \(~I_r~\)을 포함하고 나머지는 모두 0으로 이루어진 대각 행렬이다.
즉, \(~\Lambda = \begin{pmatrix} I_r & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix}~\) 이다.
또 \(\Lambda^2 = \Lambda~\) 이다
이 때, \(~(X'X)^{+} = A \Lambda A'~\) 이다.
\(trace(P)= trace( X(X'X)^{+} X' ) = trace( (X'X)^{+} X'X ) = trace( A \Lambda A^{-1} )\)
\(= trace( \Lambda A^{-1} A) = trace( \Lambda I_k ) = trace( \Lambda )= r\)
문제 6: \(~X_{n \times k}~\)가 full column rank 행렬이면, \(~rank(X'X)=k~\)이다.
by fact 8, \(~rank(X'X) \leq rank(X)=k~\)
\(X'X \boldsymbol{\beta} =\mathbf{0}~ \Rightarrow ~ \boldsymbol{\beta}' X'X \boldsymbol{\beta} =\mathbf{0} ~ \Rightarrow ~ (X \boldsymbol{\beta} )' X \boldsymbol{\beta} =\mathbf{0} ~ \Rightarrow ~ X \boldsymbol{\beta} =\mathbf{0}\) 이고,
by fact 11, \(~rank(X'X) \geq rank(X)=k~\)
위 사실들을 종합하면, \(~rank(X'X)=k~\)이다
문제 7: \(~X~\)가 full column rank 행렬이면, \(~P=X(X'X)^{-} X' = X(X'X)^{-1} X' ~\)이다.
\(X~\)가 full column rank 행렬일 때, \(~(X'X)^{-1} ~\) 가 유일하게 존재함을 보이면,
fact 10 에 의하여, \(~(X'X)^{-}~\) 이 \(~(X'X)^{-1} ~\) 과 동일하므로, 위 사실이 성립한다.
\(X~\)가 full column rank 행렬일 때, \(~(X'X)^{-1} ~\) 가 유일하게 존재함을 보이자
문제 6에서와 같이, \(~X'X \boldsymbol{\beta} =\mathbf{0}~ \Rightarrow ~ X \boldsymbol{\beta} =\mathbf{0}\)
\(X~\)가 full column rank 행렬이므로, \(~X \boldsymbol{\beta} =\mathbf{0} ~ \Rightarrow ~ \boldsymbol{\beta} =\mathbf{0}~\) 이다.
정리하면, \(~X'X \boldsymbol{\beta} =\mathbf{0}~ \Rightarrow ~ \boldsymbol{\beta} =\mathbf{0}~\) 이므로,
fact 9 를 적용하면, \(~(X'X)^{-1}~\) 이 유일하게 존재한다.