회귀분석 OLS의 특징

참고:https://datalabbit.tistory.com/50

 

첫번째 특성, 잔차의 총합은 0이다.

참고)잔차와 오차의 차이

오차는 모집단에서 참값 - 예측값

잔차는 모집단으로부터 추출된 Sample로부터 도출된 참값 - 예측값

 

두번째, 설명변수와 잔차간의 공분산은 0이다.

식의 오른쪽 부분을 다시 쓰면 참값(y) - 예측값(y_hat)과 같으며, 이는 잔차와 동일한 정의를 갖는다.

그러므로 설명변수와 잔차의 공분산은 (설명변수*잔차)의 총합과 같으며 이는 0이 된다. 

즉, 설명변수와 잔차는 서로 무관하는 의미와 같다. 엄밀한 의미에서 독립은 아니지만, 약한 독립성 가정 정도로 이해하면 된다.

 

(x평균),(y평균)은 항상 OLS회귀직선 상에 위치한다.