회귀분석의 자유도

출저: https://datalabbit.tistory.com/51

SST의 자유도: n-1

먼저 SST의 자유도는 위와 같이 n-1 입니다.

우리가 가진 정보의 수인 n개에서, y의 편차의 합이 0이 되어야 한다는 제약조건 1개를 뺀 값이라고 볼 수 있는데요.

다시 말하자면 y의 편차의 합은 항상 0이 되어야 하기 때문에 우리가 가진 n개에서 n-1개는 자유롭게 이용할 수 있지만, 나머지 1개는 y의 평균에 의해 항상 고정됩니다.

예를 들면, y의 평균이 3이라고 하고, 우리가 가진 데이터는 3개가 있다고 가정합시다.

그렇다면 1번째, 2번째 데이터의 값은 막말로 자유롭게 설정해도 됩니다. (Ex. 50000000, 1929392 ... 등)
그러나 1번째, 2번째 데이터의 값이 정해지면, 3번째 데이터의 값은 y의 평균이 3이라는 제약때문에 이에 맞추어 특정 값으로 고정되게 되죠.

2

 

 

SSR의 자유도: 1

단순회귀모형의 추정된 회귀식에서 자유롭게 결정할 수 있는 정보는 Parameter 2개 (Β0,Β1)이다.

여기서 앞서 다루었던 OLS추정량의 성질에 의해 췆ㅇ된 회귀직선은 항상 평균점을 지나며, 평균점에서 각각의 parameter(기울기 or 절편)이 변하면 나머지 parameter도 그에 맞게 변하게 된다.

 

즉 자유롭게 변할 수 있는 parameter가 1개 밖에 없다는 점에서 SSR의 자유도는 1이며, 사실 단순회귀분석이 아니라 다중회귀분석으로 확장할 경우 SSR의 자유도는 설명변수의 개수인 k개가 됨. (단순회귀분석에서는 설명변수의 개수가 1개이므로 SSR의 자유도가 1인 셈)

 

 

SSE의 자유도:n-2

마지막으로 SSE의 자유도는 n-2개입니다.
우리가 가진 n개의 정보 중, 추정된 회귀식에서 쓰이는 2개의 정보(parameter 개수)가 고정되어있으므로,
이 2개를 제외한 n-2개가 SSE의 자유도가 됩니다.


따라서 SST의 자유도인 n-1은 SSR의 자유도인 1과 SSE의 자유도인 n-2의 합으로 이루어져 있다고 할 수 있습니다.
d.f.(SST) = d.f.(SSR) + d.f.(SSE)

그리고 SSR과 SSE를 각각 그들의 자유도로 나눈 것을 MSR, MSE라고 부릅니다.
# (MS : Mean Squares)

출처: https://datalabbit.tistory.com/51 [간토끼 DataMining Lab]