불편 추정량 (Unbiased Estimator)

모수를 추정하기 위해 $y=ax+b$ 라는 모델을 만들었지만 $a, b$를 구하기 위해 최적화 목표 $|y- 3\hat{y}|$를 사용한다면, $a, b$에 대한 추정값인 $\hat{a}, \hat{b}$는 $a, b$와는 다른 값이 된다. 이 예에서 보인 것처럼 추정한 파라미터 값이 모수 (모집단의 파라미터) 와 같을 것으로 기대되지 않을 때 편향 된 추정값(Biased Estimator) 라고 부른다.

반면 $(y-\hat{y})^2$ 를 최소화하는 방법으로 구한 $\hat{a}, \hat{b}$은 일반적으로 모집단의 $a, b$를 구하게 되어 불편 추정량 (Unbiased Estimator) 이다. 좀 더 정확하게 표현하면 SSE를 최적화 목표로 두고 구한 $\hat{a}, \hat{b}$는 $a, b$와 같을 것으로 기대 되고 이를 $E(\hat{a})=a, E(\hat{b})=b$로 표현한다. 반대로 편항된 추정값의 경우 $E(\hat{a}) \neq a, E(\hat{b}) \neq b$ 이다.

어째서 $(y-\hat{y})^2$ 를 최소화하는 방법이 불편 추정량일까? SSE는 $\sum_{i=0}^{i=n}(\hat{y_i}-y_i)^2$ 으로 정의된다. 따라서 $\hat{y_i}$가 $y_i$에 가깝게 되도록 (경우에 따라서는 완벽히 같도록) 한다. 그렇지 않다면 SSE 값이 커지기 때문이다. 이렇게 구한 $\hat{a}, \hat{b}$는 $a, b$가 될 것으로 기대 된다.