열 점은 완벽히 상승한다. 하나를 더하자 기울기가 거의 사라진다.
처음에는 x가 0부터 9이고 y는 2x+1인 단순한 데이터다. 모든 점이 같은 직선에 있다. 여기에 (20, 0)을 더한다. 원래 열 점은 그대로인데 보통의 최소제곱선은 거의 평평해진다. 새 점은 불일치 정도뿐 아니라 위치 때문에도 영향력을 가진다.
맞춘 직선은 아주 특이한 점을 중심으로 균형을 잡을 수 있다.
최소제곱이 줄이려는 것
보통의 최소제곱은 수직 잔차의 제곱합이 가장 작은 기울기와 절편을 고른다. 잔차는 관측 y와 같은 x에서의 예측값 차이다. 제곱은 양수와 음수를 모두 양의 비용으로 만들고 큰 차이는 특히 비싸게 한다. 명확한 최적화 문제를 푸는 것이다.
새 점 전에는 기울기 2, 절편 1이며 잔차가 0이다. (20, 0)을 더하면 기울기는 약 0.08006, 절편은 8.61782가 된다. 새 선은 열한 관측 사이에서 타협한다. 고장 나거나 원래 데이터를 선택적으로 잊은 것이 아니다.
x 방향의 거리도 협상을 바꾼다
새 관측은 원래 x 범위인 0~9에서 멀리 있다. 선을 기울이면 그 위치의 예측값이 크게 바뀐다. 이런 기하학적 영향이 레버리지다. 기존 추세에 놓인 높은 레버리지 점이 반드시 문제인 것은 아니다. 여기서는 매우 낮은 y도 함께 충돌한다.
위치만 살피려고 새 점의 y는 0으로 두고 x를 10~30으로 움직였다. 최소제곱 기울기가 따라 변한다. 이는 실제 이상점 조사가 아니라 통제된 민감도 실험이다. 산점도 중심에서 수직으로 얼마나 벗어났는지만 보면 영향의 일부를 놓친다.
여러 쌍이 기울기에 투표하게 하기
비교 방법은 x가 다른 모든 점 쌍의 기울기를 계산하고 중앙값을 고른다. 절편은 y에서 기울기 곱하기 x를 뺀 값의 중앙값이다. 원래 열 점 사이의 45쌍은 기울기가 모두 2이고 새 점이 포함된 쌍은 열 개뿐이다.
따라서 쌍별 기울기 중앙값은 2, 잔차 중앙값 절편은 1로 남는다. Theil–Sen 추정과 관련된 투명한 구성으로 절편 규칙도 명시했다. 이 성공은 일부러 만든 기하 구조 덕분이다. 모든 잡음이나 여러 군집 데이터에서 진실을 복구한다는 증거가 아니다.
강건한 적합이 사정을 판단하지는 못한다
금색 점은 단위 오류, 다른 작동 상태, 드물지만 유효한 사례, 직선 모형의 중요한 실패일 수 있다. 현실에서는 맥락으로 구별해야 한다. 영향력을 줄이는 알고리즘은 어느 설명이 맞는지 알 수 없다. 특이한 관측이 연구에서 가장 귀한 부분일 수도 있다.
원시 값과 출처를 살피고 가정을 밝혀 적합을 비교해야 한다. 조용히 삭제하는 것보다 민감도와 원래 관측을 함께 보고하는 편이 정직하다. 서로 다른 집단이나 곡선 관계가 있다면 더 튼튼한 직선보다 적절한 모형을 고르는 일이 중요할 수 있다.
직선의 연장도 선택이다
원래 점들은 관측된 x 범위에서만 관계를 뒷받침한다. 파란 선을 x=20까지 연장하면 41이지만 이는 측정이 아니라 모형 가정이다. 새 점은 일부러 이 예측과 다르게 만들었다. 실제 외삽에서도 관측과 투사를 구별해야 한다.
산점도, 잔차 검사, 민감도 비교는 이 차이를 보이게 한다. 가장 안심되는 선을 뽑는 것이 목적이 아니다. 무엇이 결론을 움직이며 모형이 질문에 맞는지 이해해야 한다. 데이터의 작은 변화가 적합 규칙이 강조하는 증거를 크게 바꿀 수 있다.
더 읽어 보기
NIST: least-squares fitting ↗SciPy: Theil–Sen slopes and intercept conventions ↗NumPy: polynomial least squares ↗공식 문서와 함께 읽으면 좋은 자료입니다.