선형 회귀 계산기

N개의 데이터 포인트(x_i, y_i)가 주어졌을 때, 일반 최소제곱법으로 계산된 기울기와 절편은 다음과 같습니다:

m = Σ((x_i − x̄)(y_i − ȳ)) / Σ((x_i − x̄)²)
b = ȳ − m · x̄

R²(결정계수)는 변수 x가 변수 y의 분산 중 얼마나 잘 설명하는지를 나타내는 지표입니다.

R² = 1 − SS_res / SS_tot

여기서 SS_res는 잔차의 제곱합이며, SS_tot는 y값이 그 평균값에서 벗어난 편차의 제곱합이다. 피어슨 상관계수 r은 ±√R²로, 기울기의 부호를 따르며 나타난다.

실행 예시

다섯 개의 데이터 포인트:

x = 3, y = 4.2. 공분산의 분모는 (1–3)(2–4.2) + (2–3)(4–4.2) + (3–3)(5–4.2) + (4–3)(4–4.2) + (5–3)(6–4.2) = 4.4 + 0.2 + 0 − 0.2 + 3.6 = 8.0입니다. x의 분산의 분모는 4 + 1 + 0 + 1 + 4 = 10입니다.

• 기울기 m = 8.0 / 10 = 0.8
• 절편 b = 4.2 − 0.8 × 3 = 1.8
• 방정식: y = 0.8x + 1.8
• R² ≈ 0.727

수치가 알려주는 것(그리고 알려지지 않는 것)

• 기울기 m은 “x의 1단위당 y가 얼마나 변하는가”를 나타냅니다. 단위는 y/x입니다.
• 절편 b는 “x가 0일 때 y의 값은 무엇인가”에 대한 답을 제공합니다. 이 값이 의미 있는 것은 오직 데이터에서 x = 0이 타당하게 설명될 수 있을 때에만 해당됩니다.
• R²는 인과관계가 아니라 적합도를 측정합니다. 잡음이 없는 대리 데이터에서 R² 값이 높더라도 그 의미는 여전히 없을 수 있습니다.
• 피어슨 상관계수 r은 선형적인 연관성을 나타냅니다. r 값이 0에 가까우면서도 강한 곡선 형태의 관계를 보일 경우에도 이는 “선형적 적합이 없다”는 의미이며, “관계가 없다”는 의미는 아닙니다.

함정들

• 아웃라이어는 손실 함수가 제곱 형태이기 때문에 OLS 적합 결과를 심하게 왜곡시킵니다. 단 하나의 이상치만으로도 선이 20도 회전할 수 있습니다.
• 비선형성은 R²만으로는 검출되지 않으므로 항상 잔차를 x에 대해 그래프로 표시해야 합니다.
• 회귀 분석은 대칭적이지 않다: y를 x에 대해 적합시킨 결과와 x를 y에 대해 적합시킨 결과는 서로 다른 회귀선을 나타낸다.
• 데이터 범위를 초과하는 외삽법은 추측에 불과합니다. 적합 모델은 오직 관측된 범위만을 인식할 수 있습니다.