[머신러닝 기초] 비용 함수(Cost Function) 완벽 이해하기 — 수학을 몰라도 이해하는 선형 회귀
머신러닝을 공부하다 보면 반드시 등장하는 개념이 있습니다. 바로 비용 함수(Cost Function)입니다.
Andrew Ng 교수의 강의에서는 다음과 같은 수식을 만납니다.
처음에는 복잡해 보이지만, 이 수식은 결국 AI의 예측이 실제 정답과 얼마나 다른지를 계산하는 방법입니다.
예측 함수 → 비용 함수의 기호 → 실제 숫자 계산 → 최소값 찾기 → 경사하강법
1. 머신러닝은 무엇을 학습할까?
키를 입력하면 몸무게를 예측하는 AI를 만든다고 가정하겠습니다. 아래 데이터는 설명을 위해 만든 예시입니다.
| 키(cm) | 실제 ㄴ몸무게(kg) |
|---|---|
| 160 | 55 |
| 170 | 65 |
| 180 | 75 |
사람은 쉽게 다음 규칙을 발견합니다.
- 160 − 105 = 55kg
- 170 − 105 = 65kg
- 180 − 105 = 75kg
하지만 컴퓨터는 처음부터 이 규칙을 알지 못합니다. 처음에는 임의의 규칙을 사용하고, 실제 데이터와 비교하면서 규칙을 수정합니다. 이 과정을 학습(Training)이라고 합니다.
컴퓨터는 자신이 만든 규칙이 얼마나 정확한지 어떻게 판단할까요? 바로 이때 비용 함수가 등장합니다.
2. 선형 회귀의 예측 함수 이해하기
비용 함수를 이해하려면 먼저 예측 함수(Hypothesis Function)를 알아야 합니다.
이것은 중학교에서 배운 일차함수와 같은 형태입니다.
| 기호 | 의미 |
|---|---|
| x | 입력 데이터 |
| \(h_\theta(x)\) | 컴퓨터가 예측한 값 |
| \(\theta_0\) | 직선의 절편 |
| \(\theta_1\) | 직선의 기울기 |
| y | 실제 정답 |
θ는 그리스 문자 세타(Theta)라고 읽습니다.
2.1. θ₀는 무엇일까?
θ₀는 직선의 절편(Intercept)입니다. x가 0일 때의 예측값입니다.
즉, 이 직선은 y축의 10에서 시작합니다.
2.2. θ₁은 무엇일까?
θ₁은 기울기(Slope)입니다. x가 1 증가할 때 예측값이 얼마나 달라지는지를 나타냅니다.
| x | 계산 | 예측값 |
|---|---|---|
| 1 | 10 + 2 × 1 | 12 |
| 2 | 10 + 2 × 2 | 14 |
| 3 | 10 + 2 × 3 | 16 |
x가 1씩 증가할 때 예측값은 2씩 증가합니다. 따라서 기울기는 2입니다.
2.3. 컴퓨터가 찾으려는 것
선형 회귀에서는 θ₀와 θ₁을 조절하여 실제 데이터를 잘 설명하는 직선을 찾습니다. 두 값이 적절한지 판단하기 위해 비용 함수를 사용합니다.
3. 비용 함수(Cost Function)란?
이 수식은 다음 네 가지 작업을 합니다.
- 예측값에서 실제값을 뺍니다.
- 오차를 제곱합니다.
- 모든 데이터의 제곱 오차를 더합니다.
- 데이터 개수의 2배로 나눕니다.
4. 비용 함수의 기호를 하나씩 분해하기
4.1. J(θ₀, θ₁) — 오차를 나타내는 점수
J는 비용 함수의 이름입니다. θ₀와 θ₁을 어떤 값으로 설정하느냐에 따라 J가 달라집니다.
| θ₀ | θ₁ | J |
|---|---|---|
| 0 | 1 | 2.333 |
| 0 | 1.5 | 0.583 |
| 0 | 2 | 0 |
| 0 | 3 | 2.333 |
이 표는 뒤에서 사용할 세 개의 예시 데이터에 대한 결과입니다.
4.2. m — 학습 데이터 개수
m은 데이터의 개수입니다. 3개라면 m=3, 100개라면 m=100입니다.
4.3. Σ(시그마) — 모두 더하라는 뜻
Σ는 시그마(Sigma)이며, i=1부터 i=3까지 차례대로 계산한 값을 모두 더하라는 뜻입니다.
4.4. x⁽ⁱ⁾와 y⁽ⁱ⁾ — i번째 데이터
여기서 위첨자 (i)는 거듭제곱이 아니라 데이터의 순서 번호입니다.
| 데이터 번호 | x | y |
|---|---|---|
| 1 | 1 | 2 |
| 2 | 2 | 4 |
| 3 | 3 | 6 |
4.5. 예측값 − 실제값 = 오차
실제 몸무게가 65kg인데 예측이 60kg이면 오차는 −5kg입니다. 70kg으로 예측하면 오차는 +5kg입니다.
그런데 오차를 그냥 더하면 −5+5=0이 되어 서로 상쇄됩니다. 두 번 모두 틀렸는데 오차의 합은 0이 되는 문제가 있습니다.
4.6. 왜 오차를 제곱할까?
제곱하면 음수와 양수의 오차가 상쇄되지 않습니다. 또한 큰 오차에 더 큰 벌점을 줍니다.
| 오차 | 제곱 오차 |
|---|---|
| 1 | 1 |
| 2 | 4 |
| 3 | 9 |
| 5 | 25 |
| 10 | 100 |
오차가 2배가 되면 제곱 오차는 4배가 됩니다. 이를 제곱 오차(Squared Error)라고 합니다.
4.7. 왜 2m으로 나눌까?
m으로 나누면 데이터 개수에 따른 오차 합계의 크기를 조정하여 평균 제곱 오차를 구할 수 있습니다. 추가로 2로 나누면 나중에 미분할 때 나타나는 계수 2를 약분할 수 있습니다.
2로 나누지 않아도 최솟값이 발생하는 파라미터의 위치는 변하지 않습니다.
5. 실제 숫자로 비용 함수 계산하기
이제 다음 학습 데이터로 비용 함수를 직접 계산하겠습니다.
| 입력 x | 실제 정답 y |
|---|---|
| 1 | 2 |
| 2 | 4 |
| 3 | 6 |
정답 규칙은 y=2x입니다. 하지만 처음에 컴퓨터가 θ₀=0, θ₁=1을 사용한다고 가정합니다.
5.1. 첫 번째 데이터
첫 번째 제곱 오차는 1입니다.
5.2. 두 번째 데이터
두 번째 제곱 오차는 4입니다.
5.3. 세 번째 데이터
세 번째 제곱 오차는 9입니다.
5.4. 모든 제곱 오차 합산
| 입력 x | 실제값 y | 예측값 | 오차 | 제곱 오차 |
|---|---|---|---|---|
| 1 | 2 | 1 | −1 | 1 |
| 2 | 4 | 2 | −2 | 4 |
| 3 | 6 | 3 | −3 | 9 |
데이터가 세 개이므로 m=3입니다. 이제 비용 함수에 대입합니다.
이 값은 현재 파라미터 θ₀=0, θ₁=1에서 계산한 비용입니다.
6. 파라미터를 바꾸면 어떻게 될까?
기울기 θ₁을 1에서 2로 바꿔 보겠습니다. θ₀는 0으로 유지합니다.
| 입력 x | 실제값 | 예측값 | 오차 | 제곱 오차 |
|---|---|---|---|---|
| 1 | 2 | 2 | 0 | 0 |
| 2 | 4 | 4 | 0 | 0 |
| 3 | 6 | 6 | 0 | 0 |
모든 예측이 실제 정답과 일치하므로 비용이 0이 되었습니다.
이 표기는 θ₀와 θ₁을 조정하여 비용 함수 J를 최소화하라는 의미입니다.
7. 비용 함수가 U자 모양이 되는 이유
θ₀=0으로 고정하고 θ₁만 변화시키겠습니다.
두 번째와 세 번째 항을 묶으면 다음과 같습니다.
이것은 이차함수이므로 U자 모양의 그래프가 됩니다.
| θ₁ | 비용 함수 J |
|---|---|
| 0 | 9.333 |
| 0.5 | 5.250 |
| 1 | 2.333 |
| 1.5 | 0.583 |
| 2 | 0 |
| 2.5 | 0.583 |
| 3 | 2.333 |
| 4 | 9.333 |
θ₁=2에 가까워질수록 비용이 작아지고, 멀어질수록 다시 커집니다.
이것이 이 예제에서 비용 함수의 최소점(Minimum Point)입니다.
8. 컴퓨터는 최소점을 어떻게 찾을까? — 경사하강법
파라미터를 직접 하나씩 시험하는 대신, 컴퓨터는 비용이 감소하는 방향을 계산할 수 있습니다. 대표적인 방법이 경사하강법(Gradient Descent)입니다.
산에서 아래쪽 경사를 따라 조금씩 내려가는 모습을 떠올리면 됩니다.
- 현재 위치에서 경사를 계산합니다.
- 경사가 내려가는 방향으로 조금 이동합니다.
- 새로운 위치에서 경사를 다시 계산합니다.
- 종료 조건을 만족할 때까지 반복합니다.
8.1. 경사하강법 수식
| 기호 | 의미 |
|---|---|
| \(\theta_1\) | 현재 파라미터 |
| ← | 오른쪽 계산 결과로 갱신 |
| \(\alpha\) | 학습률(Learning Rate) |
| \(\frac{\partial J}{\partial\theta_1}\) | θ₁에 대한 비용 함수의 편미분값 |
미분값이 양수면 θ₁을 줄이고, 음수면 θ₁을 늘리는 방향으로 업데이트합니다. 학습률 α는 한 번에 이동하는 크기를 조절합니다.
8.2. 경사하강법을 실제로 계산하기
앞서 구한 비용 함수는 다음과 같습니다.
θ₁에 대해 미분하면 다음과 같습니다.
처음 θ₁=1, 학습률 α=0.1이라고 설정합니다.
이 값을 업데이트 수식에 대입합니다.
처음 θ₁=1에서 한 번의 업데이트로 θ₁≈1.4667이 되었습니다. 최적값 2에 가까워졌습니다.
비용은 약 2.333에서 약 0.664로 감소했습니다. 이 과정을 반복하면 θ₁은 2에 가까워집니다. 단, 학습률이 지나치게 크면 최소점을 지나쳐 진동하거나 발산할 수 있습니다.
9. 비용 함수와 경사하강법의 역할
비용 함수는 얼마나 틀렸는지를 계산합니다.
경사하강법은 비용을 줄이기 위해 파라미터를 수정합니다.
여기서 ∇J는 각 파라미터에 대한 미분값을 모은 기울기 벡터입니다.
① 데이터 입력 → ② 예측값 계산 → ③ 비용 계산 → ④ 미분 계산 → ⑤ 파라미터 수정 → ⑥ 반복
10. 비용 함수가 0이면 완벽한 AI일까?
그렇지는 않습니다. 비용이 0이라는 것은 학습 데이터에 대한 오차가 0이라는 의미입니다. 새로운 데이터에서도 정확하다는 보장은 없습니다.
이미 풀어 본 문제의 정답만 외운 학생이 처음 보는 문제를 틀리는 상황과 비슷합니다. 이를 과적합(Overfitting)이라고 합니다.
따라서 실제 모델 개발에서는 학습 데이터 외에 검증 데이터와 테스트 데이터를 사용하여 일반화 성능을 평가합니다. 또한 문제 유형에 따라 교차 엔트로피(Cross-Entropy) 등 다른 손실 함수도 사용합니다.
11. 최종 정리
비용 함수: 얼마나 틀렸는가?
- 예측값과 실제값의 차이를 계산합니다.
- 오차를 제곱하여 모두 더합니다.
- 데이터 개수에 맞게 크기를 조정합니다.
경사하강법: 어떻게 수정할 것인가?
- 비용 함수의 기울기를 계산합니다.
- 비용이 감소하는 방향으로 파라미터를 수정합니다.
- 이 과정을 반복하여 좋은 파라미터를 찾습니다.
비용 함수는 AI가 얼마나 틀렸는지 알려주고, 경사하강법은 그 오차를 줄이기 위해 파라미터를 어떻게 수정할지 알려줍니다.
이 원리를 이해하면 이후에 배우게 될 미분, 편미분, 경사하강법, 역전파(Backpropagation), 신경망 학습의 개념도 더 쉽게 연결할 수 있습니다.
다음 글 예고: 경사하강법에서 미분이 왜 필요한지, 미분값을 실제로 어떻게 계산하는지 살펴보겠습니다.
#머신러닝 #MachineLearning #비용함수 #CostFunction #선형회귀 #LinearRegression #경사하강법 #GradientDescent #AI기초 #AndrewNg
'소프트웨어 > 머신러닝' 카테고리의 다른 글
| [PyTorch] 튜토리얼 목차 (0) | 2025.11.06 |
|---|---|
| [머신러닝 용어정리] FLOPs 이해하기 (0) | 2025.07.16 |
| [Machine Learning] Causal ML이란 무엇인가. (3) | 2025.06.11 |
| [리뷰] SMPL: A Skinned Multi-Person Linear Model (1) | 2025.01.15 |
| 지도학습 (0) | 2022.01.03 |
