핵심 요약
역전파는 신경망이 낸 답과 정답의 차이(손실)를 출력층에서 입력층 쪽으로 거꾸로 전달하면서, 각 가중치가 손실에 얼마나 책임이 있는지(기울기)를 연쇄 법칙으로 계산하는 방법입니다. 이렇게 구한 기울기의 반대 방향으로 가중치를 조금씩 옮기는 것이 경사 하강법이고, 둘을 반복하는 것이 학습입니다.
역전파(Backpropagation)는 다층 신경망이 내놓은 답이 목표값과 다를 때, 각 층의 가중치를 어느 방향으로 얼마나 조정해야 할지 계산하는 핵심 절차입니다. 이 글에서는 신경망 학습의 네 단계 흐름부터 기울기의 의미, 연쇄 법칙을 이용한 작은 계산 예제, 그리고 경사 하강법과의 역할 차이를 차례대로 정리합니다.
역전파란 무엇입니까?
한 줄 답: 순전파로 구한 출력과 정답의 차이(손실)를 출력 쪽에서 입력 쪽으로 거꾸로 전달하며 각 가중치의 기울기를 구하는 절차입니다.
신경망의 학습 한 단계는 다음 네 과정을 반복하며 이루어집니다.
- 순전파(Forward pass): 입력값을 넣어 신경망의 출력을 계산합니다.
- 손실(Loss) 계산: 신경망이 낸 실제 출력과 목표 출력(정답) 사이의 차이를 측정합니다.
- 역전파(Backward pass, Backpropagation): 출력 쪽에서 입력 쪽으로 거꾸로 거슬러 올라가며, 연쇄 법칙(chain rule)을 사용해 각 가중치의 기울기(gradient)를 계산합니다.
- 가중치 갱신(Update): 구한 기울기의 반대 방향으로 각 가중치를 조금씩 이동시킵니다(경사 하강법). 이 네 과정을 반복합니다.

Rumelhart, Hinton, Williams가 1986년에 발표한 논문(Learning representations by back-propagating errors, Nature 323, 533–536, 1986년 10월 9일 발행)은 다층 신경망에서 이 역전파 절차를 널리 알린 논문입니다. 이 논문은 뉴런과 유사한 단위들로 이루어진 연결망에서 실제 출력 벡터와 원하는 출력 벡터의 차이를 줄이도록 연결 가중치를 반복 조정하는 학습 절차를 설명하며, 그 결과 내부의 은닉 단위(hidden units)들이 과제의 중요한 특징을 표현하게 된다고 기술합니다.
학습 단계(사전학습·파인튜닝 등) 구분은 사전학습·파인튜닝·RLHF 차이: LLM은 어떤 단계로 만들어지나?에서 다룹니다.
기울기는 무엇을 알려줍니까?
한 줄 답: 가중치를 조금 늘렸을 때 손실이 커지는지 작아지는지(부호)와 얼마나 민감하게 변하는지(크기)를 알려줍니다.
역전파를 통해 각 가중치마다 구하는 기울기(gradient)에는 두 가지 정보가 담겨 있습니다.
- 부호(Sign): 해당 가중치를 조금 늘렸을 때 손실이 늘어나는지 줄어드는지를 알려줍니다.
- 크기(Size): 가중치 변화에 대해 손실이 얼마나 민감하게 반응하는지를 나타냅니다.
이를 안개 낀 산에서 내려가는 상황에 비유할 수 있습니다. 앞이 보이지 않는 안개 속에서 서 있을 때 발바닥으로 느껴지는 경사(기울기)를 확인하고, 오르막의 반대쪽인 내리막 방향으로 한 걸음씩 내딛는 것과 같습니다.
연쇄 법칙은 역전파에서 어떻게 쓰입니까?
한 줄 답: 출력 쪽에서 구한 기울기에 각 연산 노드의 국소 기울기를 차례로 곱해 앞쪽 가중치의 기울기를 구합니다.
곱셈 노드 u = w × x와 덧셈 노드 z = u + b, 그리고 손실 L = (z − t)²으로 이루어진 작은 계산 그래프를 예로 들어 보겠습니다. 입력과 가중치, 목표값은 각각 x = 2, w = 3, b = 1, t = 5입니다.
u = w * x
z = u + b
L = (z - t)^2
x = 2, w = 3, b = 1, t = 5
Forward: u = 3 * 2 = 6, z = 6 + 1 = 7, L = (7 - 5)^2 = 4
Backward: dL/dz = 2 * (z - t) = 2 * 2 = 4
dL/du = 4, dL/db = 4
dL/dw = dL/du * x = 4 * 2 = 8
dL/dx = dL/du * w = 4 * 3 = 12
순전파와 역전파 계산을 단계별로 풀면 다음과 같습니다.
- 순전파(Forward):
u = 3 × 2 = 6이고,z = 6 + 1 = 7이며, 손실L = (7 − 5)² = 4입니다. - 출력에 대한 손실의 기울기:
∂L/∂z = 2 × (z − t) = 2 × 2 = 4입니다. - 덧셈 노드(
z = u + b) 역전파: 덧셈 노드는 전달받은 기울기를 두 입력 쪽으로 그대로 넘겨줍니다. 따라서∂L/∂u = 4,∂L/∂b = 4입니다. - 곱셈 노드(
u = w × x) 역전파: 곱셈 노드는 전달받은 기울기에 상대쪽 입력값을 곱합니다. 따라서∂L/∂w = ∂L/∂u × x = 4 × 2 = 8이고,∂L/∂x = ∂L/∂u × w = 4 × 3 = 12입니다.

결과를 해석해 보면 ∂L/∂w = 8로 양수이므로, w를 조금 늘리면 손실 L이 커진다는 뜻입니다. 따라서 손실을 줄이려는 경사 하강법은 w를 감소시키는 방향으로 움직입니다.
역전파와 경사 하강법은 무엇이 다릅니까?
한 줄 답: 역전파는 각 가중치의 기울기를 계산하는 단계이고, 경사 하강법은 그 기울기를 이용해 가중치를 실제로 갱신하는 단계입니다.
두 용어는 함께 쓰이지만 역할이 구분됩니다.
- 역전파(Backpropagation): 연쇄 법칙을 사용해 출력 쪽에서 입력 쪽으로 거슬러 올라가며 각 가중치의 기울기(
∂L/∂w)를 계산하는 절차입니다. - 경사 하강법(Gradient descent): 역전파로 구한 기울기의 반대 방향으로 각 가중치를 조금씩 옮겨 손실을 줄이는 갱신 절차입니다.
이때 한 걸음에 가중치를 얼마나 옮길지 결정하는 비율은 별도 글인 「학습률(Learning Rate)이란?」에서 다룹니다.
자주 묻는 질문은 무엇입니까?
한 줄 답: 기울기 소실 현상, 프레임워크의 자동 미분 지원 여부, 추론 시 역전파 실행 여부 등 세 가지 질문을 정리했습니다.
기울기 소실이란 무엇입니까?
깊은 신경망에서 역전파를 할 때 작은 국소 기울기들이 사슬을 따라 여러 번 곱해지면서, 입력층에 가까운 쪽의 기울기가 매우 작아져 해당 가중치들이 거의 바뀌지 않는 현상입니다. 활성화 함수 선택이 한 가지 요인이며, 활성화 함수는 별도 글인 「활성화 함수(Activation Function)이란?」에서 다룹니다.
프레임워크가 역전파를 자동으로 해 줍니까?
그렇습니다. 딥러닝 프레임워크는 자동 미분(automatic differentiation)을 통해 각 가중치의 기울기를 자동으로 계산합니다.
추론할 때도 역전파를 합니까?
하지 않습니다. 학습이 끝난 모델을 사용하는 추론(inference) 단계에서는 순전파만 실행하며, 역전파나 가중치 갱신은 수행하지 않습니다.
함께 보면 좋은 글은 무엇입니까?
한 줄 답: 언어 모델의 학습 단계 구분과 과적합, AI 기초 개념 정리 글을 함께 참고하실 수 있습니다.
출처는 어디입니까?
한 줄 답: 다층 신경망의 역전파 학습 절차를 널리 알린 1986년 Nature 논문을 참고했습니다.
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J., “Learning representations by back-propagating errors”, Nature 323, 533–536 (published 9 October 1986), https://doi.org/10.1038/323533a0 (확인 2026-10-25)