(AI) 오차 역전파(Backpropagation)와 경사하강법(Gradient Descent)

오차 역전파(Backpropagation)와 경사하강법(Gradient Descent)

1. 정의

(1) 오차 역전파(Backpropagation)

• 인공신경망 학습 시 출력층에서 발생한 오차를 역방향으로 전파하여 각 가중치의 변화량을 계산하는 알고리즘
• 경사하강법의 계산 효율성을 높이기 위해 사용됨

(2) 경사하강법(Gradient Descent)

• 함수의 최솟값을 찾기 위해 기울기(Gradient) 방향으로 가중치를 반복적으로 조정하는 최적화 알고리즘
• 학습률(learning rate)에 따라 수렴 속도와 안정성이 결정됨

 2. 경사하강법의 종류

구분	특징	장점	단점
배치 경사하강법(BGD)	전체 데이터로 기울기 계산	안정적 수렴	연산량 많음
확률적 경사하강법(SGD)	데이터 1건씩 업데이트	빠른 수렴, 메모리 효율	진동 발생
미니배치 경사하강법(MBGD)	일부 데이터 묶음 사용	속도·안정성 균형	배치 크기 선택 필요

 

3. 오차 역전파와 경사하강법 활용 예시

• 이미지 인식(CNN 학습)
• 음성 인식(DNN 학습)
• 자연어 처리(Transformer 사전 학습)

 

4. 결론

오차 역전파는 기울기 계산 효율화를 담당하고, 경사하강법은 가중치 최적화를 수행한다. 두 기법은 인공신경망 학습의 핵심 축을 이루며, 학습률 조정·초기화·정규화 기법과 함께 적용 시 최적 성능을 발휘한다.