ANN, 오차 역전파, 경사 하강법

Artificial Neural Network (ANN)

정의

인공 신경망은 인간 뇌의 뉴런 구조와 동작 원리를 모방하여, 다수의 노드(뉴런)와 연결(가중치)로 구성된 정보 처리 모델이다.
입력 데이터를 계층적으로 처리하여 패턴 인식, 예측, 분류, 회귀 등 다양한 문제를 해결한다.

특징

• 구성: 입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer)
• 동작: 입력 → 가중치 연산 → 활성화 함수 → 출력
• 학습: 오차 역전파(Backpropagation)와 경사 하강법(Gradient Descent)으로 가중치 최적화
• 유형: 피드포워드 신경망, 합성곱 신경망(CNN), 순환 신경망(RNN) 등

 

오차 역전파(Backpropagation)

정의

• 인공 신경망 학습 과정에서 출력층의 오차를 역방향으로 전파하여 가중치를 업데이트하는 알고리즘.
• 연쇄 법칙(Chain Rule)을 이용해 각 가중치에 대한 오차의 기울기(Gradient)를 계산.

절차

1. 순전파(Forward Pass): 입력 → 가중치 연산 → 활성화 함수 → 출력
2. 오차 계산: 출력값과 정답(레이블) 비교 후 손실 함수로 오차 산출
3. 역전파(Backward Pass): 오차를 출력층→은닉층→입력층 방향으로 전파하며 기울기 계산
4. 가중치 업데이트: 경사 하강법 등 최적화 기법으로 가중치 조정

 

경사 하강법(Gradient Descent)

정의

• 손실 함수 값을 최소화하기 위해 기울기의 반대 방향으로 가중치를 반복적으로 조정하는 최적화 알고리즘.

유형

 

유형	특징
배치(Batch)	전체 데이터로 한 번에 기울기 계산
확률적(Stochastic)	데이터 1건마다 기울기 계산
미니배치(Mini-batch)	일정 크기 배치로 기울기 계산 (가장 일반적)