1. 학습의 나침반, 최적화 알고리즘(Optimization)의 개요
정의: 손실 함수(Loss Function)의 값을 최소화하기 위해 모델의 가중치(Parameters)를 반복적으로 업데이트하며 최적의 값을 찾아가는 수학적 방법론.
핵심 요소: * 기울기(Gradient): 손실 함수가 가장 가파르게 증가하는 방향.
학습률(Learning Rate): 한 번의 업데이트에서 가중치를 얼마나 이동시킬지 결정하는 보폭($\eta$).
2. 가. 최적화 알고리즘의 주요 유형 및 진화 계보
최적화 알고리즘은 크게 경사 하강법의 변형과 학습률을 스스로 조절하는 적응형(Adaptive) 방식으로 나뉩니다.
1) 경사 하강법 계열 (Gradient Descent Variants)
BGD (Batch GD): 전체 데이터를 사용하여 기울기 계산. 정확하나 계산량이 매우 큼.
SGD (Stochastic GD): 무작위 데이터 한 개씩 학습. 속도는 빠르나 경로가 매우 불안정함.
Mini-batch GD: 일정 크기(Batch Size)로 나누어 학습. 현대 딥러닝의 표준 방식.
2) 관성 및 적응형 계열 (Momentum & Adaptive Learning Rate)
Momentum: 과거 기울기 방향을 기억하여 가속도를 부여, 로컬 미니마(Local Minima) 탈출 조력.
AdaGrad: 자주 업데이트되는 파라미터는 학습률을 낮추고, 드문 파라미터는 높게 설정.
RMSProp: AdaGrad의 학습률이 급격히 0으로 수렴하는 단점을 지수 이동 평균으로 보완.
Adam: Momentum의 관성과 RMSProp의 적응형 학습률을 결합한 가장 대중적인 알고리즘.
3. 나. 주요 알고리즘별 장단점 및 특징 비교
| 알고리즘 | 주요 메커니즘 | 장점 | 단점 |
| SGD | 무작위 샘플 기반 업데이트 | 연산 속도가 매우 빠름, 메모리 절약 | 수렴 과정이 불안정(Oscillation)함 |
| Momentum | $v_t = \gamma v_{t-1} + \eta \nabla_\theta J(\theta)$ | 진동을 줄이고 빠르게 수렴함 | 하이퍼파라미터($\gamma$) 추가 관리 필요 |
| AdaGrad | 누적 기울기 제곱 기반 조절 | 파라미터별 맞춤 학습률 제공 | 학습이 길어지면 학습률이 너무 작아짐 |
| RMSProp | 지수 이동 평균 가중치 적용 | 학습 중단 현상 방지, 수렴 성능 개선 | Adam에 비해 상대적으로 단순함 |
| Adam | 관성(Momentum) + RMSProp | 대부분의 문제에서 성능이 우수함 | 일부 문제에서 일반화 성능 저하 보고 |
4. 최적화 알고리즘 선택 시 고려사항
데이터 특성: 데이터가 희소(Sparse)한 경우 AdaGrad나 Adam 같은 적응형 방식이 유리함.
일반화 성능: 최근 연구에 따르면 단순 SGD가 Adam보다 테스트 데이터에서 더 높은 일반화 성능을 보이는 경우도 있어, 하이브리드 전략(SWATS 등) 검토 필요.
안정성: 학습 초기에 Warm-up 전략을 사용하여 학습률을 점진적으로 높여 수렴의 안정성을 확보해야 함.
5. 기술사적 제언: 'No Free Lunch'와 하이퍼파라미터 튜닝
최적의 조합 탐색: 모든 문제에 완벽한 최적화 알고리즘은 없음. 모델 구조와 데이터 세트에 맞춰 Learning Rate Scheduler와 함께 최적의 알고리즘을 선정해야 함.
자동화 트렌드 (AutoML): 알고리즘 선정을 자동화하는 Hyperparameter Optimization(HPO) 기술을 도입하여 운영 효율성을 극대화하는 추세임.
결언: 최적화 알고리즘은 AI 모델의 '심장'임. 기술사는 수학적 원리를 바탕으로 하드웨어 자원(GPU/NPU)과 학습 시간 사이의 트레이드오프를 분석하여 최적의 아키텍처를 설계해야 함.
