1. 전이 학습의 핵심 인프라, PLM(Pre-trained Language Model)의 개요
가. PLM의 정의
대규모 말뭉치(Corpus)를 사용하여 자기자기지도 학습(Self-supervised Learning) 방식으로 미리 훈련된 언어 모델입니다.
언어의 문법적 구조, 문맥적 의미, 일반적인 상식을 파라미터(Parameter) 형태로 사전에 내재화한 모델입니다.
나. PLM의 주요 특성
범용성(Generalization): 특정 태스크에 국한되지 않고 다양한 자연어 처리(NLP) 분야에 적용 가능합니다.
전이 학습(Transfer Learning): 사전 학습된 지식을 기반으로 적은 양의 데이터만으로도 고성능의 하위 태스크 수행이 가능합니다.
문맥 기반 임베딩: 단어의 고정된 의미가 아닌, 주변 단어와의 관계에 따른 동적인 의미를 파악합니다 (예: BERT, GPT).
2. PLM의 구조적 특징 및 사전 학습 방식
| 구분 | 인코더 기반 (BERT 계열) | 디코더 기반 (GPT 계열) |
| 훈련 방식 | Masked Language Modeling (MLM) | Causal Language Modeling (CLM) |
| 특성 | 양방향(Bi-directional) 문맥 파악 | 단방향(Uni-directional) 차후 단어 예측 |
| 주요 용도 | 문장 분류, 개체명 인식, 질의응답 | 텍스트 생성, 대화형 AI |
3. PLM에서 최종 LLM으로의 진화 과정 (훈련 특성 중심)
단순한 사전 학습 모델(PLM)이 사용자의 의도를 이해하고 안전하게 응답하는 LLM으로 완성되기까지는 다음과 같은 고도화된 훈련 단계를 거칩니다.
가. 단계 1: 대규모 사전 학습 (Generative Pre-training)
특성: 인터넷상의 방대한 데이터를 통해 언어 모델의 '기초 체력'을 기르는 단계입니다.
훈련 방법: 다음 단어 예측(Next Token Prediction)을 통해 언어의 통계적 패턴을 학습합니다.
나. 단계 2: 지도 미세 조정 (SFT; Supervised Fine-Tuning)
특성: 특정 지시(Instruction)에 적절히 응답하도록 '지시 이행 능력'을 학습시키는 단계입니다.
훈련 방법: <질문, 답변> 쌍으로 구성된 고품질의 데이터를 사용하여 모델을 미세 조정합니다. (Instruction Tuning)
다. 단계 3: 인간 피드백 기반 강화 학습 (RLHF; Reinforcement Learning from Human Feedback)
특성: 모델의 답변이 인간의 가치관에 부합하고 안전(Alignment)한지 최적화하는 최종 단계입니다.
Reward Model 학습: 모델의 답변 후보들에 대해 인간이 순위를 매기고, 이를 통해 보상 모델을 학습시킵니다.
PPO 알고리즘 적용: 보상 모델의 점수를 극대화하는 방향으로 언어 모델의 파라미터를 업데이트합니다.
4. LLM 구축 시의 핵심 기술적 고려사항
Scaling Law (규모의 법칙): 컴퓨팅 파워, 데이터 양, 파라미터 수가 증가함에 따라 모델의 성능이 지수적으로 향상됨을 고려한 자원 할당.
Emergent Abilities (발현 능력): 모델 규모가 일정 수준을 넘어서면 사전 학습 시 의도하지 않았던 논리적 추론, 산술 연산 등의 능력이 나타나는 현상 활용.
Hallucination (환각 현상) 제어: 사실이 아닌 정보를 그럴듯하게 출력하는 문제를 해결하기 위한 RAG(검색 증강 생성) 기술과의 결합.
5. 기술사적 제언: 효율적 LLM 운용을 위한 전략
최근 LLM 트렌드는 무조건적인 규모의 확대보다는 효율성과 전문성에 집중하고 있습니다.
sLLM (small LLM)의 확산: 특정 도메인에 특화된 경량 모델을 구축하여 비용 효율성과 보안성을 동시에 확보해야 합니다.
PEFT (Parameter-Efficient Fine-Tuning): LoRA(Low-Rank Adaptation) 등 일부 파라미터만 학습시키는 기법을 통해 적은 자원으로 LLM을 최적화하는 전략이 필요합니다.
윤리 및 거버넌스: 편향성 제거 및 저작권 준수를 위한 데이터 정제 프로세스를 강화하여 신뢰할 수 있는 AI(Trustworthy AI)를 구현해야 합니다.
댓글 없음:
댓글 쓰기