1. 직관적 추론의 시각화, 의사결정나무의 개요
정의: 데이터를 분석하여 그 속에 존재하는 패턴을 예측 가능한 규칙(Rule)들의 조합으로 나타내며, 나무(Tree) 구조의 그래프로 표현하는 지도학습 알고리즘.
특징:
해석 용이성: 'If-Then' 형태의 규칙으로 생성되어 비전문가도 분석 과정을 쉽게 이해 가능.
전처리 간소화: 데이터의 정규화나 표준화 등의 전처리 영향이 적고 이산형/연속형 변수 모두 처리 가능.
비모수적 모형: 데이터 분포에 대한 가정이 필요 없는 유연한 모델.
2. 의사결정나무의 구성 요소 및 구조
의사결정나무는 뿌리부터 잎까지 계층적인 마디(Node)로 구성됩니다.
뿌리 마디 (Root Node): 전체 데이터 세트가 시작되는 최상위 마디.
중간 마디 (Internal/Intermediate Node): 속성 테스트에 따라 하위 마디로 분기되는 마디.
가지 (Edge/Branch): 분기 규칙을 나타내며 하위 마디로 연결하는 선.
잎 마디 (Terminal/Leaf Node): 더 이상 분기되지 않고 최종 결정값(클래스 또는 수치)을 갖는 마디.
3. 분리 규칙(Split Rule) 및 알고리즘 분석
데이터를 분할할 때는 순도(Purity)는 높이고, 불순도(Impurity)는 낮추는 방향으로 변수를 선택합니다.
가. 불순도 측정 지표 (Impurity Measures)
지니 지수 (Gini Index): 집합 내 요소들이 얼마나 섞여 있는지를 측정. 값이 낮을수록 순도가 높음 ($1 - \sum p_i^2$). CART 알고리즘에서 사용.
엔트로피 (Entropy): 정보 이론에서의 무질서도 측정. ID3, C4.5 알고리즘에서 사용.
정보 이득 (Information Gain): 분할 전후의 엔트로피 차이. 이 값이 최대가 되는 방향으로 분할.
나. 주요 알고리즘 비교
| 알고리즘 | 타겟 변수 | 분리 기준 | 특징 |
| CART | 범주형/연속형 | 지니 지수 | 이진 분리(Binary Split) 수행, 가장 대중적 |
| ID3 | 범주형 | 정보 이득 | 다지 분리 가능, 과적합 위험 존재 |
| C4.5 / C5.0 | 범주형/연속형 | 정보 이득비 | ID3의 단점(다수 범주 변수 선호) 보완 |
| CHAID | 범주형/연속형 | Chi-square | 통계적 유의성 검정 기반 분리 |
4. 과적합(Overfitting) 방지 전략: 가지치기(Pruning)
의사결정나무는 훈련 데이터에 너무 최적화되어 일반화 성능이 떨어지는 경향이 있습니다.
사전 가지치기 (Pre-pruning): 나무의 최대 깊이나 마디의 최소 데이터 수를 미리 제한하여 성장을 멈춤.
사후 가지치기 (Post-pruning): 나무를 끝까지 키운 후, 검증 데이터(Validation set)를 활용해 영향력이 적은 가지를 제거.
앙상블(Ensemble) 기법 활용: 여러 개의 나무를 결합한 **랜덤 포레스트(Random Forest)**나 XGBoost, LightGBM 등을 통해 변동성을 줄이고 정확도 향상.
5. 기술사적 제언: 설명 가능한 AI(XAI)로서의 가치
비즈니스 가독성: 딥러닝과 달리 의사결정나무는 결과 도출 근거를 명확히 제시할 수 있어 금융 대출 승인, 의료 진단 등 **'설명 책임'**이 필요한 도메인에서 핵심 모델로 활용됨.
변수 중요도 산출: 어떤 변수가 예측에 가장 큰 기여를 했는지 파악하는 Feature Importance 추출 도구로써 데이터 분석 초기 단계에 반드시 검토해야 함.
결언: 의사결정나무는 단순하지만 강력한 기반 알고리즘임. 기술사는 단일 모델의 한계를 인지하고, 이를 기반으로 한 앙상블 기법과 하이퍼파라미터 튜닝을 통해 모델의 성능과 해석력 사이의 균형을 유지해야 함.
댓글 없음:
댓글 쓰기